TFRecord

TFRecord格式：序列化的tf.train.Example protbuf对象

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

class tf.python_io.TFRecordWriter:
	def __init__(self,
		?fileanme: str,
		options: tf.python_io.TFRecordOptions,
		name=None
	):
		pass

class tf.python_io.TFRecordReader:
	def __init__(self,
		options: tf.python_io.TFRecordOptions,
		name=None
	):
		pass

	def read(self):
		pass

###	Feature/Features

```python
class tf.train.Features:
	def __init__(self,
		feature: {str: tf.train.Feature}
	):
		pass

class tf.train.Feature:
	def __init__(self,
		int64_list: tf.train.Int64List,
		float64_list: tf.train.Float64List,
	)

示例

• 转换、写入TFRecord

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

  # 创建写入文件 writer = tf.python_io.TFRecord(out_file) shape, binary_image = get_image_binary(image_file) # 创建Features对象 featurs = tf.train.Features( feature = { "label": tf.train.Feature(int64_list=tf.train.Int64List(label)), "shape": tf.train.Feature(bytes_list=tf.train.BytesList(shape)), "image": tf.train.Feature(bytes_list=tf.train.BytesList(binary_image)) } ) # 创建包含以上特征的示例对象 sample = tf.train.Example(features=Features) # 写入文件 writer.write(sample.SerializeToString()) writer.close()

• 读取TFRecord

  1 2 3 4 5 6 7 8 9 10 11

  dataset = tf.data.TFRecordDataset(tfrecord_files) dataset = dataset.map(_parse_function) def _parse_function(tf_record_serialized): features = { "labels": tf.FixedLenFeature([], tf.int64), "shape": tf.FixedLenFeature([], tf.string), "image": tf.FixedLenFeature([], tf.string) } parsed_features = tf.parse_single_example(tfrecord_serialized, features) return parsed_features["label"], parsed_features["shape"], parsed_features["image"]

其他函数

DBM

DBM文件是python库中数据库管理的标准工具之一

• 实现了数据的随机访问
  • 可以使用键访问存储的文本字符串
• DBM文件有多个实现
  • python标准库中dbm/dbm.py

使用

• 使用DBM文件和使用内存字典类型非常相似
  • 支持通过键抓取、测试、删除对象

pickle

• 将内存中的python对象转换为序列化的字节流，可以写入任何 输出流中
• 根据序列化的字节流重新构建原来内存中的对象
• 感觉上比较像XML的表示方式，但是是python专用

1
2
3
4
5
6
7

import pickle
dbfile = open("people.pkl", "wb")
pickle.dump(db, dbfile)
dbfile.close()
dbfile = open("people.pkl", "rb")
db = pickle.load(dbfile)
dbfile.close()

• 不支持pickle序列化的数据类型
  • 套接字

shelves

• 就像能必须打开着的、存储持久化对象的词典
  • 自动处理内容、文件之间的映射
  • 在程序退出时进行持久化，自动分隔存储记录，只获取、 更新被访问、修改的记录
• 使用像一堆只存储一条记录的pickle文件
  • 会自动在当前目录下创建许多文件

1
2
3
4
5
6

import shelves
db = shelves.open("people-shelves", writeback=True)
	// `writeback`：载入所有数据进内存缓存，关闭时再写回，
		// 能避免手动写回，但会消耗内存，关闭变慢
db["bob"] = "Bob"
db.close()

SQLite

SQLAlchemy