Tensorflow 利用tf.contrib.learn建立输入函数的方法

在实际的业务中，可能会遇到很大量的特征，这些特征良莠不齐，层次不一，可能有缺失，可能有噪声，可能规模不一致，可能类型不一样，等等问题都需要我们在建模之前，先预处理特征或者叫清洗特征。那么这清洗特征的过程可能涉及多个步骤可能比较复杂，为了代码的简洁，我们可以将所有的预处理过程封装成一个函数，然后直接往模型中传入这个函数就可以啦~~~

接下来我们看看究竟如何做呢？

1. 如何使用input_fn自定义输入管道

当使用tf.contrib.learn来训练一个神经网络时，可以将特征，标签数据直接输入到.fit(),.evaluate(),.predict()操作中。比如在笔记04中就使用到了，复看一下代码：

# 将特征与标签数据载入training_set = tf.contrib.learn.datasets.base.load_csv_with_header( filename=IRIS_TRAINING, target_dtype=np.int, features_dtype=np.float32)test_set = tf.contrib.learn.datasets.base.load_csv_with_header( filename=IRIS_TEST, target_dtype=np.int, features_dtype=np.float32)# 然后将两个数据喂给.fit()函数去训练classifier.fit(x=training_set.data,    y=training_set.target,    steps=2000)

当原始数据不需要或几乎很少需要一些额外的预处理时，使用以上的方式到也不为过。然而在实际的业务中我们往往需要去做大量的特征工程，于是tf.contrib.learn支持使用一个用户自定义的输入函数input_fn来封装数据预处理的逻辑，并且将数据通过管道输送到模型中。

1.1 解剖input_fn函数的结构

以下是一个input_fn函数的基本结构：

def my_input_fn(): # Preprocess your data here...(首先预处理你的数据） # ...then return 1) a mapping of feature columns to Tensors with # the corresponding feature data, and 2) a Tensor containing labels # 然后返回新的特征数据与标签数据（都是以tensor的形式） return feature_cols, labels

输入函数的主体包括一个特定的预处理输入数据的逻辑，比如去除一些脏数据，弥补缺失数据，归一化等等。

输入函数的返回是两个部分：

（1）处理后的特征：feature_cols，格式是一个map，key是特征的名称，value是tensor形式的对应的特征列数据
（2）标签数据：labels，一个包含标签数据的tensor

1.2 如何将特征数据转换成tensors形式

如果你的特征/标签是存储在pandas的dataframe中或者numpy的array中的话，你就需要在返回特征与标签的时候将它们转换成tensor形式哦~那么怎么转换呢，来看一个小例子。

对于连续型数据，你可以使用tf.constant创建一个tensor:

feature_column_data = [1, 2.4, 0, 9.9, 3, 120]feature_tensor = tf.constant(feature_column_data)

对于稀疏型数据，类别下数据，你可以使用tf.SparseTensor来创建tensor: