TensorFlow从1到2(十四)评估器的使用和泰坦尼克号乘客分析
原标题:TensorFlow从1到2(十四)评估器的使用和泰坦尼克号乘客分析
原文来自:博客园 原文链接:https://www.cnblogs.com/andrewwang/p/10848549.html
使用TensorFlow 2.0完成机器学习一般有三种方式:
使用底层逻辑
这种方式使用Python函数自定义学习模型,把数学公式转化为可执行的程序逻辑。接着在训练循环中,通过tf.GradientTape()迭代,使用tape.gradient()梯度下降,使用optimizer.apply_gradients()更新模型权重,逐次逼近,完成模型训练。
使用Keras高层接口
TensorFlow 1.x的开发中,Keras就作为第三方库存在。2.0中,更是已经成为标准配置。我们前面大多的例子都是基于Keras或者自定义Keras模型配合底层训练循环完成。从网上的一些开源项目来看,这已经是应用最广泛的方式。
今天要介绍的评估器tf.estimator
评估器是TensorFlow官方推荐的内置高级API,层次上看跟Keras实际处于同样位置,只是似乎大家都视而不见了,以至于现在从用户的实际情况看用的人要远远少于Keras。
通常认为评估器因为内置的紧密结合,运行速度要高于Keras。Keras一直是一个通用的高层框架,除了支持TensorFlow作为后端,还同时支持Theano和CNTK。高度的抽象肯定会影响Keras的速度,不过本人并未实际对比测试。我觉的,对于大量数据导致的长时间训练来说,这点效率上的差异不应当成为大问题,否则Python这种解释型的语言就不会成为优选的机器学习基础平台了。
在TensorFlow 1.x中可以使用tf.estimator.model_to_estimator方法将Keras模型转换为TensorFlow评估器。TensorFlow 2.0中,统一到了tf.keras.estimator.model_to_estimator方法。所以如果偏爱评估器的话,使用Keras也不会成为障碍。
其实从编程逻辑来看,这些高层API所提供的工作方式是很相似的。使用评估器开发机器学习大致分为如下步骤:
载入数据
数据清洗和数据预处理
编写数据流水线输入函数
定义评估器模型
训练
评估
在这个流程里面,只有“编写数据流水线输入函数”这一步是跟Keras模型是不同的。在Keras模型中,我们直接准备数据集,把数据集送入到模型即可。而在评估器中,数据的输入,需要指定一个函数供评估器调用。
这一个来自官方文档的实例比较残酷,使用泰坦尼克号的乘客名单,评估在沉船事件发生后,客户能生存下来的可能性。
数据格式是csv,建议先下载,保存到工作目录:
训练集数据:https://storage.googleapis.com/tf-datasets/titanic/train.csv
评估集数据:https://storage.googleapis.com/tf-datasets/titanic/eval.csv
文件下载后不要修改名称。
数据包含如下属性维度:
属性名称 | 属性描述 |
---|---|
sex | 乘客性别 |
age | 乘客年龄 |
n_siblings_spouses | 随行兄弟或者配偶数量 |
parch | 随行父母或者子女数量 |
fare | 船费金额 |
class | 船舱等级 |
deck | 甲板编号 |
embark_town | 登船地点 |
alone | 是否为独自旅行 |
从这些属性中能看出,数据的收集者是非常用心的。
比如随行兄弟或者配偶、随行父母或者子女这种特征,在大多人的传统观念中,肯定会用类似“随行家属数量”这样的维度合并在一起。
但在这个案例中,两个不同的维度,对于最终存活影响肯定是不同的。
这部分的工作其实跟评估器的使用没有什么关系,但这正是大数据时代的魅力所在,所以我们还是延续官方文档的思路来看一看。
先在命令行执行Python,启动交互环境。然后把下面这部分代码拷贝到Python执行。这些代码完成引用扩展库、载入数据等基本工作。
# 引入扩展库from __future__ import absolute_import, division, print_function, unicode_literalsimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport tensorflow as tf# 载入数据dftrain = pd.read_csv('train.csv') dfeval = pd.read_csv('eval.csv')# 分离标注字段y_train = dftrain.pop('survived') y_eval = dfeval.pop('survived') dftrain.head()
这时候命令行看起来大致是这个样子:
$ python3 Python 3.7.3 (default, Mar 27 2019, 09:23:39) [Clang 10.0.0 (clang-1000.11.45.5)] on darwin Type "help", "copyright", "credits" or "license" for more information. >>> # 引入扩展库... from __future__ import absolute_import, division, print_function, unicode_literals >>> >>> import numpy as np >>> import pandas as pd >>> import matplotlib.pyplot as plt >>> import tensorflow as tf >>> >>> # 载入数据... dftrain = pd.read_csv('train.csv') >>> dfeval = pd.read_csv('eval.csv') >>> # 分离标注字段... y_train = dftrain.pop('survived') >>> y_eval = dfeval.pop('survived') >>> >>> dftrain.head() sex age n_siblings_spouses parch fare class deck embark_town alone 0 male 22.0 1 0 7.2500 Third unknown Southampton n 1 female 38.0 1 0 71.2833 First C Cherbourg n 2 female 26.0 0 0 7.9250 Third unknown Southampton y 3 female 35.0 1 0 53.1000 First C Southampton n 4 male 28.0 0 0 8.4583 Third unknown Queenstown y >>>
最后是列出的训练集头5条记录。
我们先看看乘客的年龄分布(后续的代码都是直接拷贝到Python命令行执行):
dftrain.age.hist(bins=20) plt.show()
直方图中显示,乘客年龄主要分布在20岁至30岁之间。
再来看看性别分布:
dftrain.sex.value_counts().plot(kind='barh') plt.show()
男性乘客的数量,几乎是女性乘客的两倍。
接着是船舱等级的分布,这个参数能间接体现乘客的经济实力:
dftrain['class'].value_counts().plot(kind='barh') plt.show()
图中显示,大多数乘客还是在三等舱。
继续看乘客上船的地点:
dftrain['embark_town'].value_counts().plot(kind='barh') plt.show()
大多数乘客来自南安普顿。
继续,把性别跟最后生存标注关联起来:
pd.concat([dftrain, y_train], axis=1).groupby('sex').survived.mean().plot(kind='barh').set_xlabel('% survive') plt.show()
女性的存活率几乎超过男性的5倍。
再来一个更复杂的统计,我们首先把年龄分段,然后看看不同年龄段的乘客最终存活率:
def calc_age_section(n, lim): return'[%.f,%.f)' % (lim*(n//lim), lim*(n//lim)+lim) # map functionaddone = pd.Series([calc_age_section(s, 10) for s in dftrain.age]) dftrain['ages'] = addone pd.concat([dftrain, y_train], axis=1).groupby('ages').survived.mean().plot(kind='barh').set_xlabel('% survive'); plt.show()
10岁以下儿童和80岁以上的老人得到了最多的生存机会。
在那个寒冷、慌乱的沉船夜晚,弱者反而更多的活了下来。
数据预处理这个话题我们讲了很多次,这是通常机器学习研发工作中,工程师需要做的最多工作。
泰坦尼克号乘客名单的数据虽然不复杂,也属于典型的结构化数据。
其中主要包含两类,一种是分类型的数据,比如船舱等级,比如上船城市名称。另一类则是简单的数值,比如年龄和购票价格。
对于数值型的数据可以直接规范化后进入模型,对于分类型的数据,则还需要做编码,我们这里还是使用最常见的one-hot。
# 定义所需的数据列,分为分类型属性和数值型属性分别定义 CATEGORICAL_COLUMNS = ['sex', 'n_siblings_spouses', 'parch', 'class', 'deck', 'embark_town', 'alone'] NUMERIC_COLUMNS = ['age', 'fare'] # 辅助函数,把给定数据列做one-hot编码 def one_hot_cat_column(feature_name, vocab): return tf.feature_column.indicator_column( tf.feature_column.categorical_column_with_vocabulary_list(feature_name, vocab)) # 最终使用的数据列,先置空 feature_columns = [] for feature_name in CATEGORICAL_COLUMNS: # 分类的属性都要做one-hot编码,然后加入数据列 vocabulary = dftrain[feature_name].unique() feature_columns.append(one_hot_cat_column(feature_name, vocabulary)) for feature_name in NUMERIC_COLUMNS: # 数值类的属性直接入列 feature_columns.append(tf.feature_column.numeric_column(feature_name, dtype=tf.float32))
评估器的训练、评估都需要使用数据输入函数作为参数。输入函数本身不接受任何参数,返回一个tf.data.Dataset对象给模型用于供给数据。
因为除了数据集不同,训练和评估模型所使用的数据格式通常都是一样的。所以经常会在程序代码上,共用一个函数,然后用参数来区分用于评估还是用于训练。
然而输入函数相当于回调函数,由评估器控制着调用,这过程中并没有参数传递。所以比较聪明的做法可以使用嵌套函数的方法来定义,比如:
# 这是一个很少量数据的样本,直接把整个数据集当做一批 NUM_EXAMPLES = len(y_train) # 输入函数的构造函数 def make_input_fn(X, y, n_epochs=None, shuffle=True): def input_fn(): dataset = tf.data.Dataset.from_tensor_slices((dict(X), y)) # 乱序 if shuffle: dataset = dataset.shuffle(NUM_EXAMPLES) # 训练时让数据重复尽量多的次数 dataset = dataset.repeat(n_epochs) dataset = dataset.batch(NUM_EXAMPLES) return dataset return input_fn # 训练、评估所使用的数据输入函数,区别只是数据是否乱序以及迭代多少次 train_input_fn = make_input_fn(dftrain, y_train) eval_input_fn = make_input_fn(dfeval, y_eval, shuffle=False, n_epochs=1)
本例中我们直接使用预定义的评估器模型(pre-made estimator)。所以代码非常简单,定义、训练、评估都是只需要一行代码:
# 使用线性分类器作为模型 linear_est = tf.estimator.LinearClassifier(feature_columns) # 训练linear_est.train(train_input_fn, max_steps=100) # 评估result = linear_est.evaluate(eval_input_fn)
我们来看看完整代码:
#!/usr/bin/env python3 # 引入扩展库 from __future__ import absolute_import, division, print_function, unicode_literals import numpy as np import pandas as pd import matplotlib.pyplot as plt import tensorflow as tf # 载入数据 dftrain = pd.read_csv('train.csv') dfeval = pd.read_csv('eval.csv') # 分离标注字段 y_train = dftrain.pop('survived') y_eval = dfeval.pop('survived') ################################################################ # 定义所需的数据列,分为分类型属性和数值型属性分别定义 CATEGORICAL_COLUMNS = ['sex', 'n_siblings_spouses', 'parch', 'class', 'deck', 'embark_town', 'alone'] NUMERIC_COLUMNS = ['age', 'fare'] # 辅助函数,把给定数据列做one-hot编码 def one_hot_cat_column(feature_name, vocab): return tf.feature_column.indicator_column( tf.feature_column.categorical_column_with_vocabulary_list(feature_name, vocab)) # 最终使用的数据列,先置空 feature_columns = [] for feature_name in CATEGORICAL_COLUMNS: # 分类的属性都要做one-hot编码,然后加入数据列 vocabulary = dftrain[feature_name].unique() feature_columns.append(one_hot_cat_column(feature_name, vocabulary)) for feature_name in NUMERIC_COLUMNS: # 数值类的属性直接入列 feature_columns.append(tf.feature_column.numeric_column(feature_name, dtype=tf.float32)) ################################################################ # 这是一个很少量数据的样本,直接把整个数据集当做一批 NUM_EXAMPLES = len(y_train) # 输入函数的构造函数 def make_input_fn(X, y, n_epochs=None, shuffle=True): def input_fn(): dataset = tf.data.Dataset.from_tensor_slices((dict(X), y)) # 乱序 if shuffle: dataset = dataset.shuffle(NUM_EXAMPLES) # 训练时让数据重复尽量多的次数 dataset = dataset.repeat(n_epochs) dataset = dataset.batch(NUM_EXAMPLES) return dataset return input_fn # 训练、评估所使用的数据输入函数,区别只是数据是否乱序以及迭代多少次 train_input_fn = make_input_fn(dftrain, y_train) eval_input_fn = make_input_fn(dfeval, y_eval, shuffle=False, n_epochs=1) # 使用线性分类器作为模型 linear_est = tf.estimator.LinearClassifier(feature_columns) # 训练 linear_est.train(train_input_fn, max_steps=100) # 评估 result = linear_est.evaluate(eval_input_fn) print("----------------------------------") print(pd.Series(result))
程序执行的最后显示了评估的结果,在我的电脑上显示的结果是这样的:
---------------------------------- accuracy 0.765152 accuracy_baseline 0.625000 auc 0.832844 auc_precision_recall 0.789631 average_loss 0.478908 label/mean 0.375000 loss 0.478908 precision 0.703297 prediction/mean 0.350790 recall 0.646465 global_step 100.000000
正确率不算太高。
评估器的模型使用起来很简单,我们尝试换用另外一种模型,比如提升树分类器。
# 以下代码放在程序最后,因为这个数据集非常小,速度很快,所以做两次学习也并不感觉慢n_batches = 1est = tf.estimator.BoostedTreesClassifier(feature_columns, n_batches_per_layer=n_batches)# 训练est.train(train_input_fn, max_steps=100)# 评估result = est.evaluate(eval_input_fn) print("----------------------------------") print(pd.Series(result))
这次得到的结果是这样的:
---------------------------------- accuracy 0.825758accuracy_baseline 0.625000auc 0.872360auc_precision_recall 0.857325average_loss 0.411853label/mean 0.375000loss 0.411853precision 0.784946prediction/mean 0.382282recall 0.737374global_step 100.000000
虽然准确率仍然并不高,但比起来线性分类器,提高还是算的上明显。
评价机器学习模型的性能,除了看刚才的统计信息,绘图是非常好的一种方式,可以更直观,某些问题也能体现的一目了然。
我们在上面程序的最后再增加几行代码,绘制预测概率的统计信息:
# 绘制预测概率直方图pred_dicts1 = list(linear_est.predict(eval_input_fn)) pred_dicts2 = list(bt_est.predict(eval_input_fn)) probs1 = pd.Series([pred['probabilities'][1] for pred in pred_dicts1]) probs2 = pd.Series([pred['probabilities'][1] for pred in pred_dicts2]) plt.figure(figsize=(14, 5)) plt.subplot(1, 2, 1) probs1.plot(kind='hist', bins=20, title='linear-est predicted probabilities'); plt.subplot(1, 2, 2) probs2.plot(kind='hist', bins=20, title='bt-est predicted probabilities'); plt.show()
大量集中在图形左侧的数据簇,显示了乘客九死一生的悲惨命运。
因为我们的预测结果只有两种可能:0表示未能生存;1表示生存下来。所以预测的结果,应当明显的尽量靠近0和1两端。中间悬而未决的部分应当尽可能少。从图形的情况看,如果不考虑分类准确率问题,提升树分类器效果要更好一些。
当然作为成熟的预定义模型,模型都是很优秀的,只是提升树可能更适合本应用的场景。
尽管这个例子很简单,但现在的分类算法实际越来越复杂。预测结果在不同类别数据上表现并不不均衡,使得使用正确率这样的传统标准不能恰当的反应分类器的性能,本例中也已经出现了这种倾向。或者说,分类器,对于不同类别的样本,性能表现是不一致的。
这种情况,使用ROC(Receiver Operating Characteristic)观察者操作曲线能够表现的更清楚。
对于一个分类器的分类结果,一般有以下四种情况:
真阳性(TP):判断为1,实际上也为1。
伪阳性(FP):判断为1,实际上为0。
真阴性(TN):判断为0,实际上也为0。
伪阴性(FN):判断为0,实际上为1。
ROC图中,左上角是真阳性的极点,曲线越接近左上角,意味着分类器性能越好。所以左上角是分类器追求的方向。
下面代码,请接续在上面代码之后,用来绘制ROC曲线:
# 绘制ROC(Receiver Operating Characteristic)曲线from sklearn.metrics import roc_curvedef plot_roc(probs, title): fpr, tpr, _ = roc_curve(y_eval, probs) plt.plot(fpr, tpr) plt.title(title) plt.xlabel('false positive rate') plt.ylabel('true positive rate') plt.xlim(0,) plt.ylim(0,) plt.figure(figsize=(14, 5)) plt.subplot(1, 2, 1) plot_roc(probs1, "linear-est ROC") plt.subplot(1, 2, 2) plot_roc(probs2, "bt-est ROC") plt.show()
从ROC曲线看,在本例中使用提升树模型的优势更为明显。
(待续...)
免责声明:本文来自互联网新闻客户端自媒体,不代表本网的观点和立场。
合作及投稿邮箱:E-mail:editor@tusaishared.com
热门资源
Python 爬虫(二)...
所谓爬虫就是模拟客户端发送网络请求,获取网络响...
TensorFlow从1到2...
原文第四篇中,我们介绍了官方的入门案例MNIST,功...
TensorFlow从1到2...
“回归”这个词,既是Regression算法的名称,也代表...
机器学习中的熵、...
熵 (entropy) 这一词最初来源于热力学。1948年,克...
TensorFlow2.0(10...
前面的博客中我们说过,在加载数据和预处理数据时...
智能在线
400-630-6780
聆听.建议反馈
E-mail: support@tusaishared.com