Python玩机器学习简易教程-数据人网

原创 Python玩机器学习简易教程

陆勤 2017-08-24 222172 0 0

本文介绍利用Python和Python的机器学习库**[scikit-learn](http://scikit-learn.org/stable/ "scikit-learn")**完成一个端到端的机器学习项目。

![](http://img.shujuren.org/pictures/A2/59e92c622e614.png)

俗话说，“师傅领进门，修行在个人”。本文就是扮演领进门这种角色，至于各位看官能够修行到什么境界，全凭自己。

[TOC]

### 1 设置环境
检查电脑是否安装了Python以及相应库numpy/pandas/scikit-learn。
若是没有，推荐一键式安装**[Anaconda](https://www.continuum.io/downloads "Anaconda")**（[**安装教程**](https://docs.continuum.io/anaconda/install/ "安装教程")）。
安装好后，测试一下版本号。
Code：
```
import sys
print("Python版本：%s" %sys.version)
import numpy
print("numpy版本：%s" %numpy.__version__)
import matplotlib
print("matplotlib版本：%s" %matplotlib.__version__)
import pandas
print("pandas版本：%s" %pandas.__version__)
import sklearn
print("sklearn版本：%s" %sklearn.__version__)
```
Result：
![](http://img.shujuren.org/pictures/U4/599e14ac4855a.png)

### 2 导入所需库和模块
科学计算库numpy
数据处理和分析库pandas
数据集划分模块train_test_split
数据预处理模块preprocessing
数据算法模块RandomForestRegressor
模型优化模块make_pipeline和GridSearchCV
模型评估模块mean_squared_error和r2_score
模型保存模块joblib

Code:
```
import numpy as np 
import pandas as pd 
from sklearn.model_selection import train_test_split
from sklearn import preprocessing
from sklearn.ensemble import RandomForestRegressor
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.externals import joblib
```

### 3 加载数据集
俗话说“巧妇难为无米之炊”。
“数据”是原材料。
本教程使用**[wine data数据集](http://archive.ics.uci.edu/ml/datasets/Wine "wine data数据集")**。
加载数据集和数据简单探索性分析。
Code:
```
dataset_url = "http://mlr.cs.umass.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv"
data = pd.read_csv(dataset_url, sep = ";")
print(data.head())
print(data.shape)
print(data.describe())
```
### 4 数据集划分为训练集和测试集
数据集划分目的用来评估模型的性能和效果。
Code:
```
y = data.quality
X = data.drop("quality", axis = 1)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2, random_state = 123, stratify=y)
```
train_test_split模块的参数说明：
- test_size: 设置测试集占总样本的比例
- random_state: 设置随机种子，便于可重复性试验
- stratify=y：让训练集和测试集具有相似性，服务模型评估

### 5 数据预处理
使用Transformer API 做数据预处理，具体步骤如下：
- 对训练数据集拟合生成一个转换器（保存均值和标准差）
- 利用转换器对训练集做预处理
- 利用转换器对测试集做预处理（使用了与训练集相同的均值和标准差）
代码如下：
```
scaler = preprocessing.StandardScaler().fit(X_train)
X_train_scaled = scaler.transform(X_train)
print(X_train_scaled.mean(axis=0))
print(X_train_scaled.std(axis=0))
X_test_scaled = scaler.transform(X_test)
print(X_test_scaled.mean(axis=0))
print(X_test_scaled.std(axis=0))
```
有时候，我们设置交叉验证管道（pipeline）时，不需要手工设置Transformer API,我们可以创建一个管道对象，如下：
```
pipeline = make_pipeline(preprocessing.StandardScaler(),  RandomForestRegressor(n_estimators=100))
```
**这个pipeline对象**首先使用StandardScaler()对数据做预处理，然后用随机森林回归算法拟合生成一个模型。

### 6 参数调优
一个模型里面包括两个方面的参数：
- 方面一：模型参数，从数据中最终可以学习到的参数，例如回归算法的系数。
- 方面二：超参数，从数据中学习不到的参数，在做模型之前需要事先设置好的参数。

举例说明：随机森林回归算法的超参数
随机森林需要生成多少棵树？
随机森林中树产生的标准？（MSE或者MAE）
下面罗列随机森林回归算法的超参数
代码如下：
```
print(pipeline.get_params())
```
与超参数相关结果如下：
```
RandomForestRegressor
(bootstrap=True, 
criterion='mse', 
max_depth=None,
max_features='auto', 
max_leaf_nodes=None,
min_impurity_split=1e-07, 
min_samples_leaf=1,
min_samples_split=2, 
min_weight_fraction_leaf=0.0,
n_estimators=100, 
n_jobs=1, 
oob_score=False, 
random_state=None,
verbose=0, 
warm_start=False)
```
交叉验证时设置需要调整的超参数
代码如下:
```
hyperparameters = 
{ 'randomforestregressor__max_features' : ['auto', 'sqrt', 'log2'],
'randomforestregressor__max_depth': [None, 5, 3, 1]
}
```

### 7 模型优化（交叉验证）
交叉验证是模型性能评估的一种可靠方法。
常用10-折交叉验证为例。
1. 把数据集划分成10等分；
2. 利用9等分训练模型；
3. 剩下的1等分评估模型效果；
4. 重复2和3步10次，每次采用不同的1等分用来做模型验证；
5. 聚合10次模型评估性能，当做模型性能最终值；

![](http://img.shujuren.org/pictures/G9/59bd28af1d693.png)

基于管道对象实现交叉验证
代码
```
clf = GridSearchCV(pipeline, hyperparameters, cv=10)
clf.fit(X_train, y_train)
print(clf.best_params_)
```
结果发现超参数默认值为最佳。

### 8 全数据拟合
当使用交叉验证方法找到最佳的超参数后，为了进一步改善模型的性能需要对全部训练数据做模型拟合。
GridSearchCV已经用最佳超参数对全部训练数据集做了模型拟合，代码查看如下。
```
print(clf.refit)
```
结果为True

### 9 模型评估
在测试集上做模型评估
代码如下
```
y_pred = clf.predict(X_test)
print(r2_score(y_test, y_pred))
print(mean_squared_error(y_test, y_pred))
```
结果如下：
0.465495005751
0.344901875

截止到目前，基于随机森林回归模型，已经完成了。这个模型是否为解决问题的最佳模型呢？可以从以下三方面思考。
1. 模型能否解决好问题？
2. 模型的性能相对于基准线是什么情况？
3. 模型的性能优化点有哪些？

改善模型性能的常用方法总结。

- 收集更多的数据
- 花更多时间做好特征工程
- 尝试其他模型和算法（正则化回归、提升树等）
- 吸收更多有用的领域知识
- 采用集成学习的思想

### 10 模型保存
模型保存，以便后续使用和模型部署与实施。
代码
```
joblib.dump(clf, 'rf_regressor.pkl')
clf2 = joblib.load('rf_regressor.pkl')
clf2.predict(X_test)
```

**附录：完整代码参考**
```
## Python玩机器学习简易教程
##开始时间：2017年8月24日
##结束时间：2017年9月16日
## 第一步：设置环境
import sys
print("Python版本：%s" %sys.version)
import numpy
print("numpy版本：%s" %numpy.__version__)
import matplotlib
print("matplotlib版本：%s" %matplotlib.__version__)
import pandas
print("pandas版本：%s" %pandas.__version__)
import sklearn
print("sklearn版本：%s" %sklearn.__version__)

## 第二步：导入所需库
import numpy as np 
import pandas as pd 
from sklearn.model_selection import train_test_split
from sklearn import preprocessing
from sklearn.ensemble import RandomForestRegressor
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.externals import joblib

## 第三步：加载数据集
dataset_url = "http://mlr.cs.umass.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv"
data = pd.read_csv(dataset_url, sep = ";")
print(data.head())
print(data.shape)
print(data.describe())

## 第四步：数据集划分
y = data.quality
X = data.drop("quality", axis = 1)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2, random_state = 123, stratify=y)

## 第五步：数据预处理
## 对训练集的所有特征进行标准化处理
pipeline = make_pipeline(preprocessing.StandardScaler(), RandomForestRegressor(n_estimators=100))

## 第六步：参数调优
print(pipeline.get_params())
hyperparameters = { 'randomforestregressor__max_features' : ['auto', 'sqrt', 'log2'],
                  'randomforestregressor__max_depth': [None, 5, 3, 1]}
				  
## 第七步：模型优化(交叉验证)
clf = GridSearchCV(pipeline, hyperparameters, cv=10)
clf.fit(X_train, y_train)
print(clf.best_params_)

## 第八步：全数据拟合
print(clf.refit)

## 第九步：模型评估
y_pred = clf.predict(X_test)
print(r2_score(y_test, y_pred))
print(mean_squared_error(y_test, y_pred))

## 第十步：模型保存
joblib.dump(clf, 'rf_regressor.pkl')
clf2 = joblib.load('rf_regressor.pkl')
# 加载模型预测新的数据集
clf2.predict(X_test)
```

您在阅读中，有什么建议或者想法，请参与评论。
想加入数据人圈子，请加微信luqin360。

------------

>**数据人网**是数据人学习、交流和分享的平台http://shujuren.org 。专注于从数据中学习到有用知识。
**平台的理念：人人投稿，知识共享；人人分析，洞见驱动；智慧聚合，普惠人人。**
您在数据人网平台，可以1）学习数据知识；2）创建数据博客；3）认识数据朋友；4）寻找数据工作；5）找到其它与数据相关的干货。
**我们努力坚持做原创，聚合和分享优质的省时的数据知识！**
我们都是数据人，数据是有价值的，坚定不移地实现从数据到商业价值的转换！

可以转载，严禁修改，请务必注明出自[数据人网](http://shujuren.org)和原文链接