利用Python读取外部数据文件-数据人网

原创利用Python读取外部数据文件

lsxxx2011 2016-09-13 161686 0 1

### 利用Python读取外部数据文件

------------

**作者：刘顺祥**

不论是数据分析，数据可视化，还是数据挖掘，一切的一切全都是以数据作为最基础的元素。利用Python进行数据分析，同样最重要的一步就是如何将数据导入到Python中，然后才可以实现后面的数据分析、数据可视化、数据挖掘等。
在本期的Python学习中，我们将针对Python如何获取外部数据做一个详细的介绍，从中我们将会学习以下4个方面的数据获取：
1、读取文本文件的数据，如txt文件和csv文件
2、读取电子表格文件，如Excel文件
3、读取统计软件生成的数据文件，如SAS数据集、SPSS数据集等
4、读取数据库数据，如MySQL数据、SQL Server数据

![](http://img.shujuren.org/pictures/RM/57d815174a651.jpg)

### 一、读取文本文件的数据
大家都知道，Python中pandas模块是专门用来数据分析的一个强大工具，在[Python数据分析之pandas学习（一）](http://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651435170&idx=1&sn=1a112bead78327a672ebb1c2d2167b4f#rd "Python数据分析之pandas学习（一）")和[Python数据分析之pandas学习（二）](http://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651435212&idx=1&sn=86ab8a363c590e841c6e9e5615bf8c45#rd "Python数据分析之pandas学习（二）")中我们详细介绍了有关pandas模块的应用，下面我们就来介绍pandas是如何读取外部数据的。

#### 1、读取txt数据
```python
import pandas as pd
mydata_txt = pd.read_csv('C:\\test_code.txt',sep = '\t',encoding = 'utf-8')
```
![](http://img.shujuren.org/pictures/PQ/57d7a0652a6c6.png)
**对于中文的文本文件常容易因为编码的问题而读取失败**，正如上图所示。遇到这样的编码问题该如何处置呢？解决办法有两种情况：
1）当原始文件txt或csv的数据不是uft8格式时，需要另存为utf8格式编码；
2）如果原始的数据文件就是uft8格式，为了正常读入，需要将read_csv函数的参数encoding设置为utf-8。

**将原始数据另存为utf8格式的数据，重新读入txt数据**
```python
mydata_txt = pd.read_csv('C:\\test.txt',sep = '\t',encoding = 'utf-8')
mydata_txt

```
![](http://img.shujuren.org/pictures/RH/57d7a0c181ca7.png)
很顺利，txt文本文件数据就这样进入了Python的口袋里了。

#### 2、读取csv数据
csv文本文件是非常常用的一种数据存储格式，而且其存储量要比Excel电子表格大很多，下面我们就来看看如何利用Python读取csv格式的数据文件：
```python
mydata_csv = pd.read_csv('C:\\test.csv',sep = ',',encoding = 'utf-8')
mydata_csv
```
![](http://img.shujuren.org/pictures/UY/57d7a11444977.png)
如果你善于总结的话，你会发现，txt文件和csv文件均可以通过pandas模块中的read_csv函数进行读取。该函数有20多个参数，类似于R中的read.table函数，如果需要查看具体的参数详情，可以查看帮助文档：help(pandas.read_csv)。

### 二、读取电子表格文件
这里所说的电子表格就是Excel表格，可以是xls的电子表格，也可以是xlsx的电子表格。在日常工作中，很多数据都是存放在Excel电子表格中的，如果我们需要使用Python对其进行分析或处理的话，第一步就是如何读取Excel数据。下面我们来看看如果读取Excel数据集：
```python
mydata_excel = pd.read_excel('C:\\test.xlsx',sep = '\t',encoding = 'utf-8')
mydata_excel
```
![](http://img.shujuren.org/pictures/2Q/57d7a14467a34.png)

### 三、读取统计软件生成的数据文件
往往在集成数据源的时候，可能会让你遇到一种苦恼，那就是你的电脑里存放了很多统计软件自带的或生成的数据集，诸如R语言数据集、SAS数据集、SPSS数据集等。那么问题来了，如果你电脑里都装了这些软件的话，这些数据集你自然可以看见，并可以方便的转换为文本文件或电子表格文件，如果你的电脑里没有安装SAS或SPSS这样大型的统计分析软件的话，那么你该如何查看这些数据集呢？请放心，Python很万能，它可以读取很多种统计软件的数据集，下面我们介绍几种Python读取统计数据集的方法：
#### 1、读取SAS数据集
SAS数据集的读取可以使用pandas模块中的read_sas函数，我们不妨试试该函数读取SAS数据集。下图是使用SAS打开的数据集，如果你的电脑中没有安装SAS，那你也可以通过Python实现数据的读取。
![](http://img.shujuren.org/pictures/FK/57d7a17307135.png)
```python
import pandas as pd
mydata_sas = pd.read_sas('G:\\class.sas7bdat',encoding='utf8')
```
![](http://img.shujuren.org/pictures/LP/57d7a1a7c907d.png)

#### 2、读取SPSS数据集
读取SPSS数据就稍微复杂一点，自己测试了好多次，查了好多资料，功夫不负有心人啊，最终还是搞定了。关于读取SPSS数据文件，需要为您的Python安装savReaderWriter模块，该模块可以到如下链接进行下载并安装：https://pypi.python.org/pypi/savReaderWriter/3.4.2。
安装savReaderWriter模块
可以通过该命令进行savReaderWriter模块的安装：python setup.py install
下图是SPSS数据在SPSS中打开的样子：
![](http://img.shujuren.org/pictures/BA/57d7a1ce1409e.png)
```python
import savReaderWriter
mydata_spss = savReaderWriter.SavReader('employee_data.sav')
mydata_spss
```
![](http://img.shujuren.org/pictures/CE/57d7a2049ad6e.png)

#### 3、实在没办法该怎么办？
如果你尝试了好多种模块都无法读取某个统计软件的数据，我建议你还是回到R中，R也是开源的统计分析工具，体积也非常小，只有40M左右，而且R自带的foreign包可以读取很多种统计软件的数据集，当读取成功后，再利用write.csv函数将数据集写出为csv格式的数据，这样Python就可以轻松读取csv数据集了，万事灵活一点就可以完成你想要的任何结果~

### 四、读取数据库数据
企业中更多的数据还是存放在诸如MySQL、SQL Server、DB2等数据库中，为了能够使Python连接到数据库中，科学家专门设计了Python DB API的接口。我们仍然通过例子来说明Python是如何实现数据库的连接与操作的。

#### 1、Python连接MySQL
MySQLdb模块是一个连接Python与MySQL的中间桥梁，但目前只能在Python2.x中运行，但不意味着Python3就无法连接MySQL数据库。这里向大家介绍一个非常灵活而强大的模块，那就是pymysql模块。我比较喜欢他的原因是，该模块可以伪装成MySQLdb模块，具体看下面的例子：
```python
import pymysql
pymysql.install_as_MySQLdb()    #伪装为MySQLdb模块
import MySQLdb
```

使用Connection函数联通Python与MySQL
```python
conn = MySQLdb.Connection(
        host = 'localhost',
        user = 'root',
        password = 'snake',
        port = 3306,
        database = 'test',
        charset='gbk')
```
使用conn的游标方法(cursor)，目的是为接下来的数据库操作做铺垫。
```python
cursor = conn.cursor()
sql = 'select * from memberinfo'
```
执行SQL语句
```python
cursor.execute(sql)
data = cursor.fetchall()
data
```
![](http://img.shujuren.org/pictures/TR/57d7a2be263f8.png)
我们发现data中存储的是元组格式的数据集，我们在[Python数据分析之pandas学习（一）](http://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651435170&idx=1&sn=1a112bead78327a672ebb1c2d2167b4f#rd "Python数据分析之pandas学习（一）")中讲到，构造DataFrame数据结构只能通过数组、数据框、字典、列表等方式构建，但这里是元组格式的数据，该如何处理呢？很简单，只需使用list函数就可以快速的将元组数据转换为列表格式的数据。
```python
data = list(data)
data
```
![](http://img.shujuren.org/pictures/BN/57d7a33c5d678.png)

下面我们就是要pandas模块中的DataFrame函数将上面的data列表转换为Python的数据框格式：
```python
import pandas as pd
mydata = pd.DataFrame(data, columns = ['id','name','age','gender'])
mydata
```
![](http://img.shujuren.org/pictures/5M/57d7a36f025a2.png)
最后千万千万注意的是，当你的数据读取完之后一定要记得关闭游标和连接，因为不关闭会导致电脑资源的浪费。
```python
cursor.close()
conn.close()
```

#### 2、Python连接SQL Server
使用Python连接SQL Server数据库，我们这里推荐使用pymssql模块，该模块的语法与上面讲的pymysql是一致的，这里就不一一讲解每一步的含义了，直接上代码：
```python
import pymssql
connect = pymssql.connect(
     host = '172.18.1.6\SqlR2',
     user = 'sa',
     password = '1q2w3e4r!!',
     database='Heinz_Ana',
     charset='utf8')

cursor = connect.cursor()
sql = 'select * from HeinzDB2_10'
cursor.execute(sql)
data = cursor.fetchall()

data[0]
```
![](http://img.shujuren.org/pictures/9Z/57d7a41560a62.png)

```python
 mydata = pd.DataFrame(list(data),columns = ['ConsumerID',
                          'Purdate',
                          'Phase',
                          'ChangeTinRatio',
                          'TOTALAMT'])

mydata.head()

```
![](http://img.shujuren.org/pictures/1G/57d7a433adaff.png)

本期的内容就是向大家介绍如何使用Python实现外部数据的读取，只有完成了这个基本的第一步，才会顺利的进行下面的清洗、处理、分析甚至挖掘部分。这一期的内容出来的有点晚，主要还是工作比较繁忙，后期继续再接再励，谢谢大家一直以来的支持和互动。在下一期中，我们将介绍R语言中caret包如何实现特征选择。

------------

感谢作者分享
>数据人网是数据人学习、交流和分享的平台http://shujuren.org 。专注于从数据中学习。
平台的理念：人人投稿，知识共享；人人分析，洞见驱动；智慧聚合，普惠人人。
您在数据人网平台，可以1）学习数据知识；2）创建数据博客；3）认识数据朋友；4）寻找数据工作；5）找到其它与数据相关的干货。
我们努力坚持做原创，分享和传播数据知识干货！
我们都是数据人，数据是有价值的，坚定不移地利用数据价值创造价值！

### 严禁修改，可以转载，请注明出自[数据人网](http://shujuren.org)和原文链接