原创 手把手带你抓取智联招聘的“数据分析师”岗位！

lsxxx2011 2018-11-07 31053 0 0

### 前言 很多网友在后台跟我留言，是否可以分享一些爬虫相关的文章，我便提供了我以前写过的爬虫文章的链接（如下链接所示），大家如果感兴趣的话也可以去看一看哦。在本文中，我将以智联招聘为例，分享一下如何抓取近5000条的数据分析岗信息。 #### 往期爬虫链接 [上海历史天气和空气质量数据获取（Python版）](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651436404&idx=1&sn=0b2726a4e8a91cc04275b93b78370785&chksm=8c73ada3bb0424b56ebbda2a018c9f2a4d62b6aca2cf71808f9cbff80056ac6a1a2c22587980&scene=21#wechat_redirect "上海历史天气和空气质量数据获取（Python版）") [网络爬虫-京东优惠活动数据分析](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651436364&idx=1&sn=ca512d4298fb29957bf3a781b6cf7e24&chksm=8c73ad9bbb04248d5cab129d9892a305287ce900841a258a19c50710764adc96d55f2c1efcdf&scene=21#wechat_redirect "网络爬虫-京东优惠活动数据分析") [快来看看招商银行理财产品数据（代码及分析）](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651436172&idx=1&sn=f075381f8d9371f65695d60100c8a549&chksm=8c73ac5bbb04254d9089f740a28fdeab59ca639e0e3ec2038c8a05ac649a13b145614a537bd2&scene=21#wechat_redirect "快来看看招商银行理财产品数据（代码及分析）") [用Python爬下6万共享单车数据，谈谈单车热潮中的城市](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651436378&idx=1&sn=3f322832a2c9c3ababe35025b148805c&chksm=8c73ad8dbb04249b4d03d911ea5bf0eb6b246691e84922d8002de53a6129c2f51946cc7a16ee&scene=21#wechat_redirect "用Python爬下6万共享单车数据，谈谈单车热潮中的城市") [百度指数之图像数字识别(2)](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651436358&idx=1&sn=52cb8515f298f4f67883659bad5d712e&chksm=8c73ad91bb0424875ba9dd4c00040a52fddfc8b84fa37513e39cd229fa9c1eb33b2cb1674b68&scene=21#wechat_redirect "百度指数之图像数字识别(2)") [抓取百度指数引发的图像数字识别](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651436295&idx=1&sn=17127827d77b245b369f59c4b4395acb&chksm=8c73add0bb0424c6f2241d6719b15bf9a082d40a6d1fce9664c8d88b56052d49cd53cad06cd6&scene=21#wechat_redirect "抓取百度指数引发的图像数字识别") [一件有趣的事： 爬了爬自己的微信朋友](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651436390&idx=1&sn=0ec8030efc28b36c2924e7f02a4462f2&chksm=8c73adb1bb0424a713c94875e6e239f878969d74d75221bd6cba0e5d57367c3fb5a9ab702ecd&scene=21#wechat_redirect "一件有趣的事： 爬了爬自己的微信朋友") [看看融资界都有哪些事情发生](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651436177&idx=1&sn=55b4a84a4c0e26fa23fc55ff8fff14e1&chksm=8c73ac46bb04255092454b5e0c6e10027c322b784c5c42620331d143fa4461fb3fd2c9a37ca8&scene=21#wechat_redirect "看看融资界都有哪些事情发生") [【干货】手把手带你抓“网上购物”类APP信息（含代码）](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651435896&idx=1&sn=7df72626c26831f430a8b210cb771883&chksm=8c73abafbb0422b97e6e2a5a5bd878e6df79aaff82ff1cbe97824119bc5655ff1702d510c571&scene=21#wechat_redirect "【干货】手把手带你抓“网上购物”类APP信息（含代码）") [快来围观2W+的豆瓣电影分类排行榜（含代码）](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651435876&idx=1&sn=8014f694c1c2709bb48cdf398aba9320&chksm=8c73abb3bb0422a512b08c118d05f83657a364f15f918d7eb1f0c14d36a64402d7d858b8f86a&scene=21#wechat_redirect "快来围观2W+的豆瓣电影分类排行榜（含代码）") [什么？你了解二手车市场？（含爬虫代码）](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651435839&idx=1&sn=175b53087a083ecc7414815591d8b67c&chksm=8c73abe8bb0422fe9520b6907f8c799e77816aa7a3b13245bafbfd73c29da142eeeb024446fc&scene=21#wechat_redirect "什么？你了解二手车市场？（含爬虫代码）") [(干货)数据分析案例--以上海二手房为例](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651435295&idx=1&sn=968d9950e54c34e2a2ddd4186c28c7c7&chksm=8c73a9c8bb0420de7ea5e709d4dc78dce977677cefdfaec48db6f4532c8613ab6ca0f623bc83&scene=21#wechat_redirect "(干货)数据分析案例--以上海二手房为例") [通过Python抓取天猫评论数据](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651435264&idx=1&sn=59811a65b7000c9477afafa3abbfe0d3&chksm=8c73a9d7bb0420c1c9917bb313003c365d158d1a05be9216910b5cc0f784244f613d1c57b08e&scene=21#wechat_redirect "通过Python抓取天猫评论数据") [使用Python实现豆瓣阅读书籍信息的获取](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=2651435242&idx=1&sn=f9315b81911bbc4f83f41ddba23d054e&chksm=8c73a83dbb04212b429f951a0bb12dc9dbd1057367e8edd279fa9ffc6f0dc8323a4a0049bffe&scene=21#wechat_redirect "使用Python实现豆瓣阅读书籍信息的获取") [使用Python爬取网页图片](https://mp.weixin.qq.com/s?__biz=MzIxNjA2ODUzNg==&mid=403577828&idx=1&sn=5f5d97d5d3813a0ec3cced2a9ee18e10&scene=21#wechat_redirect "使用Python爬取网页图片") ### 爬虫流程 首先简单聊一下Python抓取互联网数据的一般步骤，如下图所示：  1）**发送请求**，向对方服务器发送待抓取网站的链接URL； 2）**返回请求**，在不发生意外的情况下（意外包括网络问题、客户端问题、服务器问题等），对方服务器将会返回请求的内容（即网页源代码） 3）**数据存储**，利用正则表达式或解析法对源代码作清洗，并将目标数据存储到本地（txt、csv、Excel等）或数据库（MySQL、SQL Server、MongoDB等） ### 爬虫实操 接下来，在理解了爬虫流程之后，我们借助于智联招聘的网站，跟大家分析如何一步一步的完成数据的抓取。 #### 寻找目标URL 如下图所示，是在智联招聘网站上搜索“数据分析师”岗位后的响应结果。按照常理，需要按一下键盘中的F12键，对网页内容进行监控。   接着，在原网页中下来滚动条，并点击“下一页”，此时右侧的监控台便发生了变化，读者需要按下图进行选择：  经过这四步的选择，就可以发现招聘网站上的信息都在这个Preview（预览）里面。那么问题来了，需要抓取的URL是什么呢？此时只需点击Headers卡即可，你会发现请求链接就是下图中框出来的部分：  #### 发送请求并返回请求内容 既然找到了目标URL，下面要做的就是基于Python向智联招聘的服务器发送请求了，具体代码如下： ```python import requests # 用于发送URL请求 import pandas as pd # 用于构造数据框 import random # 用于产生随机数 import time # 用于时间停留# 根据第一页的URL，抓取“数据分析师”岗位的信息 url = r'https://fe-api.zhaopin.com/c/i/sou?pageSize=60&cityId=489&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B8%88&kt=3&lastUrlQuery=%7B%22jl%22:%22489%22,%22kw%22:%22%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B8%88%22,%22kt%22:%223%22%7D&at=9c5682b1a4f54de89c899fb7efc7e359&rt=54eaf1be1b8845c089439d53365ea5dd&_v=0.84300214&x-zp-page-request-id=280f6d80d733447fbebafab7b8158873-1541403039080-617179' # 构造请求的头信息，防止反爬虫 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'} # 利用requests包中的get函数发送请求 response = requests.get(url, headers = headers) # 基于response返回Json数据 datas = response.json() ```  如上结果所示，即为抓取回来的招聘信息，这些信息是以字典的形式存储起来的。需要说明的是，在发送请求的代码中，添加了请求头信息，其目的就是防止对方服务器禁止Python爬虫。关于头信息可以在Headers选项中的“Request Headers”部分找到，读者只需将“User-Agent”值摘抄下来即可。  #### 内容解析（Json） 下面利用字典的键索引知识，将所需字段的值解析出来。这里不妨以公司名称为例，利用字典的索引技术将其取出来。具体如下图所示：     OK，按照如上的策略，便可以取出其他字段的信息，具体代码如下： ```python # 根据Json数据返回每一条招聘信息# 返回公司名称 company = [i['company']['name'] for i in response.json()['data']['results']] # 返回公司规模 size = [i['company']['size']['name'] for i in response.json()['data']['results']] # 返回公司类型 type = [i['company']['type']['name'] for i in response.json()['data']['results']] # 返回公司招聘信息 positionURL = [i['positionURL'] for i in response.json()['data']['results']] # 返回工作经验的要求 workingExp = [i['workingExp']['name'] for i in response.json()['data']['results']] # 返回教育水平的要求 eduLevel = [i['eduLevel']['name'] for i in response.json()['data']['results']] # 返回薪资水平 salary = [i['salary'] for i in response.json()['data']['results']] # 返回工作岗位名称 jobName = [i['jobName'] for i in response.json()['data']['results']] # 返回福利信息 welfare = [i['welfare'] for i in response.json()['data']['results']] # 返回岗位所在城市 city = [i['city']['items'][0]['name'] for i in response.json()['data']['results']] # 返回经度 lat = [i['geo']['lat'] for i in response.json()['data']['results']] # 返回纬度 lon = [i['geo']['lon'] for i in response.json()['data']['results']] # 将返回的信息构造表格 pd.DataFrame({'company':company,'size':size,'type':type,'positionURL':positionURL, 'workingExp':workingExp,'eduLevel':eduLevel,'salary':salary, 'jobName':jobName,'welfare':welfare,'city':city,'lat':lat,'lon':lon}) ```  ### 数据存储 如上操作只是将招聘网站中的第一页内容抓取下来，如果需要抓取n多页，就需要借助于for循环的技术。但在循环之前，需要准确找到目标链接的规律，然后使用for循环就水到渠成了。所以，我们按照之前的方法，找到第二页、第三页、第四页链接，然后发现其中的规律，如下图所示：  如上图所示，在链接中只有一部分内容发生变化，即“start=”，而其他部分都保持不变。所以，按照这个规律就可以对多页内容进行抓取，代码如下： ```python # 构造空列表，用于存储各页的招聘信息 jobs = [] # 利用for循环，生成规律的链接，并对这些链接进行请求的发送和解析内容 for i in range(0,6001,60): url = 'https://fe-api.zhaopin.com/c/i/sou?start='+str(i)+'&pageSize=60&cityId=489&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B8%88&kt=3&lastUrlQuery=%7B%22p%22:5,%22jl%22:%22489%22,%22kw%22:%22%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B8%88%22,%22kt%22:%223%22%7D&at=17a95e7000264c3898168b11c8f17193&rt=57a342d946134b66a264e18fc60a17c6&_v=0.02365098&x-zp-page-request-id=a3f1b317599f46338d56e5d080a05223-1541300804515-144155' response = requests.get(url, headers = headers) print('Down Loading:','https://fe-api.zhaopin.com/c/i/sou?start='+str(i)+'&pageSize=60','......') company = [i['company']['name'] for i in response.json()['data']['results']] size = [i['company']['size']['name'] for i in response.json()['data']['results']] type = [i['company']['type']['name'] for i in response.json()['data']['results']] positionURL = [i['positionURL'] for i in response.json()['data']['results']] workingExp = [i['workingExp']['name'] for i in response.json()['data']['results']] eduLevel = [i['eduLevel']['name'] for i in response.json()['data']['results']] salary = [i['salary'] for i in response.json()['data']['results']] jobName = [i['jobName'] for i in response.json()['data']['results']] welfare = [i['welfare'] for i in response.json()['data']['results']] city = [i['city']['items'][0]['name'] for i in response.json()['data']['results']] lat = [i['geo']['lat'] for i in response.json()['data']['results']] lon = [i['geo']['lon'] for i in response.json()['data']['results']] # 随机生成5~8之间的实数，用于页面的停留时长（仍然是防止反爬虫） seconds = random.randint(5,8) time.sleep(seconds) # 将每一页的内容保存到jobs列表中 jobs.append(pd.DataFrame({'company':company,'size':size,'type':type,'positionURL':positionURL, 'workingExp':workingExp,'eduLevel':eduLevel,'salary':salary, 'jobName':jobName,'welfare':welfare,'city':city,'lat':lat,'lon':lon})) # 拼接所有页码下的招聘信息 jobs2 = pd.concat(jobs) # 将数据导出到Excel文件中 jobs2.to_excel('jobs.xlsx', index = False) ```  如上结果所示，即为数据导出后的Excel效果图。在下一期，我将针对抓取回来的数据，进行内容的分析。 ### 结语 OK，关于使用Python完成招聘网站数据的抓取就分享到这里，如果你有任何问题，欢迎在公众号的留言区域表达你的疑问。同时，也欢迎各位朋友继续转发与分享文中的内容，让更多的人学习和进步。 关于Python的其他知识（包括数据的清洗、整理、运算、分析、可视化和建模），读者可以查阅我的新书《从零开始学Python数据分析与挖掘》，如果您对书中的内容有任何疑问，都可以联系我。 本文中的代码和数据可以从百度云盘中下载，只需关注“数据分析1480”公众号，并回复“智联招聘”即可。 > **数据人网**是数据人学习，交流和分享的平台，诚邀您创造和分享数据知识，共建和共享数据智库。