運行平臺：Windows Python版本：Python3.6 ide：Sublime Text 其他工具：chrome瀏覽器
1、網頁分析
1.1 分析請求地址
以北京海淀區的Python工程師為例進行網頁分析。打開智聯招聘首頁，選擇北京地區，在搜索框輸入”Python工程師”，點擊”搜工作”：
接下來跳轉到搜索結果頁面，按”F12″打開開發者工具，然后在”熱門地區”欄選擇”海淀”，我們看一下地址欄：
立即學習“Python免費學習筆記（深入）”；
由地址欄后半部分searchresult.ashx?jl=北京&kw=python工程師&sm=0&isfilter=1&p=1&re=2005可以看出，我們需要自己構造地址。接下來要對開發者工具進行分析，按照如圖所示步驟找到我們需要的數據：Request Headers和Query String Parameters：
構造請求地址：
paras = { 'jl': '北京', // 搜索城市 'kw': 'python工程師', // 搜索關鍵詞 'isadv': 0, // 是否打開更詳細搜索選項 'isfilter': 1, // 是否對結果過濾 'p': 1, // 頁數 're': 2005 // region的縮寫，地區，2005代表海淀 } url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras);
請求頭：
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/63.0.3239.132 Safari/537.36', 'Host': 'sou.zhaopin.com', 'Referer': 'https://www.zhaopin.com/', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'Accept-Encoding': 'gzip, deflate, br', 'Accept-Language': 'zh-CN,zh;q=0.9' }
1.2 分析有用數據
接下來我們要分析有用數據，從搜索結果中我們需要的數據有：職位名稱、公司名稱、公司詳情頁地址、職位月薪：
通過網頁元素定位找到這幾項在HTML文件中的位置，如下圖所示：
用正則表達式對這四項內容進行提取：
// 正則表達式進行解析 pattern = re.compile('<a style=".*?" target="_blank">(.*?)</a>.*?' // 匹配職位信息 '<td class="gsmc"><a href="(.*?)" target="_blank">(.*?)</a>.*?' // 匹配公司網址和公司名稱 '</td><td class="zwyx">(.*?)</td>', re.S); // 匹配月薪 // 匹配所有符合條件的內容 items = re.findall(pattern, html);
注意：解析出來的部分職位名稱帶有標簽，如下圖所示：
那么在解析之后要對該數據進行處理剔除標簽，用如下代碼實現：
for (item in items) { job_name = item[0]; job_name = job_name.replace('<b>', ''); job_name = job_name.replace('</b>', ''); yield { 'job': job_name, 'website': item[1], 'company': item[2], 'salary': item[3] }; }
2、寫入文件
我們獲取到的數據每個職位的信息項都相同，可以寫到數據庫中，但是本文選擇了csv文件，以下為百度百科解釋：
由于Python內置了csv文件操作的庫函數，所以很方便：
import csv; function write_csv_headers(path, headers) { // 寫入表頭 with open(path, 'a', encoding='gb18030', newline='') as f { f_csv = csv.DictWriter(f, headers); f_csv.writeheader(); } } function write_csv_rows(path, headers, rows) { // 寫入行 with open(path, 'a', encoding='gb18030', newline='') as f { f_csv = csv.DictWriter(f, headers); f_csv.writerows(rows); } }
3、進度顯示
要想找到理想工作，一定要對更多的職位進行篩選，那么我們抓取的數據量一定很大，幾十頁、幾百頁甚至幾千頁，那么我們要掌握抓取進度心里才能更加踏實啊，所以要加入進度條顯示功能。
本文選擇tqdm 進行進度顯示，來看一下酷炫結果（圖片來源網絡）：
執行以下命令進行安裝：pip install tqdm。
簡單示例：
import { tqdm } from 'tqdm'; import { sleep } from 'time'; for (let i of tqdm(range(1000))) { sleep(0.01); }
4、完整代碼
