1.最直接的賣數(shù)據(jù)

 

　　你是否經(jīng)常接到廣告推銷的電話，推薦你去植發(fā)？

 

　　你是否經(jīng)常接到發(fā)財(cái)致富的電話，推薦你去投資？

 

 

　　個(gè)人信息，電商數(shù)據(jù)，行業(yè)數(shù)據(jù)等等都是一些熱度比較高的交易對(duì)象。

 

　　在13項(xiàng)公民信息種類中（姓名、年齡、有效證件號(hào)碼、婚姻狀況、工作單位、學(xué)歷、履歷、家庭住址、電話號(hào)碼等），報(bào)價(jià)最低1元/條，最高達(dá)到3000元/條。高學(xué)歷人口信息價(jià)格20元－60元/條不等，銀行流水單信息1000元-3000元/條。公民通訊住址信息是最常見的非法黑市交易類型，在所有信息種類中占近三成。

 

　　哎，學(xué)歷低連信息都不值錢。

 

 

　　收集整理不同來(lái)源的數(shù)據(jù)，然后整理方便查閱，提高流量。然后上廣告，查詢收費(fèi)來(lái)盈利。

 

　　天眼查，企查查這類網(wǎng)站都是同樣的一個(gè)運(yùn)營(yíng)模式，爬取一些政府公開的數(shù)據(jù)，進(jìn)行整理分析合并，然后給會(huì)員提供查閱服務(wù)。

 

　　

 

　　還有這種比價(jià)網(wǎng)站，獲取一些電商的數(shù)據(jù)，進(jìn)行整理，然后靠競(jìng)價(jià)排名，商家返還紅包等手段進(jìn)行盈利。

　　

 

 

　　獲取行業(yè)信息，進(jìn)行定價(jià)選址。

 

　　獲取評(píng)論信息，進(jìn)行輿論檢測(cè)。

 

　　獲取內(nèi)部信息，進(jìn)行戰(zhàn)略制定。

 

　　四、到底什么是爬蟲？

 

 

　　從事這種工作，當(dāng)拿到數(shù)據(jù)之后，假如你只是個(gè)工具人，那么你的工作結(jié)束了可以直接開始摸魚，剩下的交給數(shù)據(jù)分析組或者算法組的同事，就可以了。

 

　　但是一般情況下，老板為了他的蘭博基尼，會(huì)讓你再學(xué)習(xí)一些業(yè)務(wù)，再做一些數(shù)據(jù)清洗，分析，可視化的工作。

 

　　當(dāng)你做完這些的時(shí)候，老板為了他的法拉利，會(huì)讓你再做一個(gè)后臺(tái)，進(jìn)行爬蟲監(jiān)控調(diào)度。

 

　　當(dāng)你后臺(tái)做完之后，老板為了他的勞斯萊斯，會(huì)讓你再做一個(gè)網(wǎng)站或者app，前后端一起搞，用來(lái)給搜索查詢展示數(shù)據(jù)，類似天眼查一樣。

 

　　當(dāng)你前端后端搞定之后，老板為了他的賓利，會(huì)讓你再做一個(gè)智能解析器，只需要輸入個(gè)網(wǎng)址，就能進(jìn)行這個(gè)網(wǎng)站的解析，提取數(shù)據(jù)，然后保存入庫(kù)。

 

　　老板還要邁巴赫，帕加尼，布加迪，邁凱倫，阿斯頓馬丁等等等等，無(wú)窮盡也。

 

　　六、爬蟲流程

 

　　三步即可搞定爬蟲

 

　　模擬網(wǎng)絡(luò)請(qǐng)求

 

　　（通過一些請(qǐng)求工具模擬人的網(wǎng)頁(yè)請(qǐng)求urllib，requests，aiohttp，twisted）

 

　　信息解析

 

　?。▽?duì)請(qǐng)求結(jié)果的html，js，json等進(jìn)行處理，主要使用xpath，css選擇器，re正則）

 

　　數(shù)據(jù)持久化

 

　?。▽?duì)解析的結(jié)果進(jìn)行存儲(chǔ)，本地文件或者數(shù)據(jù)庫(kù)）

 

　　最關(guān)鍵的一部就是第一步，其他基本就是體力活了。因?yàn)榈谝徊侥銜?huì)越到各種各樣的反爬措施，倒逼爬蟲攻城獅學(xué)習(xí)前端，后端，圖片識(shí)別，web安全，android安全，機(jī)器學(xué)習(xí)……

 

　　基本上大綱設(shè)計(jì)就是遵循爬蟲三步走的順序。