你可能會(huì)問：為什么 12306 這么摳呢？它大方地讓爬蟲隨意爬會(huì)死嗎？

答：會(huì)死。

你知道每年過年之前，12306 被點(diǎn)成什么樣了嗎？公開數(shù)據(jù)是這么說的：“最高峰時(shí)1天內(nèi)頁面瀏覽量達(dá)813.4億次，1小時(shí)最高點(diǎn)擊量59.3億次，平均每秒164.8萬次。”這還是加上驗(yàn)證碼防護(hù)之后的數(shù)據(jù)。可想而知被攔截在外面的爬蟲還有多少。況且這里還沒有討論，被搶票軟件把票搶走，對(duì)我們父母那樣的不會(huì)搶票的人來說，是不是公平呢？鐵路被爬蟲“點(diǎn)雞”成這樣已經(jīng)夠慘了，但它還有個(gè)難兄難弟，就是航空。而航空里，被搞得最慘的不是國航，不是海航，也不是東航。而是亞航。

很多人可能都沒坐過亞洲航空。這是一家馬來西亞的廉價(jià)航空公司，航線基本都是從中國各地飛往東南亞的旅游勝地，飛機(jī)上連礦泉水都得自費(fèi)買，是屌絲窮X度假之首選。為什么爬蟲這么青睞亞航呢？因?yàn)樗�便宜。確切地說，因?yàn)樗��?jīng)常放出便宜的票。本來，亞航的初衷只是隨機(jī)放出一些便宜的票來吸引游客，但這里面黃牛黨是有利可圖的。據(jù)我所知，他們是這樣玩的：技術(shù)宅黃牛黨們利用爬蟲，不斷刷新亞航的票務(wù)接口，一旦出現(xiàn)便宜的票，不管三七二十一先拍下來再說。亞航有規(guī)定，你拍下來半小時(shí)（具體時(shí)間記不清了）不付款票就自動(dòng)回到票池，繼續(xù)賣。但是黃牛黨們在爬蟲腳本里寫好了精確的時(shí)間，到了半小時(shí)，一毫秒都不多，他又把票拍下來，如此循環(huán)。直到有人從黃牛黨這里定了這個(gè)票，黃牛黨就接著利用程序，在亞航系統(tǒng)里放棄這張票，然后0.00001秒之后，就幫你用你的名字預(yù)定了這張票�！拔沂侵虚g商，我就要賺差價(jià)！”這波騷操作，堪稱完美。2、排名第二的是社交社交的爬蟲重災(zāi)區(qū)，就是你們喜聞樂見的微博。給你看張圖：

這是爬蟲經(jīng)常光顧的微博地址。這里的代碼其實(shí)指向了微博的一個(gè)接口。它可以用來獲取某個(gè)人的微博列表、微博的狀態(tài)、索引等等等等。獲得這些，能搞出什么騷操作呢？你想想看，如果我能隨心所欲地指揮一幫機(jī)器人，打開某人的微博，然后刷到某一條，然后瘋狂關(guān)注、點(diǎn)贊或者留言，這不就是標(biāo)準(zhǔn)的僵尸粉上班兒的流程么。。。其實(shí)，僵尸粉都只是爬蟲的常規(guī)操作，更騷的來了：

1、我是一個(gè)路人甲，我的微博沒人關(guān)注，我用大量的爬蟲，給自己做了十萬人的僵尸粉，一群僵尸在我的微博下面點(diǎn)贊評(píng)論，不亦樂乎。

2、我去找一個(gè)游戲廠商，跟他說：你看我有這么多粉絲，你在我這投廣告吧。我?guī)湍惆l(fā)一條游戲的注冊鏈接，每有一個(gè)人通過我的鏈接注冊了游戲，你就給我一毛錢。廣告主說，不錯(cuò)，就這么辦。

3、我發(fā)出注冊鏈接，然后沒人點(diǎn)。。。

4、不慌，我讓十萬爬蟲繼續(xù)前赴后繼地點(diǎn)擊注冊鏈接，然后自動(dòng)去完成注冊動(dòng)作。

5、我躺在床上，數(shù)著賺來的一萬塊錢。（以上數(shù)據(jù)不一定和現(xiàn)實(shí)吻合，只是展現(xiàn)一個(gè)邏輯。具體操作也會(huì)更復(fù)雜。）還有更騷的么？有的。你家愛豆不是經(jīng)常在微博上發(fā)紅包么？好的，我率十萬僵尸粉去搶。

憑本事?lián)寔淼募t包，就問你有什么不妥嗎？3、排名第三的是電商你回憶一下，有幾種東西叫做“比價(jià)平臺(tái)”“聚合電商”和“返利平臺(tái)”。他們大體都是一個(gè)原理：你搜索一樣商品，這類聚合平臺(tái)就會(huì)自動(dòng)把各個(gè)電商的商品都放在你面前供你選擇。有淘寶、京東，還有唯品會(huì)蘇寧易購。這就是爬蟲的功勞。它們?nèi)ヌ詫毶�，把胖次襪子杜蕾斯的圖片和價(jià)格統(tǒng)統(tǒng)扒下來，然后在自己這里展示。

這個(gè)原理和谷歌差不多。只不過他們展示的不是網(wǎng)頁而是商品。但是被放在一起比價(jià)，淘寶是拒絕的，京東也是拒絕的啊。。。然鵝，由于機(jī)器爬蟲模擬的是人的點(diǎn)擊，電商很難阻止這類事情發(fā)生。他們甚至都不能向12306學(xué)習(xí)。你想想看，如果你每點(diǎn)開一個(gè)商品詳情，淘寶都讓你先分辨一次白百何和王珞丹，你肯定沒心情剁手，沒準(zhǔn)還要提刀去剁馬云呢。。。當(dāng)然，電商對(duì)抗爬蟲有另外的方法，那就是“web 應(yīng)用防火墻”，簡稱 WAF。這個(gè)我們后面再單獨(dú)說。說到這，有童鞋會(huì)有個(gè)疑問：那些聚合平臺(tái)，自己寫爬蟲，然后幫助淘寶京東賣貨，他們的名字叫雷鋒么？醒醒啊同學(xué)，雷鋒叔叔已經(jīng)走了很多年了。我隨便給你說一下這種聚合電商平臺(tái)的盈利模式：

1、假設(shè)幾家店鋪都賣杜蕾斯，但是用戶在我這里搜索“杜蕾斯”的時(shí)候，我是有權(quán)利決定誰的店鋪在前面誰在后面的啊。誰給的錢多，我就讓誰在搜索的前面唄。@百度君，你說說是不是這個(gè)道理？（注意，每個(gè)店鋪和淘寶平臺(tái)可不是一致行動(dòng)人。淘寶平臺(tái)不希望自己的內(nèi)容被聚合平臺(tái)抓取，但每個(gè)店鋪可是很樂意多一個(gè)渠道幫他們賣貨的。）

2、如果你覺得搞競價(jià)排名良心會(huì)痛，也可以用更簡單的方式——在網(wǎng)頁上展示獨(dú)立的廣告。訪問你網(wǎng)站的用戶，看到頁面上的廣告，也有可能會(huì)點(diǎn)擊。每點(diǎn)擊一次，你就賺一次錢。

3、你還可以作為中間商，收點(diǎn)中介費(fèi)。我?guī)湍愕昙屹u貨了，你是不是要給我意思意思。除了給我意思意思，你還得給來買東西的用戶意思意思。這種套路，就是“返利網(wǎng)”這類平臺(tái)的玩法。

來源：巨靈鳥 歡迎分享本文