閱讀本文大概需要15分鐘。這是快速入門爬蟲(chóng)的第一篇，本系列文章將帶領(lǐng)你從0基礎(chǔ)開(kāi)始，一步一步，從采集一個(gè)簡(jiǎn)單的網(wǎng)頁(yè)，到復(fù)雜的列表，多頁(yè)數(shù)據(jù)，Ajax頁(yè)面，瀑布流等等，直到應(yīng)對(duì)常見(jiàn)封IP，驗(yàn)證碼等防采集措施，包括采集淘寶，京東，微信，大眾點(diǎn)評(píng)等熱門網(wǎng)站。由淺入深，循序漸進(jìn)的深入網(wǎng)頁(yè)數(shù)據(jù)采集領(lǐng)域，相信認(rèn)真學(xué)完本系列，你也會(huì)成為采集大神，有能力把互聯(lián)網(wǎng)變成自己的數(shù)據(jù)庫(kù)（這一段提到了Ajax等專業(yè)數(shù)據(jù)，你可能不懂，但有個(gè)好消息：到目前為止你不需要了解這些技術(shù)概念）。
學(xué)習(xí)本篇內(nèi)容，你需要先掌握以下知識(shí)：
- 會(huì)上網(wǎng)，知道什么是網(wǎng)頁(yè)，什么是網(wǎng)址，什么是瀏覽器。
- 會(huì)使用windows XP，windows 7，windows 8.1，windows 10等操作系統(tǒng)，會(huì)使用Excel。
- 沒(méi)有了，如果1、2點(diǎn)有不懂的，我墻裂建議你百度一下。
- 什么是爬蟲(chóng)，什么是網(wǎng)頁(yè)采集器，八爪魚(yú)采集器是什么。
- 使用八爪魚(yú)采集器采集一個(gè)新聞網(wǎng)頁(yè)，獲取一條新聞數(shù)據(jù)。
好了，能讀到這里我相信上面的要求對(duì)你而言太容易達(dá)到了。因?yàn)橛辛税俣取⒅踹@些知識(shí)平臺(tái)，我相信查詢一個(gè)名詞很容易，除非你是伸手黨。但是往往這些名詞的解釋過(guò)于專業(yè)，同時(shí)又提到更多專業(yè)術(shù)語(yǔ)，容易讓人困惑，所以我這里給出的解釋不一定那么專業(yè)嚴(yán)謹(jǐn)，但是卻通俗易懂。
- 什么是爬蟲(chóng)：我們講的不是真正的動(dòng)物或者小蟲(chóng)子，而是一些自動(dòng)化的程序或者軟件，會(huì)自動(dòng)瀏覽網(wǎng)頁(yè)，并從網(wǎng)頁(yè)上獲取內(nèi)容。百度就是一個(gè)典型的爬蟲(chóng)，百度從各個(gè)網(wǎng)站上自動(dòng)瀏覽網(wǎng)頁(yè)，然后把網(wǎng)頁(yè)內(nèi)容存起來(lái)，給我們提供了一個(gè)搜索的工具，我們輸入關(guān)鍵詞，百度就會(huì)搜索爬蟲(chóng)保存的網(wǎng)頁(yè)內(nèi)容，羅列相關(guān)網(wǎng)站當(dāng)做搜索結(jié)果。
- 什么是網(wǎng)頁(yè)采集器：我這里講的網(wǎng)頁(yè)采集器專門指會(huì)根據(jù)用戶的指令或者設(shè)置，從指定的網(wǎng)頁(yè)上獲取用戶指定內(nèi)容的工具軟件。嚴(yán)格來(lái)講，我這里說(shuō)的網(wǎng)頁(yè)采集器也是爬蟲(chóng)的一種。
- 八爪魚(yú)采集器：八爪魚(yú)采集器就是一種網(wǎng)頁(yè)采集器，用戶可以設(shè)置從哪個(gè)網(wǎng)站爬取數(shù)據(jù)，爬取那些數(shù)據(jù)，爬取什么范圍的數(shù)據(jù)，什么時(shí)候去爬取數(shù)據(jù)，爬取的數(shù)據(jù)如何保存等等。
接下來(lái)，讓我們從一個(gè)最簡(jiǎn)答的任務(wù)開(kāi)始，采集一篇新聞（一個(gè)網(wǎng)頁(yè)），上手操作一下如何采集數(shù)據(jù)。 開(kāi)始采集之前，你需要下載并安裝八爪魚(yú)采集器，八爪魚(yú)采集器目前僅支持windows操作系統(tǒng)，如果你正在使用Mac電腦或者Linux操作系統(tǒng)，請(qǐng)更換一臺(tái)電腦，或者在Mac、Linux上安裝windows虛擬機(jī)，然后在windows虛擬機(jī)上安裝八爪魚(yú)采集器。你可以百度如何安裝虛擬機(jī)，我稍后會(huì)專門寫(xiě)一篇文章講解如何通過(guò)虛擬機(jī)來(lái)安裝八爪魚(yú)采集器。 1. 下載八爪魚(yú)采集器：免費(fèi)下載 – 八爪魚(yú)采集器，網(wǎng)址：http://www.bazhuayu.com/download。注意：截止本文發(fā)稿時(shí)，八爪魚(yú)采集器最新版本為7.1.6。八爪魚(yú)官網(wǎng)同時(shí)提供了6.4.5版本和7.1.6版本的下載鏈接（注意下載按鈕下面的小字鏈接）。
你也可以直接點(diǎn)擊這個(gè)鏈接下載八爪魚(yú)采集器最新版本：http://www.bazhuayu.com/Download/DownloadHandler?version=new&from=minor，我建議大家總是下載最新版本，八爪魚(yú)大概每個(gè)月升級(jí)1-2次，因此后續(xù)可能有更新的版本，但是就本教程的內(nèi)容而言，新版本的主要操作學(xué)習(xí)過(guò)程不會(huì)有大變化，但是新版本通常性能更好，穩(wěn)定性更高。 注：如果安裝過(guò)程碰到任何問(wèn)題，請(qǐng)點(diǎn)擊鏈接：八爪魚(yú)論壇安裝問(wèn)題板塊，查看常見(jiàn)問(wèn)題及解決方法。如果您使用的是window xp操作系統(tǒng)，則可能需要安裝一個(gè)windows系統(tǒng)組件：.NET Framework 3.5 SP1，簡(jiǎn)稱.NET 3.5。八爪魚(yú)采集器需要.NET3.5 SP1支持，Win 7/8/10已經(jīng)內(nèi)置支持，無(wú)需下載，但XP系統(tǒng)需要安裝，軟件會(huì)在安裝時(shí)自動(dòng)檢測(cè)是否安裝了.NET 3.5 SP1，如果沒(méi)有安裝則會(huì)自動(dòng)從微軟官方在線安裝，國(guó)內(nèi)在線安裝速度很慢，建議先從以下鏈接下載安裝.NET 3.5 SP1，然后再安裝八爪魚(yú)采集器。點(diǎn)擊這里下載.NET3.5 SP1 離線安裝包。2. 安裝八爪魚(yú)采集器：下載后是一個(gè)zip文件，解壓縮，然后運(yùn)行里面的 OctopusSetup7.1.6.11022.exe，這個(gè)安裝文件。
不同版本可能名字具體不一樣，但是下載的zip壓縮文件中只有這一個(gè)exe文件，其他還有幾個(gè)txt文件。安裝過(guò)程很簡(jiǎn)單，20秒左右就安裝完成了。安裝完成后，點(diǎn)擊安裝完成界面的“立即體驗(yàn)”按鈕，或者在桌面上雙擊“八爪魚(yú)采集器”快捷方式，就可以啟動(dòng)八爪魚(yú)采集器了。 3. 注冊(cè)并登陸八爪魚(yú)賬號(hào)，八爪魚(yú)客戶端需要登陸才能使用，不過(guò)好消息是，使用一個(gè)手機(jī)號(hào)或者郵箱就可以免費(fèi)注冊(cè)。點(diǎn)擊八爪魚(yú)采集器客戶端登錄界面的“免費(fèi)注冊(cè)”鏈接：
或者你也可以直接到八爪魚(yú)網(wǎng)站免費(fèi)注冊(cè)：注冊(cè)八爪魚(yú) – 八爪魚(yú)采集器，網(wǎng)址：http://www.bazhuayu.com/signup。使用注冊(cè)的用戶名和密碼登錄后，將默認(rèn)打開(kāi)八爪魚(yú)采集器主界面：
1. 復(fù)制上面的網(wǎng)址，打開(kāi)網(wǎng)頁(yè)瀏覽器（IE，火狐，Chrome、safari等等），把網(wǎng)址粘貼到瀏覽器地址欄，打開(kāi)這個(gè)網(wǎng)頁(yè)。 2. 選中標(biāo)題部分的文字，按鼠標(biāo)右鍵或者Ctrl+C復(fù)制選中文字，新建一個(gè)Excel文件，打開(kāi)，并且粘貼到第一個(gè)單元格，然后復(fù)制時(shí)間，粘貼到第二個(gè)單元格，然后復(fù)制正文，粘貼到第三個(gè)單元格。為了讓別人知道這些數(shù)據(jù)列都是什么，你可能會(huì)給三列分別加上列名，如：標(biāo)題，時(shí)間，正文。結(jié)果如圖：
因?yàn)椴僮鞑襟E較多，下面是一個(gè)1分鐘的視頻給大家詳細(xì)看看操作過(guò)程。可以看到系統(tǒng)在新打開(kāi)的頁(yè)面上自動(dòng)打開(kāi)了網(wǎng)頁(yè)，采集了三個(gè)數(shù)據(jù)列，名字就是我們之前設(shè)定的，完成后提示我們導(dǎo)出數(shù)據(jù)，我們選擇導(dǎo)出到Excel 2007，保存到桌面，然后打開(kāi)Excel，是不是跟我們上面手動(dòng)復(fù)制的數(shù)據(jù)效果一模一樣？（其實(shí)本身很簡(jiǎn)單的，因?yàn)槭?基礎(chǔ)入門，我就講的特別詳細(xì)，如果覺(jué)得啰嗦歡迎大家給我留言提修改意見(jiàn)，請(qǐng)暫時(shí)忽略本教程沒(méi)有提到的內(nèi)容，我們?cè)诤罄m(xù)的文章中會(huì)講解）https://www.zhihu.com/video/911035850404560896 這個(gè)很容易理解吧，這也正是八爪魚(yú)設(shè)計(jì)最為精妙的地方，不像其他采集工具，需要你去理解計(jì)算機(jī)內(nèi)部如何工作，八爪魚(yú)就像是一個(gè)機(jī)器人，我們要做的就是訓(xùn)練這個(gè)機(jī)器人，教他按照我們?cè)O(shè)定的步驟一步一步像人一樣去采集數(shù)據(jù)，唯一的區(qū)別就是，八爪魚(yú)是程序，他會(huì)不知疲倦的，全自動(dòng)的工作。
小結(jié)： 首先恭喜你！你已經(jīng)入門了，從完全不懂爬蟲(chóng)，到自己成功采集了一篇新聞數(shù)據(jù)，保存到了Excel中，這是個(gè)非常大的進(jìn)步！除非你不看教程已經(jīng)可以做到這個(gè)結(jié)果，否則不要因?yàn)檫@個(gè)教程太簡(jiǎn)單而不去實(shí)踐操作，我們后面會(huì)學(xué)習(xí)更多，但是都離不開(kāi)這里學(xué)習(xí)的基礎(chǔ)，而且采集其他任何網(wǎng)站，采集更多數(shù)據(jù)，其實(shí)都是一樣的過(guò)程，只是采集的設(shè)置過(guò)程可能更復(fù)雜而已。如果你想跑，請(qǐng)先學(xué)會(huì)走。
如果你有任何問(wèn)題和想法想和我交流，請(qǐng)?jiān)谙旅嬖u(píng)論區(qū)留言。你也可以關(guān)注我的知乎與我互動(dòng)：點(diǎn)擊前往關(guān)注“劉寶強(qiáng)的知乎”。同時(shí)歡迎你關(guān)注我的知乎專欄獲取新文章通知：點(diǎn)擊前往關(guān)注“小白的數(shù)據(jù)夢(mèng)工廠”
聲明：本文由網(wǎng)站用戶香香發(fā)表，超夢(mèng)電商平臺(tái)僅提供信息存儲(chǔ)服務(wù)，版權(quán)歸原作者所有。若發(fā)現(xiàn)本站文章存在版權(quán)問(wèn)題，如發(fā)現(xiàn)文章、圖片等侵權(quán)行為，請(qǐng)聯(lián)系我們刪除。
