華為官方科普Python爬蟲(chóng)

　　7月8日消息 日前有報(bào)道稱(chēng)，華為中國(guó)在今天早些時(shí)候發(fā)布了一篇題為《小白看過(guò)來(lái)，讓Python爬蟲(chóng)成為你的好幫手》的文章，并在文章中詳細(xì)介紹了Python爬蟲(chóng)的工作原理！感興趣的朋友，還不趕緊和小編一起來(lái)了解一下。

　　以下為《小白看過(guò)來(lái)，讓Python爬蟲(chóng)成為你的好幫手》全文：

　　隨著信息化社會(huì)的到來(lái)，人們對(duì)網(wǎng)絡(luò)爬蟲(chóng)這個(gè)詞已經(jīng)不再陌生。但什么是爬蟲(chóng)，如何利用爬蟲(chóng)為自己服務(wù)，這些在ICT技術(shù)小白聽(tīng)起來(lái)又有些高入云端。不用愁，下面一文帶你走近爬蟲(chóng)世界，讓即使身為ICT技術(shù)小白的你，也能秒懂使用Python爬蟲(chóng)高效抓取圖片。

　　什么是專(zhuān)用爬蟲(chóng)？

　　網(wǎng)絡(luò)爬蟲(chóng)是一種從互聯(lián)網(wǎng)抓取數(shù)據(jù)信息的自動(dòng)化程序。如果我們把互聯(lián)網(wǎng)比作一張大的蜘蛛網(wǎng)，數(shù)據(jù)便是存放于蜘蛛網(wǎng)的各個(gè)節(jié)點(diǎn)，而爬蟲(chóng)就是一只小蜘蛛（程序），沿著網(wǎng)絡(luò)抓取自己的獵物（數(shù)據(jù)）。

　　爬蟲(chóng)可以在抓取過(guò)程中進(jìn)行各種異常處理、錯(cuò)誤重試等操作，確保爬取持續(xù)高效地運(yùn)行。它分為通用爬蟲(chóng)和專(zhuān)用爬蟲(chóng)。通用爬蟲(chóng)是捜索引擎抓取系統(tǒng)的重要組成部分，主要目的是將互聯(lián)網(wǎng)上的網(wǎng)頁(yè)下載到本地，形成一個(gè)互聯(lián)網(wǎng)內(nèi)容的鏡像備份；專(zhuān)用爬蟲(chóng)主要為某一類(lèi)特定的人群提供服務(wù)，爬取的目標(biāo)網(wǎng)頁(yè)定位在與主題相關(guān)的頁(yè)面中，節(jié)省大量的服務(wù)器資源和帶寬資源。比如要獲取某一垂直領(lǐng)域的數(shù)據(jù)或有明確的檢索需求，此時(shí)就需要過(guò)濾掉一些無(wú)用的信息。

　　爬蟲(chóng)工作原理

　　爬蟲(chóng)可以根據(jù)我們提供的信息從網(wǎng)頁(yè)上獲取大量的圖片，它的工作原理是什么呢？

　　爬蟲(chóng)首先要做的工作是獲取網(wǎng)頁(yè)的源代碼，源代碼里包含了網(wǎng)頁(yè)的部分有用信息；之后爬蟲(chóng)構(gòu)造一個(gè)請(qǐng)求并發(fā)送給服務(wù)器，服務(wù)器接收到響應(yīng)并將其解析出來(lái)。實(shí)際上，獲取網(wǎng)頁(yè)——分析網(wǎng)頁(yè)源代碼——提取信息，便是爬蟲(chóng)工作的三部曲。如何提取信息？最通用的方法是采用正則表達(dá)式。網(wǎng)頁(yè)結(jié)構(gòu)有一定的規(guī)則，還有一些根據(jù)網(wǎng)頁(yè)節(jié)點(diǎn)屬性、CSS選擇器或XPath來(lái)提取網(wǎng)頁(yè)信息的庫(kù)，如Requests、pyquery、lxml等，使用這些庫(kù)，便可以高效快速地從中提取網(wǎng)頁(yè)信息，如節(jié)點(diǎn)的屬性、文本值等，并能簡(jiǎn)單保存為T(mén)XT文本或JSON文本，這些信息可保存到數(shù)據(jù)庫(kù)，如MySQL和MongoDB等，也可保存至遠(yuǎn)程服務(wù)器，如借助SFTP進(jìn)行操作等。提取信息是爬蟲(chóng)非常重要的作用，它可以使雜亂的數(shù)據(jù)變得條理清晰，以便我們后續(xù)處理和分析數(shù)據(jù)。