久久r热视频,国产午夜精品一区二区三区视频,亚洲精品自拍偷拍,欧美日韩精品二区

您的位置:首頁技術文章
文章詳情頁

python爬蟲爬取網(wǎng)頁數(shù)據(jù)并解析數(shù)據(jù)

瀏覽:6日期:2022-07-10 17:19:58

1.網(wǎng)絡爬蟲的基本概念

網(wǎng)絡爬蟲(又稱網(wǎng)絡蜘蛛,機器人),就是模擬客戶端發(fā)送網(wǎng)絡請求,接收請求響應,一種按照一定的規(guī)則,自動地抓取互聯(lián)網(wǎng)信息的程序。只要瀏覽器能夠做的事情,原則上,爬蟲都能夠做到。

2.網(wǎng)絡爬蟲的功能

python爬蟲爬取網(wǎng)頁數(shù)據(jù)并解析數(shù)據(jù)

網(wǎng)絡爬蟲可以代替手工做很多事情,比如可以用于做搜索引擎,也可以爬取網(wǎng)站上面的圖片,比如有些朋友將某些網(wǎng)站上的圖片全部爬取下來,集中進行瀏覽,同時,網(wǎng)絡爬蟲也可以用于金融投資領域,比如可以自動爬取一些金融信息,并進行投資分析等。

有時,我們比較喜歡的新聞網(wǎng)站可能有幾個,每次都要分別打開這些新聞網(wǎng)站進行瀏覽,比較麻煩。此時可以利用網(wǎng)絡爬蟲,將這多個新聞網(wǎng)站中的新聞信息爬取下來,集中進行閱讀。

有時,我們在瀏覽網(wǎng)頁上的信息的時候,會發(fā)現(xiàn)有很多廣告。此時同樣可以利用爬蟲將對應網(wǎng)頁上的信息爬取過來,這樣就可以自動的過濾掉這些廣告,方便對信息的閱讀與使用。

有時,我們需要進行營銷,那么如何找到目標客戶以及目標客戶的聯(lián)系方式是一個關鍵問題。我們可以手動地在互聯(lián)網(wǎng)中尋找,但是這樣的效率會很低。此時,我們利用爬蟲,可以設置對應的規(guī)則,自動地從互聯(lián)網(wǎng)中采集目標用戶的聯(lián)系方式等數(shù)據(jù),供我們進行營銷使用。

有時,我們想對某個網(wǎng)站的用戶信息進行分析,比如分析該網(wǎng)站的用戶活躍度、發(fā)言數(shù)、熱門文章等信息,如果我們不是網(wǎng)站管理員,手工統(tǒng)計將是一個非常龐大的工程。此時,可以利用爬蟲輕松將這些數(shù)據(jù)采集到,以便進行進一步分析,而這一切爬取的操作,都是自動進行的,我們只需要編寫好對應的爬蟲,并設計好對應的規(guī)則即可。

除此之外,爬蟲還可以實現(xiàn)很多強大的功能。總之,爬蟲的出現(xiàn),可以在一定程度上代替手工訪問網(wǎng)頁,從而,原先我們需要人工去訪問互聯(lián)網(wǎng)信息的操作,現(xiàn)在都可以用爬蟲自動化實現(xiàn),這樣可以更高效率地利用好互聯(lián)網(wǎng)中的有效信息。

3.安裝第三方庫

在進行爬取數(shù)據(jù)和解析數(shù)據(jù)前,需要在Python運行環(huán)境中下載安裝第三方庫requests。

在Windows系統(tǒng)中,打開cmd(命令提示符)界面,在該界面輸入pip install requests,按回車鍵進行安裝。(注意連接網(wǎng)絡)如下圖

python爬蟲爬取網(wǎng)頁數(shù)據(jù)并解析數(shù)據(jù)

安裝完成,如圖

python爬蟲爬取網(wǎng)頁數(shù)據(jù)并解析數(shù)據(jù)

4.爬取淘寶首頁

# 請求庫import requests# 用于解決爬取的數(shù)據(jù)格式化import ioimport syssys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding=’utf-8’)# 爬取的網(wǎng)頁鏈接r= requests.get('https://www.taobao.com/')# 類型# print(type(r))print(r.status_code)# 中文顯示# r.encoding=’utf-8’r.encoding=Noneprint(r.encoding)print(r.text)result = r.text

運行結果,如圖

python爬蟲爬取網(wǎng)頁數(shù)據(jù)并解析數(shù)據(jù)

5.爬取和解析淘寶網(wǎng)首頁

# 請求庫import requests# 解析庫from bs4 import BeautifulSoup# 用于解決爬取的數(shù)據(jù)格式化import ioimport syssys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding=’utf-8’)# 爬取的網(wǎng)頁鏈接r= requests.get('https://www.taobao.com/')# 類型# print(type(r))print(r.status_code)# 中文顯示# r.encoding=’utf-8’r.encoding=Noneprint(r.encoding)print(r.text)result = r.text# 再次封裝,獲取具體標簽內(nèi)的內(nèi)容bs = BeautifulSoup(result,’html.parser’)# 具體標簽print('解析后的數(shù)據(jù)')print(bs.span)a={}# 獲取已爬取內(nèi)容中的script標簽內(nèi)容data=bs.find_all(’script’)# 獲取已爬取內(nèi)容中的td標簽內(nèi)容data1=bs.find_all(’td’)# 循環(huán)打印輸出for i in data: a=i.text print(i.text,end=’’) for j in data1: print(j.text)

運行結果,如圖

python爬蟲爬取網(wǎng)頁數(shù)據(jù)并解析數(shù)據(jù)

6.小結

在對網(wǎng)頁代碼進行爬取操作時,不能頻繁操作,更不要將其設置成死循環(huán)模式(每一次爬取則為對網(wǎng)頁的訪問,頻繁操作會導致系統(tǒng)崩潰,會追究其法律責任)。

所以在獲取網(wǎng)頁數(shù)據(jù)后,將其保存為本地文本模式,再對其進行解析(不再需要訪問網(wǎng)頁)。

以上就是python爬蟲爬取網(wǎng)頁數(shù)據(jù)并解析數(shù)據(jù)的詳細內(nèi)容,更多關于python爬取網(wǎng)頁數(shù)據(jù)并解析的資料請關注好吧啦網(wǎng)其它相關文章!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 贵溪市| 淅川县| 乌海市| 淮安市| 镇康县| 丹棱县| 酉阳| 天门市| 宣恩县| 星子县| 边坝县| 砀山县| 沐川县| 望江县| 新龙县| 宁国市| 新建县| 邵武市| 宁乡县| 沈丘县| 股票| 莱西市| 沅陵县| 方正县| 淮南市| 福泉市| 兴安盟| 仙游县| 美姑县| 甘孜县| 游戏| 米脂县| 类乌齐县| 信丰县| 湘乡市| 唐海县| 通许县| 疏勒县| 新宾| 铁岭市| 吐鲁番市|