久久r热视频,国产午夜精品一区二区三区视频,亚洲精品自拍偷拍,欧美日韩精品二区

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

Python常見反爬蟲機(jī)制解決方案

瀏覽:37日期:2022-07-23 16:18:55

1、使用代理

適用情況:限制IP地址情況,也可解決由于“頻繁點(diǎn)擊”而需要輸入驗(yàn)證碼登陸的情況。

這種情況最好的辦法就是維護(hù)一個(gè)代理IP池,網(wǎng)上有很多免費(fèi)的代理IP,良莠不齊,可以通過(guò)篩選找到能用的。對(duì)于“頻繁點(diǎn)擊”的情況,我們還可以通過(guò)限制爬蟲訪問(wèn)網(wǎng)站的頻率來(lái)避免被網(wǎng)站禁掉。

proxies = {’http’:’http://XX.XX.XX.XX:XXXX’}Requests: import requests response = requests.get(url=url, proxies=proxies)Urllib2: import urllib2 proxy_support = urllib2.ProxyHandler(proxies) opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler) urllib2.install_opener(opener) # 安裝opener,此后調(diào)用urlopen()時(shí)都會(huì)使用安裝過(guò)的opener對(duì)象 response = urllib2.urlopen(url)

2、時(shí)間設(shè)置

適用情況:限制頻率情況。

Requests,Urllib2都可以使用time庫(kù)的sleep()函數(shù):

import timetime.sleep(1)

3、偽裝成瀏覽器,或者反“反盜鏈”

有些網(wǎng)站會(huì)檢查你是不是真的瀏覽器訪問(wèn),還是機(jī)器自動(dòng)訪問(wèn)的。這種情況,加上User-Agent,表明你是瀏覽器訪問(wèn)即可。有時(shí)還

會(huì)檢查是否帶Referer信息還會(huì)檢查你的Referer是否合法,一般再加上Referer。

headers = {’User-Agent’:’XXXXX’} # 偽裝成瀏覽器訪問(wèn),適用于拒絕爬蟲的網(wǎng)站headers = {’Referer’:’XXXXX’}headers = {’User-Agent’:’XXXXX’, ’Referer’:’XXXXX’}Requests: response = requests.get(url=url, headers=headers)Urllib2: import urllib, urllib2 req = urllib2.Request(url=url, headers=headers) response = urllib2.urlopen(req)

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 武夷山市| 彰武县| 含山县| 长汀县| 温宿县| 古交市| 固镇县| 沙洋县| 嘉鱼县| 衢州市| 扶风县| 广昌县| 鸡西市| 嘉义县| 宁化县| 呈贡县| 农安县| 周宁县| 阜康市| 乐陵市| 南郑县| 阿克| 万全县| 松溪县| 贺州市| 梁平县| 长沙市| 鄂托克前旗| 抚州市| 宣化县| 宁明县| 台北市| 青州市| 名山县| 安阳县| 延吉市| 来宾市| 长乐市| 翁牛特旗| 南和县| 承德县|