問題描述

抓取QQ空間說說但是 總是被封號 可以給提出一些解決方案嗎？如何既可以快速 又可以不封號！謝謝啦！

代碼在github上地址https://github.com/20100507/Q...

問題解答

反爬蟲策略：

1、識別請求頭，判斷是否是爬蟲2、記錄請求頻率、路徑和訪問ip，判斷是否是爬蟲3、請求參數(shù)中進(jìn)行加密或復(fù)雜加密，增加爬蟲開發(fā)的難度（如淘寶的ua算法）4、復(fù)雜驗(yàn)證碼

應(yīng)對反爬蟲策略：

1、在爬取過程中，適當(dāng)切換代理ip2、適當(dāng)降低請求頻率3、請求頭模擬成瀏覽器的請求，也就是用戶正常訪問的請求

你的問題，主要可以通過定時(shí)切換ip，或一旦被封再切換ip，來解決，可以考慮去“站大爺”等代理ip網(wǎng)站付費(fèi)獲取，或者去多用幾個電信賬號，用ASDL撥號來切換ip。