問題描述

用superagent爬網(wǎng)頁，遇到重定向，拿不到重定向后的響應(yīng)體，該如何解決，如何獲取重定向后的網(wǎng)頁

我想獲取501頁面的res，但是他跳轉(zhuǎn)到37018頁面，導(dǎo)致我拿到501頁面的空res。

測試了爬取不到的網(wǎng)頁，發(fā)現(xiàn)有2種情況

一開始進(jìn)入網(wǎng)頁響應(yīng)碼是200，過一小會刷新變成304

一進(jìn)入響應(yīng)碼從301重定向到200，過一小會刷新變成304

測試了能爬取到的網(wǎng)頁，發(fā)現(xiàn)有2種情況

一進(jìn)入響應(yīng)碼從301重定向到200，過一小會刷新變成304

一開始進(jìn)入網(wǎng)頁響應(yīng)碼是200，過一小會刷新變成304

啊，我擦，那就沒什么區(qū)別啦，小白不知道這跟我爬不到內(nèi)容有沒有關(guān)系，orz

再再補充

問題不在重定向，而在于我的正則表達(dá)式匹配問題

問題解答

你都不看官方文檔的嗎？

Following redirects

By default up to 5 redirects will be followed, however you may specifythis with the res.redirects(n) method:

request .get(’/some.png’) .redirects(2) .end(callback);