問題描述

在寫爬蟲的時(shí)候，發(fā)現(xiàn) 在代碼中設(shè)置了 every 之后，21號(hào)爬取了一次之后，今天看 result 沒有更新，那個(gè) lastcrawltime 依舊是 21號(hào)的。請(qǐng)問是不是我的參數(shù)設(shè)置的不正確？

問題解答

你貼的這個(gè) task 的圖，是什么任務(wù)的？

貼的是 detail_page 的任務(wù)的

題主給 index_page 設(shè)置了小于 cronjob 間隔的時(shí)間。然而沒有給 detail_page 設(shè)置。這樣 detail_page 是不會(huì)被重新調(diào)度的

project 隊(duì)列狀態(tài)，最近活動(dòng)任務(wù)是怎樣的？

有可能是 every 和 age 不匹配。如果 age 沒問題的話，說實(shí)話這屬于疑難雜癥了，我也經(jīng)常遇到，我都是去 taskdb 把相應(yīng)的表清空，然后重啟 pyspider 重新運(yùn)行項(xiàng)目