文章詳情頁
python - Scrapy的spider在IDE中方便運行調試
瀏覽：99日期：2022-06-27 11:03:29
問題描述
我有很多spider，不能每次調試都手動創建一個debugger吧（scrapy crawl spider_name）
想可以在spider文件中直接右鍵運行/調試。
問題解答
回答1：參考文章：Scrapy爬蟲常見問題總結
spider方便運行/調試在spider文件中，加入cmdline的調用方法
import scrapy.cmdline#Your Spider Class...def main(): scrapy.cmdline.execute([’scrapy’, ’crawl’, ’your_spider_name’])if __name__ == ’__main__’: main()回答2：
新建一個py文件，用這個來調試
from scrapy.cmdline import executeimport sysimport ossys.path.append(os.path.dirname(os.path.abspath(__file__)))execute(['scrapy','crawl','YOUR_SPIDER'])
相關文章：
1. 就一臺服務器，mysql數據庫想實現自動備份，如何設計？2. mysql - thinkphp5 在MAC電腦本地正常，部署LINUX服務器之后，模型不存在3. 編輯管理員信息時，為什么沒有修改過的內容會為空？4. 求救一下，用新版的phpstudy，數據庫過段時間會消失是什么情況？5. javascript - 百度圖片切換圖片時url會改變，但無刷新，沒用hash，IE8也支持，請問是用了什么技術？6. 這是什么情況？？？7. node.js - win10如何安裝并使用babel？8. python - xpath中如何使用變量9. APP上傳到電腦服務器，出現數據上傳不完整的問題10. mysql服務無法啟動1067錯誤，誰知道正確的解決方法？
排行榜
網公網安備