基于python爬取有道翻譯過程圖解
1.準備工作
先來到有道在線翻譯的界面http://fanyi.youdao.com/
F12 審查元素 ->選Network一欄,然后F5刷新 (如果看不到Method一欄,右鍵Name欄,選中Method)
輸入文字自動翻譯后發現Method一欄有GET還有POST;GET是指從服務器請求和獲得數據,POST是向指定服務器提交被處理的數據、
隨便打開一個POST,找到preview可以看到我們輸入的“我愛你一生一世”數據,可以證明post的提交數據的
下面分析一下Headers各個字段的意義;User-agent字段很重要
下面來看一下request模塊中urlopen方法,查看文檔;
發現urlopen有一個data參數,如果參數沒賦值(默認None)就是GET形式,如果data參數被賦值了,就以POST形式提交
在這里,data參數其實是一個字典 ;就是源代碼中From Data的數據
下面一篇文章是對urlencode與unquote的詳細解釋:(urllib庫里可惜沒有urldecode函數)
https://www.jb51.net/article/183857.htm
為什么要進行編碼和解碼呢?------》對于一些中文或者字符,url是不識別的,需要進行編碼轉換!encode(’utf-8’)把unicode的形式變成utf-8decode(’utf-8’)把utf-8形式變成Unicode編碼形式2.下面進行敲!
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。
相關文章:
1. vue實現web在線聊天功能2. JavaEE SpringMyBatis是什么? 它和Hibernate的區別及如何配置MyBatis3. JavaScript實現頁面動態驗證碼的實現示例4. Springboot 全局日期格式化處理的實現5. Java使用Tesseract-Ocr識別數字6. 完美解決vue 中多個echarts圖表自適應的問題7. Python使用urlretrieve實現直接遠程下載圖片的示例代碼8. SpringBoot+TestNG單元測試的實現9. 在Chrome DevTools中調試JavaScript的實現10. 解決Android Studio 格式化 Format代碼快捷鍵問題
