html - Python2 BeautifulSoup 提取網頁中的表格數據及連接
問題描述
網址:http://quote.eastmoney.com/ce...要做的是提取網頁中的表格數據(如:板塊名稱,及相應鏈接下的所有個股,依然是個表格)
暫時只寫了這些代碼:import urllib2from bs4 import BeautifulSoup
url=’http://quote.eastmoney.com/ce...’
req=urllib2.Request.(url)page=urllib2.urlopen(req)
soup=BeautifulSoup(page)table = soup.find('table')
但是table里面沒有內容,也就是完全沒找到,這是怎么回事啊。po是小白,希望大神們可以多多指教,謝謝!
問題解答
回答1:因為是異步加載,數據在這里http://nufm.dfcfw.com/EM_Fina...
# coding:utf-8import requestsr = requests.get(’http://nufm.dfcfw.com/EM_Finance2014NumericApplication/JS.aspx?type=CT&cmd=C._BKGN&sty=FPGBKI&st=c&sr=-1&p=1&ps=5000&token=7bc05d0d4c3c22ef9fca8c2a912d779c&v=0.12043042036331286’)data = [_.decode(’utf-8’).split(’,’) for _ in eval(r.text)]url = ’http://quote.eastmoney.com/center/list.html#28003{}_0_2’lst = [(url.format(_[1].replace(’BK0’, ’’)), _[2]) for _ in data]print lst
相關文章:
1. python 計算兩個時間相差的分鐘數,超過一天時計算不對2. javascript - 使用form進行頁面跳轉,但是很慢,如何加一個Loading?3. javascript - 后臺管理系統左側折疊導航欄數據較多,怎么樣直接通過搜索去定位到具體某一個菜單項位置,并展開當前菜單4. javascript - ES6規范下 repeat 函數報錯 Invalid count value5. docker-machine添加一個已有的docker主機問題6. docker-compose中volumes的問題7. angular.js - 輸入郵箱地址之后, 如何使其自動在末尾添加分號?8. javascript - html5的data屬性怎么指定一個function函數呢?9. javascript - JS 里面的 delete object.key 到底刪除了什么?10. html5 - 為什么使使用vue cli 腳手架,post-css 沒有自動對css3屬性自動添加瀏覽器前綴呢?
