問題描述

這是單進(jìn)程順序執(zhí)行的代碼：

import requests,time,os,randomdef img_down(url): with open('{}'.format(str(random.random())+os.path.basename(url)),'wb') as fob:fob.write(requests.get(url).content)urllist=[]with open('urllist.txt','r+') as u: for a in u.readlines():urllist.append(a.strip())s=time.clock()for i in range(len(urllist)): img_down(urllist[i])e=time.clock()print ('time: %d' % (e-s))

這是多進(jìn)程的代碼：

from multiprocessing import Poolimport requests,os,time,randomdef img_down(url): with open('{}'.format(str(random.random())+os.path.basename(url)),'wb') as fob:fob.write(requests.get(url).content)if __name__=='__main__': urllist=[] with open('urllist.txt','r+') as urlfob:for s in urlfob.readlines(): urllist.append(s.strip()) s=time.clock() p=Pool() for i in range(len(urllist)):p.apply_async(img_down,args=(urllist[i],)) p.close() p.join() e=time.clock()print ('time: {}'.format(e-s))

但是單進(jìn)程和多進(jìn)程花費(fèi)的時(shí)間幾乎沒區(qū)別，問題大概是requests阻塞IO，請問理解的對不對，代碼該怎么修改達(dá)到多進(jìn)程的目的？謝謝！

問題解答

寫文件的瓶頸在磁盤IO，并不在CPU，你并行并沒有多大作用，你可以試試不要寫入文件再對比時(shí)間

Pool 不帶參數(shù)的話 是采用 os.cpu_count() or 1如果是單核CPU，或者采集不到數(shù)量 就只有1個(gè)進(jìn)程而已。

應(yīng)該是這個(gè)原因。