問(wèn)題描述

source_ip = line.split(’- -’)[0].strip() if re.match(’[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}’,source_ip):if source_ip_dict.get(source_ip,’-’)==’-’: source_ip_dict[source_ip]=1else: source_ip_dict[source_ip]=source_ip_dict[source_ip]+1

通過(guò)以上的代碼把a(bǔ)pache的日志ip提取出來(lái)，并且進(jìn)行統(tǒng)計(jì)去重了，提取的ip數(shù)據(jù)如下：

那么要怎么將這些ip地址進(jìn)行命名分類(lèi)，如202.108.11.103跟220.181.32.137為百度蜘蛛ip想要實(shí)現(xiàn)的效果如下這兩個(gè)ip命名為百度蜘蛛，然后把他們的統(tǒng)計(jì)數(shù)據(jù)相加即4336+3411百度蜘蛛 7747

這個(gè)要怎么操作

問(wèn)題解答

from itertools import groupbyNAME_IP_MAPPING = { ’202.108.11.103’:’百度蜘蛛’, ’220.181.32.137’: ’百度蜘蛛’,}spiders = [ {’ip’:’202.108.11.103’,’count’:123}, {’ip’:’220.181.32.137’,’count’:345}]# 先用ip通過(guò)映射得到名字，再根據(jù)名字將spiders里的item分組，之后各自求和存入新的dict中。{k: sum(s[’count’] for s in g) for k, g in groupby(spiders, lambda s:NAME_IP_MAPPING.get(s[’ip’]))}# output: {’百度蜘蛛’: 468}回答2：

可以嘗試構(gòu)建一個(gè)大型的以字典為鍵, 爬蟲(chóng)名字為值的字典;

ip_map = { ’202.108.11.103’: ’baidu-spider’, ’220’.181.32.137: ’baidu-spider’, ’192.168.1.1’: ’other’ ....}sum = {}for ip in source_ip: print ip sum[ip_mapping.get(ip, ’other’)] = sum.get(ip, 0) + source_ip[ip]print sum回答3：

使用pandas的數(shù)據(jù)透視表

這樣多累?。槭裁床唤o這個(gè)ip分組單獨(dú)建立一張表， 名為IPGroup （id, ip, groupname)

之后一個(gè)SQL就搞定了，多么輕松（設(shè)樓主用的表明為IPStastics）

SELECT b.groupName, SUM(a.count)FROM IPStastics a INNER JOIN IPGroup b ON a.ip = b.ipGROUP BY b.groupName