郑昀 2010.10

话题关键词：

• DHT网络爬虫
• KAD DHT
• P2P网络主动测量
• memeTracker

简单原理：
    如果你利用 P2P 现有各种工具，如BT、电骡、迅雷、脱兔等这些支持DHT（动态哈希表）分布式存储方式的工具，这种网络不需要中心节点服务器，而是每个客户端负责一个小范围的路由，并负责存储一小部分数据， 从而实现整个 DHT 网络的寻址和存储。
    那么据国外这几年的研究（国内是中科院计算所在做），可以登入 KAD 网络后，从附近节点开始查询，查它自己维护的邻居节点（ KAD 网络会给每个客户端分配一个唯一的 ID 值，然后对不同的 ID 值进行异或来得到两个客户之间的“距离”。每一个节点都会维护一个桶( bucket )，“距离”越近的用户桶里的数量会越多，节点定期对桶里的用户进行清理，以保持其有效性），这样一圈一圈向外快速遍历，直至获取几万乃至几十万节点以及它维护的资源列表（也就是下载种子和查询词）。
    这样，就可以在某一个普通的网络接入处，探测到大范围内短时间内下载最多的文件名和hash值，据此生成热榜，进一步根据 hash 值判断哪些文件是重点追踪对象，以及是谁上传到网络中的。

搜索关键词：

• DHT Crawler
• KAD Crawler

    这种相关技术在国外一个用途是，版权所有者要追踪盗版者在无服务器状态下的BT网络中分发行为以提起诉讼。所以如果有效率高超的 DHT Crawler ，版权所有者就不用在什么电信机房总出口处捕获 P2P 流量了，而是在各个地方都可以收集信息。对于国内来说，用这个原理玩信息聚合和热点追踪（memeTracker）还是可以的。

    这方面有大量英文论文，按前面列的搜索关键词搜索即可，中文的可以读读《eMule系统中的非均匀性分布》，它基本已经把原理说清楚了：
   『使用 KAD 协议中的查询原语对 eMule 系统进行抓取。修改一个 eMule 客户端。首先让它连上 KAD 网络．然后对该客户端所知道的邻居节点发送
查询请求．收到请求的邻居节点会响应它所知道的另外一些节点的信息．将这些新节点加人本地列表，然后对这些新得到的节点进行查询，如此反复，
对整个网络进行了一次广度优先搜索 该方法与 Steinert3J 的方法是一致的。在此之后，向节点发出“共享文件信息”查询请求，并将结果记录于数据库。』

资源参考：

SharkyPy

Entangled - DHT and Tuple Spa

是两个Python开源的DHT实现。

p.s.:

你如果做过这块研发，不妨与我聊聊。:D