Nutch和Heritrix的区别汇总

来源:转载


一、框架介绍        如果某个项目要用到全文检索,检索对象是一些网站的网页内容,要使用到网络爬虫工具。         目前技术选型对象主要有两个:Heritrix Nutch。二者均为Java开源框架,Heritrix 是 SourceForge上的开源产品,Nutch为Apache的一个子项目,它们都称作网络爬虫/蜘蛛( Web Crawler),它们实现的原理基本一致:深度遍历网站的资源,将这些资源抓取到本地,使用的方法都是分析网站每一个有效的URI,并提交Http请求,从而获得相应结果,生成本地文件及相应的日志信息等。         下面是两者的简单介绍,摘自网络:

Heritrix 是个 "archival crawler" -- 用来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒,不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫通过Web用户界面启动、监控、调整,允许弹性的定义要获取的URL。
Nutch:(1)Nutch 只获取并保存可索引的内容。Heritrix则是照单全收。力求保存页面原貌,导致了很多无用的数据结果。(2)Nutch 可以修剪内容,或者对内容格式进行转换。(3)Nutch 保存内容为数据库优化格式便于以后索引;刷新替换旧的内容。而Heritrix 是添加(追加)新的内容。(4)Nutch 从命令行运行、控制。Heritrix 有 Web 控制管理界面。(5)Nutch 的定制能力不够强,不过现在已经有了一定改进。Heritrix 可控制的参数更多。
二、关于Heritrix使用的初步总结 目前对Heritrix做了初步选型测试,有了一些总结,对于使用Heritrix抓取网页有两种方法,一种方法是直接安装,如下步骤,一种方法是在Eclipse中进行部署,运行测试抓取网页具体配置参考网址:http://www.ibm.com/developerworks/cn/opensource/os-cn-heritrix/

安装步骤(参考:http://www.opendigest.org/article.php/770) 1.关于安装:     目前的版本号为1.12.1,官网地址为 http://crawler.archive.org/。常规安装,即解压到相关目录,之后配置系统环境变量"HERITRIX_HOME"到该解压目录(Java环境已经配置好)。 2.安装的后续工作:     将 %HERITRIX_HOME%/heritrix-1.12.1.jar 解压到临时目录,拷贝其中的profiles目录到 %HERITRIX_HOME%/conf/目录下,用来解决Heritrix关于的Profile默认配置的一个Bug。3.配置管理帐户:      拷贝 %HERITRIX_HOME%/conf/jmxremote.password.template 到 %HERITRIX_HOME%/下,并且重命名为"jmxremote.password"。之后编辑该文件内容关于密码的部分:      monitorRole  @[email protected]         monitorRole  admin
      controlRole  @[email protected]  ==>  controlRole  admin      修改完毕之后,保存该文件。并且需要将该文件的属性改为“只读”。然后有很重要的一步:在该文件jmxremote.password的属性窗口中查看“安全”标签,该标签下的第一项“组或用户名称”下要确认该文件的所有权应该只隶属于你当前的系统用户,而不应该是某一个用户组(例如Administrators),这应该是Heritrix安全机制的一个Bug。否则运行Heritrix的时候会报权限错误,需要你修改jmxremote.password文件的属性为“只读”,但是其实已经做了该项改动。 4.运行Heritrix:      CMD定位到 %HERITRIX_HOME%/bin,执行 "heritrix --admin=admin:admin" 命令,即可启动 heritrix,有一点需要注意,heritrix默认使用8080端口,要保证系统端口没有冲突。之后便可以访问 http://127.0.0.1:8080 使用 heritrix 提供的WUI,即Web管理端。并且使用"admin/admin"登录。      该管理端提供了Heritrix默认提供的所有配置功能,并且可以创建一个Job并且执行该Job抓取网站。5.一个简单的Job:      Heritrix提供的配置功能非常丰富,但是也很复杂,刚开始的时候很难正确的创建并且执行一个Job去抓取网站,自己阅读了大部分的Heritrix用户文档和多次尝试之后,总结了一个简单的创建执行Job的用例,该用例为抓取www.baidu.com下的网页,但子域(如 news.baidu.com)不抓取,步骤如下,可供参考:
(1) WUI的上边的导航栏选择"Jobs",呈现的第一项是"Create New Job",选择第四小项"With defaults"。输入项的前两项     Name和Description随意,Seeds非常重要:http://www.baidu.com/ 注意最后一个反斜杠必须。 (2) 选择下边的"Modules",进入Module配置页(Heritrix的扩展功能都是通过模块概念实现的,可以实现自己的模块完成自己     想要的功能)。其中第一项 "Select Crawl Scope" 使用默认的 "org.archive.crawler.deciderules.DecidingScope"     。倒数第三项 "Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ,后添加     "org.archive.crawler.writer.MirrorWriterProcessor",这样执行任务的时候抓取到的页面会以镜像的方式放在本地的     目录结构中,而不是生成ARC存档文件。 (3) 选择"Modules"右边的"Submodules",在第一项内容中 "crawl-order ->scope->decide-rules->rules" 删除掉其     中的 "acceptIfTranscluded" (org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取作用域的     规则。否则当Http请求返回301或者302时Heritrix会去抓取其他域下的网页。  (4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面,其中主要修改两项:http-headers 下的user-agent 和     from,他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 替换为自己的内容    ("PROJECT_URL_HERE" 要以 "http://" 开头) (5) 在WUI的第二行导航栏中选择最右边的"Submit job" (6) 在WUI的第一行导航栏中选择第一项的"Console",点击"Start",抓取任务正式开始,时间长短有网络状况和所抓取网站的     深度有关。
     按照如上步骤应该可以正确的执行一次网站的抓取任务,抓取页面会存放在你的工作目录下的mirror文件夹内。关于Job的创建和执行过程中的各种设置可以在用户手册中查到,都有详细的说明。三、 Heritrix详细介绍

        Heritrix主要有三大部件:范围部件,边界部件,处理器链 
        范围部件: 主要按照规则决定将哪个URI入队。 
        边界部件: 跟踪哪个预定的URI将被收集,和已经被收集的URI,选择下一个 URI,剔除已经处理过的URI。 
        处理器链: 包含若干处理器获取URI,分析结果,将它们传回给边界部件 
Heritrix的其余部件有: 
WEB管理控制台: 大多数都是单机的WEB应用,内嵌JAVA HTTP 服务器。 操作者可以通过选择Crawler命令来操作控制台。 
Crawler命令处理部件: 包含足够的信息创建要爬的URI。 
Servercache(处理器缓存): 存放服务器的持久信息,能够被爬行部件随时查到,包括IP地址,历史记录,机器人策略。 
       处理器链: 
预取链: 主要是做一些准备工作,例如,对处理进行延迟和重新处理,否决随后的操作。 
提取链: 主要是获得资源,进行DNS转换,填写请求和响应表单 
抽取链: 当提取完成时,抽取感兴趣的HTML,JavaScript,通常那里有新的也适合的URI,此时URI仅仅被发现,不会被评估 
写链: 存储爬行结果,返回内容和抽取特性,过滤完存储。 
提交链: 做最后的维护,例如,测试那些不在范围内的,提交给边 界部件 
   Heritrix 1.0.0包含以下关键特性:

  1. 用单个爬虫在多个独立的站点一直不断的进行递归的爬。
  2. 从一个提供的种子进行爬,收集站点内的精确URI,和精确主机。
  3. 主要是用广度优先算法进行处理。(http://www.my400800.cn )
  4. 主要部件都是高效的可扩展的

   良好的配置,包括:

  1. 可设置输出日志,归档文件和临时文件的位置
  2. 可设置下载的最大字节,最大数量的下载文档,和最大的下载时间。
  3. 可设置工作线程数量。
  4. 可设置所利用的带宽的上界。
  5. 可在设置之后一定时间重新选择。
  6. 包含一些可设置的过滤机制,表达方式,URI路径深度选 择等等。


Heritrix的局限

  1. 单实例的爬虫,之间不能进行合作。
  2. 在有限的机器资源的情况下,却要复杂的操作。
  3. 只有官方支持,仅仅在Linux上进行了测试。
  4. 每个爬虫是单独进行工作的,没有对更新进行修订。
  5. 在硬件和系统失败时,恢复能力很差。
  6. 很少的时间用来优化性能。
四、 Heritrix爬虫设置
爬虫信息 
爬虫名称: Heritrix 
爬行强度: 低 
HTTP User Agent: 
Mozilla/5.0 (compatible; heritrix/1.14.4 +http://wwwxmlweb.com.cn /) 
来访IP:127.0.0.1(本地测试,无固定ip)

对Heritrix爬虫进行控制 
Heritrix被设计成严格遵循robots.txt文件的排除指示和META robots标签。 

邀请Heritrix来访 
如果你在在robots.txt中限制了部分爬虫,那么你可能需要在robots.txt中增加下述内容: 
User-agent: Heritrix Disallow: 

禁止Heritrix访问 
如果你不希望Heritrix爬虫占用服务器资源,可以这样封锁它: 
User-agent: Heritrix 
Disallow: / 

如果你仅仅不希望Heritrix爬行某些目录,则可以这样: 
User-agent: Heritrix 
Disallow: /somedir/ 
五    Nutch 架构

六    Nutch 的架构示意图



 
  

 

下面是Nucth的运行流程图:



其中nutch的抓取模块在编制索引保存到索引库之后就算完成。

另外一个图,可能需要在熟悉nutch之后才能看懂:


 

 首先理解nutch的三个数据目录:

1.crawdb ,linkdb 是web link目录,存放url 及url的互联关系,作为爬行与重新爬行的依据,页面默认30天过期。

2.segments 是主目录,存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行,因此每爬完一轮会生成一个segment目录。

3.index 是lucene的索引目录,是indexs里所有index合并后的完整索引,注意索引文件只对页面内容进行索引,没有进行存储,因此查询时要去访问segments目录才能获得页面内容。




其中nutch的抓取模块在编制索引保存到索引库之后就算完成。

另外一个图,可能需要在熟悉nutch之后才能看懂:

 


 

 

 三个目录

首先理解nutch的三个数据目录:

1.crawdb ,linkdb 是web link目录,存放url 及url的互联关系,作为爬行与重新爬行的依据,页面默认30天过期。

2.segments 是主目录,存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行,因此每爬完一轮会生成一个segment目录。

3.index 是lucene的索引目录,是indexs里所有index合并后的完整索引,注意索引文件只对页面内容进行索引,没有进行存储,因此查询时要去访问segments目录才能获得页面内容。



分享给朋友:
您可能感兴趣的文章:
随机阅读: