绿茶软件园
绿茶软件园 > 下载中心 > 应用工具 > 应用其他 > 网络爬虫软件(nwebcrawler) v1.0.1 绿色版
更多下载地址
网络爬虫软件(nwebcrawler) v1.0.1 绿色版

软件大小:179KB

软件语言:简体中文

软件授权:绿色版

软件类别:应用其他

软件等级:

更新时间:2015-06-25

官方网站:www.33LC.com

应用平台:/Win8/Win7/WinXP

  • 软件介绍
  • 软件截图
  • 其他版本
  • 网友评论
  • 下载地址

网络爬虫软件(nwebcrawler)是一款多线的网页信息抓去工具。网络爬虫软件(nwebcrawler)功能十分的强大与全面,所有也被网友称为蚂蚁、自动索引、模拟程序、网页蜘蛛、网页机器人等等。该软件适用于的范围相当的广泛,常被用户用于网站的优化。

 

网络爬虫软件(nwebcrawler)简介:

NwebCrawler是用C#写的一款多线程网络爬虫程序,它的实现原理是先输入一个或多个种子URL到队列中,然后从队列中提取URL(先进先出原则),分析此网页寻找相应标签并获得其href属性值,爬取有用的链接网页并存入网页库中,其中用爬取历史来记录爬过的网页,这样避免了重复爬取。提取URL存入队列中,进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。

 

网络爬虫软件(nwebcrawler)主要功能:

可配置:线程数,等待时间,连接超时,允许MIME类型和优先级,下载文件夹。

统计信息:URL数量,总下载文件,总下载字节数,CPU利用率和可用内存。

Preferential crawler:用户可以设置优先级的MIME类型。

Robust: 10+ URL normalization rules, crawler trap avoiding rules.

软件截图
  • 网络爬虫软件(nwebcrawler)
返回顶部