使用ScrapySharp快速从网页中采集数据

来源:转载

ScrapySharp 是一个帮助我们快速实现网页数据采集的库,它主要提供了如下两个功能

从Url获取Html数据

提供CSS选择器的方式解析Html节点

安装:

ScrapySharp 可以直接从 Nuget 上下载,直接从 Package Console 里面输入如下命令即可:

PM> Install-Package ScrapySharp

Html下载

首先我们来看看它的Html下载功能,它是通过ScrapingBrowser类来实现的:

var browser = new ScrapingBrowser (); var html = browser. DownloadString ( new Uri ( "http://www.cnblogs.com/" ));

这个只是一个简单的示例,实际上ScrapingBrowser的功能还是非常全面的,常见的功能如:Charset探测,AutoRedirect、Cache、 Proxy、Cookie、UserAgent、表单提交等都支持得非常好,用它来获取网页比HttClient要方便很多。

Html解析

ScrapySharp 的 Html 解析是基于大名鼎鼎的 HtmlAgilityPack 来实现的,它主要提供了两个扩展函数 CssSelect 和 CssSelect :

static IEnumerable < HtmlNode > CssSelect( this HtmlNode node, string expression); static IEnumerable < HtmlNode > CssSelect( this IEnumerable < HtmlNode > nodes, string expression); static IEnumerable < HtmlNode > CssSelectAncestors(

相比 HtmlAgilityPack 提供的层级式解析和 Xpath 方式的解析比起来, CSS 选择器的更为简单快捷,这里以解析博客园的首页标题为例,首先用开发者工具定位标题,可以看到其 HTML 结构的方式如下:

解析的代码如下:

var doc = new HtmlDocument (); doc. LoadHtml (html); var docNode = doc. DocumentNode ; var nodes = docNode. CssSelect ( ".titlelnk" ); foreach ( var htmlNode in nodes) { Console . WriteLine (htmlNode. InnerText ); }

其中关键代码只有 docNode. CssSelect ( ".titlelnk" ) 一句 ,非常简洁。另外,由于CSS方式比较灵活,如下方式也能获取到标题

var nodes = docNode. CssSelect ( ".post_item_body > h3" ); var nodes = docNode. CssSelect ( "div#post_list" ). CssSelectAncestors ( "h3" );

最后,列举一下常用的CSS查询,以方便后续的使用:

html. CssSelect ( "div" ); //all div elements html. CssSelect ( "div.content" ); //all div elements with css class 'content' html. CssSelect ( "div.widget.monthlist" ); //all div elements with the both css class html. CssSelect ( "#postPaging" ); //all HTML elements with the id postPaging html. CssSelect ( "div#postPaging.testClass" ); // all HTML elements with the id postPaging and css class testClass html. CssSelect ( "div.content > p.para" ); //p elements who are direct children of div elements with css class 'content' html. CssSelect ( "input[type = text].login" ); // textbox with css class login

更多的CSS选择器使用方法可以参看W3的网页: CSS 选择器参考手册


分享给朋友:
您可能感兴趣的文章:
随机阅读: