CodeGo.net>如何从网页中提取动态ajax内容

我的要求是从网页中提取所需的内容.该页面有一部分正在使用ajax填充.当我在页面源代码中查看时,它没有显示使用Ajax加载的内容.该部分的内容将根据选中的复选框而变化.如果我们选中“印度”复选框,则该部分将显示印度的所有详细信息.页面源将仅显示默认内容,而不显示使用ajax显示的内容.选中复选框后,我检查了页面源,但仍仅显示默认值.如何获得该部分的内容,

解决方法:

在C#中,可以使用HTMLAgilityPack来抓取数据,但是如果使用webBrowser.DocumentText,则无法从网页加载Ajax内容来获取xpath.因此,在webBrowser控件完全加载了网页之后.在Document_Complete方法中,在下面添加一些代码：

HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
this.webBrowser1.Document;
IHTMLDocument2 currentDoc =(IHTMLDocument2)this.webBrowser1.Document.DomDocument;

doc.LoadHtml(currentDoc.activeElement.innerHTML);

标签：c-4-0,web-scraping,html-parsing,c,parsing
来源： https://codeday.me/bug/20191031/1979767.html