在c#中模拟无限滚动以获取页面的完整html

有很多网站使用这种(imo)恼人的“无限滚动”风格.
例如tumblr,twitter,9gag等网站.

我最近尝试使用HtmlAgilityPack以编程方式从这些网站中删除一些图片.
像这样：

HtmlWeb web = new HtmlWeb();  
HtmlDocument doc = web.Load(url);
var primary = doc.DocumentNode.SelectNodes("//img[@class='badge-item-img']");
var picstring = primary.Select(r => r.GetAttributeValue("src", null)).FirstOrDefault();

这工作正常,但当我尝试从某些网站加载HTML时,我注意到我只收回了少量内容(比如前10个“帖子”或“图片”,或其他什么……)
这让我想知道是否可以在c#中模拟页面的“向下滚动”.

这不仅仅是我以编程方式加载html的情况,当我只是去tumblr这样的网站时,我检查firebug或只是“查看源代码”,我预计所有内容都会在某处,但很多好像是用javascript隐藏/插入. HTML源中只显示我的屏幕上实际可见的内容.

所以我的问题是：是否可以模拟无限滚动到页面,并用c#(最好)加载到那个HTML？

(我知道我可以使用API​​用于tumblr和twitter,但我只是想和HtmlAgilityPack一起玩一些有趣的黑客攻击)

解决方法:

除了嵌入网络浏览器(通常无法在无头环境中工作)之外,没有办法一次性可靠地为所有这些网站做到这一点.

您应该考虑做的是查看网站的JavaScript,以便在用户向下滚动时查看用于获取内容的AJAX查询.

或者,在浏览器中使用Web调试器(例如Chrome中包含的调试器).这些调试器通常具有“网络”窗格,您可以使用它来检查页面执行的AJAX请求.在向下滚动时查看这些请求应该为您提供足够的信息来编写模拟这些请求的C#代码.

然后,您将必须解析来自这些请求的响应,因为特定API提供的内容类型可能是JSON或XML,但几乎肯定不是HTML. (无论如何,这对你来说可能更好,因为它可以节省你必须解析面向显示的HTML,而AJAX API将为你提供更容易使用的数据对象.)

标签：c,html-agility-pack,infinite-scroll
来源： https://codeday.me/bug/20190520/1141974.html