Selenium?Puppeteer?都弱爆了,Neter 自己的爬虫神器!Playwright 录制+自动生成结构清晰的代码!
作者:互联网
先静下心来,欣赏神器录制的效果,以及生成代码的运行情况(运行项目的时候鼠标是没有任何操作的)
牛皮不,这是多少测试人员,采集人员梦想的功能
注意:首先得安装谷歌浏览器 ,不安装后面会报错,找不到文件
接下来我们来介绍一下我们的主角 Playwright
官方地址:https://playwright.dev/
开源地址:https://github.com/microsoft/playwright
没错,你没看错,是微软官方出品,自然少不了对官方语言的支持 .NET 版本
让我们参考官方文档快速入门
-
安装全局工具:
dotnet tool install --global Microsoft.Playwright.CLI -
打开 cmd 命令工具,创建一个控制台应用的Demo项目
dotnet new console -n PlaywrightDemo
cd PlaywrightDemo -
安装组件
dotnet add package Microsoft.Playwright
dotnet build
playwright install -
安装完成后,cmd 进入到项目的根目录输入如下命令
playwright codegen -
然后会自动打开一个浏览器和代码生成器,然后在浏览器里面输入你想操作的网站,并开始各种点击输入等动作,右边的代码生成器就会实时生成优美的代码。(开始操作前,在右侧的代码生成器上选择自己想要生成的语言,默认为 C# )
-
最后复制右侧生成的代码代开我们新建的demo项目,复制进去运行。
-
参考官方文档,有的不输于Selenium、Puppeteer的同类型API
不要告诉我不明白为啥要用这玩意,我们 NETCORE 的优秀爬虫已经非常多了,在当今越来越和谐的网络环境中,反爬技术与手段已经魔高一丈了,经常会碰到爬不下来的情况,那我们牺牲性能模拟用户正常行为迫在眉睫,自然涌现出 Selenium、Puppeteer 这种优秀软件。上诉两款软件对 Neter 说至少你的精通 python 和 js 且在元素选择方面各种爬坑。既然是模拟用户行为,那我录制下用户行为后再进行调整,岂不快哉!!!
标签:代码生成,playwright,Selenium,Puppeteer,Playwright,dotnet 来源: https://www.cnblogs.com/rtwo/p/15603370.html