编程语言
首页 > 编程语言> > 【C# - 爬虫】使用Selenium实现爬虫,获取近七天天气信息(包含完整代码)

【C# - 爬虫】使用Selenium实现爬虫,获取近七天天气信息(包含完整代码)

作者:互联网


目录


前言


一、Selenium简介

  • Selenium开始并不是用于爬虫,而是一款自动化测试工具,它可以直接运行在浏览器中,模拟用户操作,支持的浏览器包括IE(7, 8, 9, 10, 11),Firefox,Safari,Google Chrome,Opera,Edge等。
  • 这个工具的主要功能包括:测试与浏览器的兼容性(测试应用程序看是否能够很好得工作在不同浏览器和操作系统之上)。测试系统功能(创建回归测试检验软件功能和用户需求)。
  • 支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。

二、浏览器驱动

1.浏览器驱动参考

浏览器支持的操作系统维护者下载问题追溯
Chromium/ChromeWindows/macOS/LinuxGoogle下载Issues
FirefoxWindows/macOS/LinuxMozilla下载Issues
EdgeWindows/macOSMicrosoft下载Issues
Internet WindowsWindows/macOS/LinuxSelenium Project下载Issues
SafarimacOSHigh Sierra and newer Apple内置Issues

注意: Opera驱动程序不支持w3c语法, 因此我们建议使用chromedriver来处理Opera. 请参见Opera浏览器的代码示例
下载版本以自己安装的浏览器版本为主,我这里以 Windows10 Chrome 103.0.5060.134为例

2.Windows下载Chrome驱动

在这里插入图片描述


三、代码实现

1.新建控制台项目WeatherWebCrawler

在这里插入图片描述

2.选择.NET 6.0

.NET 6.0和.NET Core 3.1最大区别是Program.cs中Main函数的取消,该代码在NET Core 3.1中也可使用
在这里插入图片描述

3.安装NuGet包

命令:Install-Package Selenium.WebDriver -Version 4.3.0
在这里插入图片描述

4.将下载好的驱动放到项目生成目录下

没有目录的把项目生成下就有了,注意不是项目根目录,而是项目生成的目录下;
或者知道自己放在哪个目录,代码中driverServicePath改成文件夹路径也行,路径只到文件夹,不要包含驱动文件
在这里插入图片描述

5.编写代码

网站地址
首先拿到页面的url,根据需求选择想要城市的url,当前也可以拿到全部城市,用xml或者配置文件可动态选择,这里就不过多展开,等有时间后面会单独出一篇文章详解,代码中是以我当前所在地为例。

using OpenQA.Selenium.Chrome;

//驱动路径(注意不要包含驱动文件)
string driverServicePath = Path.Combine(Directory.GetCurrentDirectory(), "chromedriver_win32");
//创建驱动服务
ChromeDriverService service = ChromeDriverService.CreateDefaultService(driverServicePath);
//实例化浏览器驱动
ChromeDriver driver = new ChromeDriver(service);

//页面地址
string url = "http://www.weather.com.cn/weather/101280601.shtml";
//打开页面
driver.Navigate().GoToUrl(url);

运行成功就可以看到程序自己打开浏览器了,并且有一行标识:Chrome 正受到自动测试软件的控制。
在这里插入图片描述
接着找到七天天气这块元素
在这里插入图片描述

提示:class中带有空格的,只能用By.CssSelector获取元素
这里需要一点点前端知识,需要了解的同学可以前往:CSS选择器

扩展知识
不会前端的可以直接获取想要的元素的XPath:

  • ①在浏览器按F12打开开发者工具,点击带有鼠标箭头样的图标
  • ②鼠标在页面上选择自己需要的元素,并点击
  • ③在Elements中鼠标右键选中元素的html代码
  • ④选择Copy
  • ⑤选择Copy XPath
  • 代码中使用By.XPath("XPath"),粘贴复制的XPath路径就ok了
    在这里插入图片描述
    获取七天天气
//获取七天天气
ReadOnlyCollection<IWebElement> sky = driver.FindElements(By.CssSelector("li[class^='sky skyid'"));

获取每一天天气信息

Console.Out.WriteLineAsync("\n********************************************************");
Console.Out.WriteLineAsync("\t\t近七天天气");
//输出每天天气信息
foreach (var item in sky)
{
    //天气信息中的日期
    string date = item.FindElement(By.TagName("h1")).Text;
    //天气信息中的天气描述
    string wea = item.FindElement(By.CssSelector("p[class='wea']")).Text;
    //天气信息中的气温
    string tem = item.FindElement(By.CssSelector("p[class='tem']")).Text;
    //天气信息中的风向
    string win = item.FindElement(By.CssSelector("p[class='win']>em>span:nth-child(1)")).GetAttribute("title");
    //天气信息中的风力
    var wins = item.FindElement(By.CssSelector("p[class='win']>i")).Text;
    Console.Out.WriteLineAsync($"\n{date}天气信息:\n描述:{wea}\n气温:{tem}\n风向:{win}\n风力:{wins}");
}
Console.Out.WriteLineAsync("********************************************************");

可以看到控制台输出了七天天气信息,但是输出了很多没用得信息,看着很乱

在这里插入图片描述

在平时开发过程中,我们其实没必要每次都打开浏览器,这速度非常缓慢,我们可以设置浏览器属性,想了解其他的设置项可以前往Chrome设置项

//浏览器设置项
ChromeOptions options = new ChromeOptions();
options.AddArgument("--headless");//无头模式(不打开浏览器)
options.AddArgument("--no-sandbox");//禁用沙箱(Linux下我试了只有加上该属性才能启动成功)
options.AddArgument("--incognito");//隐身模式(无痕模式)
options.AddArgument("--disable-gpu");//禁用GPU加速
options.AddArgument("--disable-gpu-program-cache");//禁用GPU程序缓存
options.AddArgument("--log-level=3");//控制台舒服信息非常多,日志级别设置高点只会输出失败的日志信息,日志的最低级别(INFO = 0, WARNING = 1, LOG_ERROR = 2, LOG_FATAL = 3)
//实例化浏览器驱动
ChromeDriver driver = new ChromeDriver(service, options);

再次启动,浏览器没有打开了,而且可以看到控制台日志信息少了很多输出信息,这样看着舒服多了
在这里插入图片描述


四、完整代码

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;
using System.Collections.ObjectModel;

#region 实例浏览器驱动
//驱动路径(注意不要包含驱动文件)
string driverServicePath = Path.Combine(Directory.GetCurrentDirectory(), "chromedriver_win32");
//创建驱动服务
ChromeDriverService service = ChromeDriverService.CreateDefaultService(driverServicePath);
//浏览器设置项
ChromeOptions options = new ChromeOptions();
options.AddArgument("--headless");//无头模式(不打开浏览器)
options.AddArgument("--no-sandbox");//禁用沙箱
options.AddArgument("--incognito");//隐身模式(无痕模式)
options.AddArgument("--disable-gpu");//禁用GPU加速
options.AddArgument("--disable-gpu-program-cache");//禁用GPU程序缓存
//options.AddArgument("--log-level=3");//日志的最低级别(INFO = 0, WARNING = 1, LOG_ERROR = 2, LOG_FATAL = 3)
//实例化浏览器驱动
ChromeDriver driver = new ChromeDriver(service, options);
#endregion

//获取天气
Weather();

Console.ReadKey();

#region 网站地址 http://www.weather.com.cn/
void Weather()
{
    #region 获取网页信息
    //页面地址
    string url = "http://www.weather.com.cn/weather/101280601.shtml";
    //打开页面
    driver.Navigate().GoToUrl(url);
    //获取七天天气
    ReadOnlyCollection<IWebElement> sky = driver.FindElements(By.CssSelector("li[class^='sky skyid'"));
    //获取七天天气(By.XPath)
    //ReadOnlyCollection<IWebElement> sky = driver.FindElements(By.XPath("//*[@id='7d']/ul/li"));
    #endregion

    #region 打印结果
    Console.Out.WriteLineAsync("\n********************************************************");
    Console.Out.WriteLineAsync("\t\t近七天天气");
    foreach (var item in sky)
    {
        //天气信息中的日期
        string date = item.FindElement(By.TagName("h1")).Text;
        //天气信息中的天气描述
        string wea = item.FindElement(By.CssSelector("p[class='wea']")).Text;
        //天气信息中的气温
        string tem = item.FindElement(By.CssSelector("p[class='tem']")).Text;
        //天气信息中的风向
        string win = item.FindElement(By.CssSelector("p[class='win']>em>span:nth-child(1)")).GetAttribute("title");
        //天气信息中的风力
        var wins = item.FindElement(By.CssSelector("p[class='win']>i")).Text;
        Console.Out.WriteLineAsync($"\n{date}天气信息:\n描述:{wea}\n气温:{tem}\n风向:{win}\n风力:{wins}");
    }
    Console.Out.WriteLineAsync("********************************************************");
    #endregion
}
#endregion

总结

好了,以上就是今天要讲的内容,本文仅仅介绍了Selenium用于爬虫的简单使用,而Selenium提供了很多其他强大功能,想要继续深入学习Selenium的同学可以前往官网学习:selenium
后面我也会陆续更新其他的爬虫小项目,感谢大家支持!


标签:浏览器,string,C#,Selenium,天气,爬虫,item,--,options
来源: https://www.cnblogs.com/xdgy/p/16600068.html