第二次结对编程
作者：互联网
| 作业要求 | <第二次结对作业：班级成绩表> |
|---|---|
| 作业目标 | <爬取云班课上的数据> |
| 作业源代码 | [pair]https://gitee.com/ender29/pair |
| 罗童 | <211803324> |
| 许培腾 | <211804229> |
| 预计 | 实际 | |
|---|---|---|
| 需求分析 | 无 | 5min |
| 学习时间 | 5-8h | 6-7h |
| 编码时间 | 1-2h | 2h |
| 代码量 | 100-200 | 203 |
| 运行时间 | 无 | 1.5min |
1. 结对的感受
罗童（me）:本来打算这次我把比较难的登录部分做了，把提取经验部分让他完成，但因为我没用准确获取到每个课堂完成部分的页面（只获取到第一个）所以他接着做时遇到了许多问题，我把这个问题解决后把后面的都做完了，他相信我能完成。
许培腾：我感觉这次作业难度还好，有比较明显的思路，就是实际操作起来还是会因为一些知识点的不清楚或者遗忘，卡壳，导致编写过程比较久。
2. 需求分析
1. 在线获取网页
2. 全班同学课堂完成部分的经验
3. 按要求对经验排序，并统计出相应的数据
3. 思路
通过htmlunit库解析出xml对象，再通过jsoup解析。htmlunit是无界面浏览器，操作和使用浏览器的逻辑很像，也可以通过选择器进行DOM操作比如登录，获取输入框HtmlForm form = (HtmlForm) page.getByXPath("//form[@class='account-from']").get(0);通过getByXPath()方法获取表单类型的HtmlForm表单对象，通过getInputByName() 分别方法获取HtmlTextInput文本输入框和HtmlPasswordInput密码输入框对象。setValueAttribute()设置你的账户密码。通过选择器获取HtmlButton按钮对象，再通过调用click()方法进入的页面。
还是通过类似点击的方式进入一个又一个页面。
需要解析使用soup，原因是这个库的官方文档只支持英文，功能方法很多，很难有效找到想要的方法，其他有的教程提到的功能也很少。
分类几个模块，一个模块是返回到活动页面的html对象
还一个模块就是累加经验值，返回Set集合学生对象的类型。
4. 难点
在获取某个课堂完成部分全班经验值后，没有找到返回之前活动页面，也就是上一个页面的相关方法，会导致一直重复爬取该页面，于是又重新获取了活动页面，
这样就能够获取新的课堂完成部分全班经验值页面。但是有个缺点就是加载时间会很长，相当于每次都是重新加载然后渲染js和配置一些服务。
* 没有解决的一个问题：在获取经验值时，有些同学的经验值获取不到，测试：单纯获取了
这个部分的颜色，只要参加了就是绿色，没参加就是灰色。发现某些原网页抓取该部分是绿色，
但是htmlunit转换成xml解析出来是灰色样式。因为默认设置的score是0，所以这部分同学经验是0。有少部分这种情况。
4. 效果
因为那个问题不知道怎么解决，统计出来会有误差。
结果如下（部分）：
参考文献
- 参考CSDN模拟登录163.com
- https://blog.csdn.net/fjssharpsword/article/details/51480475
- Jsoup结合htmlunit
- https://blog.csdn.net/qq_34160679/article/details/80611375
- Htmlunit官网
- https://htmlunit.sourceforge.io/
标签：结对,htmlunit,部分,编程,获取,https,第二次,经验值,页面 来源： https://www.cnblogs.com/ender29/p/13756794.html