AiApe问答机器人-测试报告
作者:互联网
压力测试
使用Siege进行压力测试,压力环境分别为30并发、10轮和300并发、10轮。测试结果如下:
场景测试
典型用户(截取自AIApe问答机器人功能规格说明书)
名字 | 小轩 |
---|---|
用户身份 | 某校计算机学院学生,进阶用户 |
年龄 | 21岁 |
典型场景 | 小轩能解决绝大多数简单的编程问题,但是在配置环境和一些复杂的编程场景下,它需要借助网络上的资料来解决问题。(复杂编程环境包括完成复杂工程项目,构建神经网络等) |
主要使用环境 | 教室,宿舍,图书馆,实验室。 |
生活工作情况 | 为了完成各种大作业和DDL而经常晚睡早起。Debug和在网上学习相关概念和知识是他的常态。 |
相关知识能力 | 具备较熟练的编程技能和相应计算机领域的知识。 |
用户的动机 | 小轩能解决绝大多数简单的编程问题,但是在配置环境和一些复杂的编程场景下,他需要借助网络上的资料来解决问题。 |
用户的偏好 | 希望搜索到的问题与自己的问题相符,回答能够专业并且详细。 |
名字 | 老邓 |
---|---|
用户身份 | 某校计算机学院学生,公认大佬,神 |
年龄 | 21岁 |
典型场景 | 大佬喜欢编程,对知识掌握深刻。他频繁地穿梭于Stack Overflow、知乎这类问答网站社区中,并且热衷于将自己的知识分享给他人! |
主要使用环境 | 教室,宿舍,图书馆,实验室。 |
生活工作情况 | 大佬的生活很充实,除了每天超份额完成作业之外,还会和周围的同学分享自己的经历和知识。他经常因为实验室的项目或助教工作忙到很晚。 |
相关知识能力 | 拥有较强的编程能力,深入理解计算机知识并且知道怎样快速搜索问题,简洁明了地回答问题。 |
用户的动机 | 回答问题会有一定的回报;回答别人的问题可以帮助自己加深对于知识的理解。 |
用户的偏好 | 大佬喜欢在摸鱼或者休息的时候逛一逛网站,顺便寻找一些自己想要回答的问题。 |
要说明的是,这里只举了两个比较典型的案例。
场景1
小轩想要问一下C语言IDE:VS Code的安装方法。
- 小轩打开了网站,在右侧注册了账号,并登录。
- 小轩发现机器人为自己提问提供了引导,他选择了“环境”
- 接下来,他发现机器人还会继续引导自己。正如他意,机器人提供了VS Code的安装指导链接
- 小轩进入链接后完成了相关的安装
场景2
老邓很喜欢为同学们解答问题,于是他打开了网站:
- 注册登录之后,他发现了非常多别人解答过的问题
- 点开一个问题后,他发现别人的回答并不理想
- 他开始编辑自己的回答,并且将其发表
- 后来,老邓发现自己的回答有误,他去到了个人中心,删除了原来的回答
后端bug记录
负责后端的dxy和lmx同学将发现的Bug进行了适当的记录和汇总:AiApe问答机器人项目Alpha阶段后端Bug汇总
最后对后端代码进行单元测试,测试结果为:
测试issue记录
lhx同学在进行场景测试时,总结了Bugs和一些交互修改意见,汇总到了Bugs & Suggestions。
测试矩阵
设备或环境: 浏览器类型 | 进入网站 | 注册 | 登录 | 回答问题 | 修改回答 | 删除问题 | 机器人交互 |
---|---|---|---|---|---|---|---|
Windows10: Chrome | 成功 | 好 | 好 | 好 | 好 | 好 | 好 |
Windows10: IE | 失败 | 失败 | 失败 | 失败 | 失败 | 失败 | 失败 |
Windows10: Edge | 成功 | 好 | 好 | 好 | 好 | 好 | 好 |
iPhone8 plus: Quark | 成功 | 失败 | 失败 | 失败 | 失败 | 失败 | 失败 |
iPhone8 plus: Safri | 成功 | 良好 | 良好 | 页面太小 | 页面太小 | 页面太小 | 页面太小 |
ipad pro 2020 safari | 成功 | 成功 | 成功 | 回答问题后,登陆失效,再次登陆时发现回答成功 | 不知道怎么修改 | 不知道怎么删除 | 机器人的回答长度过长的时候,不会自动换行,会超出区域并被遮挡,需要用手拖动才可以展示出来(并且鼠标无法拖动)。并且在机器人的引导下添加问题后,会清空聊天框,并登陆失效。 |
Huawei P20 Via浏览器 | 成功 | 成功 | 成功 | 同上 | 同上 | 同上 | 完全看不到机器人发送的消息,从服务器日志来看,发送了message请求,也回应了,但是前端没有显示。 |
Huawei P20 华为浏览器 | 成功 | 成功 | 成功 | 同上 | 同上 | 同上 | 黑暗模式下,看不到聊天框的气泡,只有字。同样没有来自服务器的机器人的消息。 |
出口条件
- 通过主要场景测试
- 通过较为小规模的压力测试
- 用户体验尚可(还需改进)
标签:编程,测试报告,小轩,AiApe,机器人,回答,成功,失败,问答 来源: https://www.cnblogs.com/DQSJ2021/p/14761518.html