使用Locust进行性能测试
作者:互联网
-
什么是Locust
Locust是一种易于使用的、分布式的、用户负载测试工具。它的目的是对web站点(或其他系统)做性能测试,并确定系统能够处理多少并发用户。Locust可以在测试过程中,模拟大量Locust实例会访问目标网站。每个Locust(测试用户)的行为是由自己定义的,并且可以从一个web UI中实时监控着这些进程。
服务端性能测试工具最核心的部分是压力发生器,而压力发生器的核心要点有两个,一是真实模拟用户操作,二是模拟有效并发。
在Locust测试框架中,测试场景是采用纯Python脚本进行描述的。对于最常见的HTTP(S)协议的系统,Locust采用Python的requests库作为客户端,使得脚本编写大大简化,富有表现力的同时且极具美感。而对于其它协议类型的系统,Locust也提供了接口,只要我们能采用Python编写对应的请求客户端,就能方便地采用Locust实现压力测试。从这个角度来说,Locust可以用于压测任意类型的系统。
在模拟有效并发方面,Locust的优势在于其摒弃了进程和线程,完全基于事件驱动,使用gevent提供的非阻塞IO和coroutine来实现网络层的并发请求,因此即使是单台压力机也能产生数千并发请求数;再加上对分布式运行的支持,理论上来说,Locust能在使用较少压力机的前提下支持极高并发数的测试。
- Locust主要功能
- 不需要使用笨重的UIs或臃肿的xml代码。基于coroutines而不是回调,使用python代码即可实现.
- 分布式的和可扩展的——支持成千上万的用户
Locust支持在多台机器上运行负载测试,而且是基于事件驱动,即使是一个Locust节点也可以在一个过程中处理数千个用户。这背后的部分原因是,即使模拟了许多用户,但并不是所有用户都在积极地访问系统。通常,现实情况下,用户会有一个思考时间。每秒请求!=网上用户数量. - Locust有一个简洁的HTML + JS用户界面,可以实时显示相关的测试细节。由于UI是基于web的,它是跨平台的,易于扩展。
- 可以测试任何系统
尽管Locust是以网络为导向的,但它可以用来测试几乎所有的系统。只要写一个测试脚本,然后执行Locust来测试系统. - 可自由扩展
Locust易于扩展,核心的代码不复杂。所有令人心烦的I / O和coroutines都被委托给gevent。
- 简单示例
from locust import HttpLocust, TaskSet
def login(l):
l.client.post("/login", {"username":"test_one", "password":"education"})
def index(l):
l.client.get("/")
def profile(l):
l.client.get("/profile")
class UserBehavior(TaskSet):
tasks = {index: 2, profile: 1} #请求比例是index:profile = 2:1
def on_start(self):
login(self)
class WebsiteUser(HttpLocust):
task_set = UserBehavior
min_wait = 5000 #最小间隔5s
max_wait = 9000 #最大间隔9s
在这里定义了一些Locust任务(即def login(l)
,def profile(l)
,def index(l)
),这些任务是正常的Python方法,它们只接受一个参数(Locust类实例)。这些任务在任务属性中的TaskSet类下收集。然后定义一个表示用户的WebsiteUser
类,在WebsiteUser
类定义模拟用户在执行任务之间应该等待多长时间,以及TaskSet类应该定义用户的“行为”。TaskSet类可以嵌套。
HttpLocust类继承自Locust类,它添加了一个客户端属性(HttpSession的实例),可用于发出HTTP请求。
另一种更方便的定义方式,使用task装饰器:
from locust import HttpLocust, TaskSet, task
class UserBehavior(TaskSet):
def on_start(self):
""" on_start is called when a Locust start before any task is scheduled """
self.login()
def login(self):
self.client.post("/login", {"username":"ellen_key", "password":"education"})
@task(2)
def index(self):
self.client.get("/")
@task(1)
def profile(self):
self.client.get("/profile")
class WebsiteUser(HttpLocust):
task_set = UserBehavior
min_wait = 5000
max_wait = 9000
- 执行
- 在命令行执行
locust -f locust文件名.py --host=http://example.com
- 要在多个进程中运行Locust,可以通过指定master来启动一个主进程:
locust -f locust文件名.py --master --host=http://example.com
然后开始任意数量的从属过程:locust -f locust文件名.py --slave --host=http://example.com
如果是要在多台机器上运行Locust,必须在启动slave时指定master的主机IP(当在一台机器上运行Locust时,这是不需要的,因为主主机默认为127.0.0.1):
locust -f locust文件名.py --slave --master-host=192.168.0.100 --host=http://example.com
- 在命令行执行
- UI界面
启动脚本后,可以在浏览器http://localhost:8089/
打开界面,在这里定义模拟用户数量
和用户生成速度
:
例如,模拟用户数量
是20,用户生成速度
是2,则会每秒增加两个用户,在十秒钟后并发用户数量达到20.
上面主要介绍了Locust的基本概念,主要功能和一个示例,现在主要进阶的功能.
Locust类
一个locustfile至少包含一个继承了Locust的类.Locust会为被模拟的每个用户生成locust的实例,这些属性是应该被实现的:
task_set
task_set属性应该指向一个TaskSet类, 这个属性定义了用户的一些行为,例如执行任务的间隔时间min_wait
和max_wait
.(如果不定义,则默认1s)weight
可以在一个文件里执行两个locusts:
locust -f locust_file.py WebUserLocust MobileUserLocust
如果希望让其中一个locust执行得更多,那么以在这些类上设置一个权重属性weight
。比如说,WebUserLocust比MobileUserLocust多三倍:class WebUserLocust(Locust): weight = 3 .... class MobileUserLocust(Locust): weight = 1 ....
host
如果在locust类中声明了一个host属性,那么在命令行中没有指定主机时将使用它。
TaskSet类
每个Locust类必须有一个task_set
属性,task_set
指向一个TaskSet类。TaskSet相当于Locust的大脑.
任务设置任务的典型方法是使用任务修饰器:
from locust import Locust, TaskSet, task
class MyTaskSet(TaskSet):
@task
def my_task(self):
print("Locust instance (%r) executing my_task" % (self.locust))
class MyLocust(Locust):
task_set = MyTaskSet
taskset的一个非常重要的特性是它们可以被嵌套,因为真正的网站通常是以分层的方式构建的,有多个子节。嵌套taskset将允许我们定义一个行为,以更现实的方式模拟用户。例如,可以用以下结构定义taskset:
class ForumPage(TaskSet):
@task(20)
def read_thread(self):
pass
@task(1)
def new_thread(self):
pass
@task(5)
def stop(self):
self.interrupt()
class UserBehaviour(TaskSet):
tasks = {ForumPage:10}
@task
def index(self):
pass
在上面的例子中,如果ForumPage在执行UserBehaviour任务集时被选择执行,那么ForumPage任务集就会开始执行。ForumPage任务集将选择它自己的任务之一执行它.
有一个重要的事情需要注意,那就是在ForumPage的stop方法中调用self.interrupt()
。这实际上是停止执行ForumPage任务集,但UserBehaviour实例将会继续运行。如果没有调用ForumPage的中断()方法,那么Locust一旦启动就不会停止运行该ForumPage任务。通过使用中断函数,我们可以结合任务权重定义一个模拟用户离开测试网站的可能。
还可以使用@ task decorator声明嵌套的TaskSet,就像声明普通任务时一样:
class MyTaskSet(TaskSet):
@task
class SubTaskSet(TaskSet):
@task
def my_task(self):
pass
- 使用Http请求
-
到目前为止,只讨论了Locust用户的任务调度部分。为了实际加载测试系统,我们需要发出HTTP请求。为了做到这一点,需要使用HttpLocust类。当使用这个类时,每个实例都会得到一个客户端属性,它将是HttpSession的一个实例,可用于发出HTTP请求。
在Locust实例化后创建的HttpSession实例。客户端支持cookie,因此可以在HTTP请求之间保持会话。 -
URL里有动态参数的话,可以通过将名称参数传递给HttpSession的不同请求方法来完成。
#Statistics for these requests will be grouped under: /blog/?id=[id] for i in range(10): client.get("/blog?id=%i" % i, name="/blog?id=[id]")
-
对共享公共库的多个locustfile进行分组。在这种情况下,重要的是将
project root
定义为调用locust的目录,并且建议所有的locustfiles都在project root
下的某个地方。
子目录定义方法参见下面的例子,但是locust只会导入于运行的locustfile所处的那个目录的模块。如果是希望从project root
(即运行locust命令的位置)导入,请确保在导入任何公共库之前,在locust文件中加入sys.path.append(os.getcwd())
,这将使project root
(即当前工作目录)是可导入的。 -
project root
- init.py
- common/
- init.py
- config.py
- auth.py
- locustfiles/
- init.py
- web_app.py
- api.py
- ecommerce.py
使用上述项目结构,你的本地化文件可以使用以下方法导入公共库:
sys.path.append(os.getcwd()) import common.auth
-
分布式运行Locust
如果单主机满足不了并发要求,可以使用多台机器上运行负载测试。
可以使用--master
以主模式启动Locust的一个实例。这个实例将运行Locust的web界面,可以在这个web界面开始测试并查看实时统计信息。主节点自身不发送请求。因此,必须启动一个或多个从属节点,使用--slave
标记,以及--master-host
指定主节点的IP /主机名。
举例:
主模式:locust -f my_locustfile.py --master
从模式:locust -f my_locustfile.py --slave --master-host=192.168.0.14
(192.168.0.14是运行主模式的机器ip)
在命令行直接执行,不使用Web UI界面
如果想要在没有web UI的情况下运行locust(例如,想在一些自动化流程中运行它,比如CI服务器), 使用--no-web
标志和-c
和-r
参数.
locust -f my_locust_file.py --no-web -c 1000 -r 100
-c
指定并发用户总数,-r
指定用户生成速率
-t
或者--run-time
可以指定程序的运行时间.
locust -f --no-web -c 1000 -r 100 --run-time 1h30m
在命令行分布式运行Locust
需要在主节点指定--expect-slaves
参数,以确定需要多少从节点连接.直到达到这个数量的从节点连接上主节点,才会启动测试.
以csv格式保存测试结果
- 如果是用Web UI方式启动Locust,则可以在
Download Data Tab
页面下载csv格式的测试结果 - 如果是用命令行方式启动Locust,则可以指定
-csv
参数,它将定期保存CSV文件.如果打算以自动化的方式在命令行运行Locust,这点特性将特别有用。
locust -f my_locust_file.py --csv=foobar --no-web -n10 -t10m
可以这样自定义csv文件定期保存的间隔时间(默认是2s):import locust.stats locust.stats.CSV_STATS_INTERVAL_SEC = 5 # default is 2seconds
标签:task,TaskSet,--,Locust,性能,locust,测试,self 来源: https://blog.csdn.net/MidSummer411/article/details/117423045