我不会用 Triton 系列:Agent 的使用
作者:互联网
简介
Agent 扩展了 Triton 在加载卸载 “模型” 时候的功能。比如可以在加载模型的时候,进行 md5 校验。
agent 的使用非常简单,就在模型的配置文件后面加上以下的配置就好了。对的,就是这么简单。这是英伟达的例子,使用了 checksum agent,在模型加载的时候会校验模型的 md5。md5 可以使用 linux 中的 md5sum 工具,使用的时候,还需要注意指定 -b 选项,表示以二进制的方式读取文件。
model_repository_agents
{
agents [
{
name: "checksum",
parameters
{
key: "MD5:1/model.py",
value: "4e2c177998feb5539d8ec8d820f990bd"
}
}
]
}
学习笔记
为了稍微深入了解一下这个功能,仔细读一遍文档吧。
protobuf 中的定义
先来看看 protobuf 中的定义吧。删掉了注释之后,会发现就这么简单。Agent 是一个可以重复 (repeated) 的属性,每个 Agent 有两个属性,一个表示名字的字符串,一个表示输入参数的 map。用的时候,就按照这个定义手写 protobuf 就好了(
标签:Triton,系列,动作,模型,TRITONREPOAGENT,Agent,ACTION,加载 来源: https://www.cnblogs.com/zzk0/p/15553394.html