其他分享
首页 > 其他分享> > 访谈 | 赛道一双周冠军:我不是TFboy,所以新写了baseline

访谈 | 赛道一双周冠军:我不是TFboy,所以新写了baseline

作者:互联网

4月30日,2021腾讯广告算法大赛初赛已经正式拉开帷幕。2021腾讯广告算法大赛由腾讯广告主办,腾讯云AI、腾讯大数据、腾讯招聘、腾讯高校合作以及英伟达联合主办。TI-ONE与英伟达共同支持AI算法平台,同时与腾讯大数据Angel全栈机器学习平台共同提供算法资源支持。

与此同时,本届赛事与计算机国际学术顶会ACM Multimedia强强联合,围绕视频广告开设的两大赛道,已成功入选2021年ACM MM grand challenge,国际影响力进一步提升。

为助力选手更好参与赛事,腾讯广告算法大赛特邀前排选手进行上分思路分享。本次我们邀请到的是赛道一第一、二周的周冠军来给我们分享一下他的做题思路。

大家好,我是赛道一前两周的周冠军。今天很荣幸有机会和大家分享一下比赛经验心得。在此次本赛中我并没有使用官方提供的baseline,主要还是因为我不是一个TFboy,把握不住baseline,所以就选择了放弃baseline,自己重新写了一个。接下来主要讲下我大概是如何做这道题目的。

01数据说明

这里我并不会介绍所有的数据,因为有很多数据是冗余的,也有一些是用不到的。因此,我只介绍我们需要的所有数据,分别是视频,文本和标注。

视频:

algo-2021/dataset/videos/train_5k_A.zip

algo-2021/dataset/videos/test_5k_A.zip

文本:

algo-2021/dataset/tagging/tagging_dataset_train_5k/text_txt

algo-2021/dataset/tagging/tagging_dataset_test_5k/text_txt

标注:

algo-2021/dataset/structuring/GroundTruth/train5k.txt

02特征抽取

因为刚开始比赛,我并没有使用太多的模态,只使用了文本和视频特征,对于音频特征,之后会进行尝试。

对于文本特征,我们不需要太多的操作,直接使用huggingface的hfl/chinese-roberta-wwm-ext预训练模型就行,base和large的模型都试过了,最后还是base的好。

对于视频特征,我们可以使用baseline或者在Github找,相关的工作也有很多,最后找了一个,使用Ti-one的一张V100,处理1万的视频大概4个小时。最后得到的视频特征形式是[L*fps,dim]的特征矩阵,其实L是视频的时长,fps表示每秒采样多少个特征。做完这些准备工作后就能进行下一步了。

03分段

在分段任务中我们直接使用视频特征,也就是[Lfps,dim]的特征矩阵。我们根据标注数据(algo-2021/dataset/structuring/GroundTruth/train5k.txt),得到{x0,x1,…,xn}的转幕点,然后把这些转幕点映射到[Lfps,dim]的特征矩阵,得到长度为L*fps的01向量,其中1表示转幕点。最后通过卷积网络,对每一个特征进行二分类。预测时根据阈值,得到不同的幕。最后,对于测试集的一个视频,我们可以得到k个幕[(t_s1, t_e1),(t_s1,t_e1),…(t_sk,t_ek)].

04分类

对于分类,我们首先使用标注数据得到训练集的所有幕和类别。然后根据幕的起止时间从[L*fps,dim]的特征矩阵中获得相应部分的视频特征[L’,dim],最后将这视频特征和文本特征联合起来进行分类即可。

预测时,我们使用第3节中得到的所有预测的幕,然后进行分类。最后使用阈值或者topk的方式,得到每一幕的可能类别。提交时,将同一视频的结果全部合并起来就好。

看完双周冠军的分享,大家是否也对比赛更有信心了呢?想要获取更多TIONE教程,点击“赛事专题”,进入智能钛AI开发者社区,轻松玩转大赛,赢取百万奖金!

原文链接:https://mp.weixin.qq.com/s/gn8ERVVkV4zQdF6PdGYIAA

标签:赛道,视频,baseline,特征,新写,dataset,2021,腾讯,algo
来源: https://blog.csdn.net/qq_42933419/article/details/117134856