bert三种pooling策略对比

notes：因为基本上没有用过原生的bert做过句向量，所以别人冷不丁一问起，笔者顿时三脸懵逼

Sentence-BERT在BERT/RoBERTa的输出结果上增加了一个pooling操作，从而生成一个固定大小的句子embedding向量。实验中采取了三种pooling策略做对比：参考

直接采用CLS位置的输出向量代表整个句子的向量表示

MEAN策略，计算各个token输出向量的平均值代表句子向量

MAX策略，取所有输出向量各个维度的最大值代表句子向量

标签：bert,策略,输出,pooling,三种,句子,向量
来源： https://www.cnblogs.com/gaowenxingxing/p/15005007.html