Transformer课程第33章：过滤掉sequential redundancy对Transformer模型Funnel-Transformer架构及完整源码实现

1，Transformer网络中的redundancy 产生的本质原因剖析

2，不同类型pooling operation数学原理解析

3，对sentence进行single-vector presentation不同类型实现技术解析

4，对Transformer的hidden states的处理方式分析

5，对reduced hidden sequence的进行原始状态恢复实现技术及数学原理分析

6，使用Funnel-Transformer做Summary类型的任务分析

7，FunnelTokenizer源码完整实现剖析

8，FunnelEmbeddings源码完整实现剖析

9，get_position_embeds源码完整实现剖析

10，FunnelAttentionStructure源码完整实现

11，stride_pool_pos源码完整实现剖析

12，relative_pos源码完整实现剖析

13，stride_pool源码完整实现剖析

14，pool_tensor源码完整实现剖析

15，pre_attention_pooling源码完整实现剖析

16，post_attention_pooling源码完整实现剖析

17，relative_shift_gather源码完整实现剖析

18，relative_positional_attention源码完整实现剖析

19，relative_token_type_attention源码完整实现剖析

20，FunnelRelMultiheadAttention源码完整实现剖析

21，FunnelPositionwiseFFN源码完整实现剖析

22，FunnelLayer源码完整实现剖析

23，upsample方法源码完整实现剖析

24，FunnelEncoder源码完整实现剖析

25，FunnelDecoder源码完整实现剖析

26，FunnelDiscriminatorPredictions源码完整实现剖析

27，FunnelPreTrainedModel源码完整实现剖析

28，FunnelClassificationHead源码完整实现剖析

29，FunnelForPreTrainingOutput源码完整实现剖析

30，FunnelBaseModel源码完整实现剖析

31，FunnelModel源码完整实现剖析

32，FunnelForPreTraining源码完整实现剖析

33，FunnelForMaskedLM源码完整实现剖析

34，FunnelForSequenceClassification源码完整实现剖析

35，FunnelForMultipleChoice源码完整实现剖析

36，FunnelForTokenClassification源码完整实现剖析

37，FunnelForQuestionAnswering源码完整实现剖析

标签：relative,Transformer,redundancy,实现,剖析,完整,源码
来源： https://blog.csdn.net/StarSpaceNLP667/article/details/121579168