课程关键词：NLP、Transformer、BERT、GPT、Bayesian、Rasa、Transfer learning、Conversational AI、Classifiers、 Policies、Dialogue Management、NER、Pre-training、Fine-tuning、DIET、TED、SimpleTOD、Bert-DST、ConveRT、Poly-Encoder、Chatbot、E2E、NLU、Policies、Microservices、Graph Component、Fallback、LoopAction、Papers、Algorithms、Source Code、Projects

课程内容：

自从Google在2017发布Transformer论文以来，以Transformer为核心的新一代NLP技术在短短的2年左右的时间就彻底革新了整个NLP领域，尤其是2018年的BERT极大的加速了这一革新进程，无论是学术界还是工业界（Google、Amazon、Facebook、Alibaba、Tencent、ByteDance等）的近几年NLP工作均是围绕Transformer这个新一代的NLP架构系统而展开。人工智能领域具有全球广泛影响力的科学家Andrew Ng在2021年回顾AI的最新进展中甚至说 “Originally developed for natural language processing, transformers are becoming the Swiss Army Knife of deep learning.” 其明确表示就最新AI发展进展表明Transformer已经逐步实现了“One Architecture to Do Them All”的人工智能大一统趋势。详情请参考：https://read.deeplearning.ai/the-batch/issue-123/

基于此，星空智能对话机器人团队推出了以Transformer为核心的新一代NLP课程“NLP 高手之路101课（模型、算法、论文、源码、案例 + 1年答疑）”，力求通过该课程反映过去几年NLP在硅谷和全球的学术研究和工业落地的最新进展，帮助有志于新一代NLP技术的爱好者、研究者和实践者学习来自硅谷最新的NLP实用技术。具体来说，课程包含以下五大部分：

1， Transformer架构及源码剖析系列：Transformer、BERT、GPT的架构、算法、源码实现等近13小时内容讲解

2， 论文算法系列：从导师阅读的3000多篇NLP论文中选出10篇最高质量的NLP论文，抽丝剥茧的讲解其架构、算法并结合星空对话机器人研发经验分享最佳实践等近21小时内容的讲解

3， Rasa 3.X内核源码系列：对Rasa 3.X新一代的Graph Architecture下的架构、算法、Classifiers、Policies、Microservices、Dialogue Management进行详细的讲解，所有内容均有源码逐行剖析，该部分总共约45小时。

4， Rasa 3.X项目系列: 10大典型的Rasa项目案例，帮助学员掌握经典场景Rasa各类应用开发等近20小时讲解

5， NLP项目系列：五大企业级NLP硬核技术项目案例，所有的代码均是按照企业级的标准实现，稍加修改即可应用到学员以后企业NLP产品实现中。

尤其值得一提的是，Rasa是NLP技术的集大成者，是基于Transformer架构的全球使用最广泛的智能业务对话机器人，而掌握这一核心的技术的人才目前为止是极为稀少的。“NLP高手之路101课” 是全球第一个系统讲解Rasa 3.X架构、算法、源码、调试及项目实战的课程，掌握该课程的内容可以加速学习者成为NLP及Conversational AI技术的引领者。

整个“NLP高手之路101课”涵盖当今NLP应用和科研领域最热门的五大技术方向：预训练、语言理解、对话系统、知识图谱、文本生成等，在深入剖析技术细节及各模块所涵盖最前沿技术的同时，导师会结合自身研究开发星空智能对话机器人12万行核心源码的经验及学术应用前沿，对基于Transformer的新一代NLP的模型、算法、论文、源码、案例等进行全息分享，并提供1年的课程内容技术答疑服务。

课程大纲(基于直播持续更新)：

第1课 Bayesian Transformer思想及数学原理完整论证

1，线性回归及神经网络AI技术底层通用的贝叶斯数学原理及其有效性证明

2，人工智能算法底层真相之MLE和MAP完整的数学推导过程概率、对数、求导等以及MLE和MAP关系详解

3，语言模型Language Model原理机制、数学推导及神经网络实现

4，图解Transformer精髓之架构设计、数据训练时候全生命周期、数据在推理中的全生命周期、矩阵运算、多头注意力机制可视化等

5，什么叫Bayesian Transformer，Bayesian Transformer和传统的Transformer的核心区别是什么？

6，Bayesian Transformer这种新型思考模型在学术和工业界的意义是什么，为什么说Transformer中到处都是Bayesian的实现？

7，贝叶斯Bayesian Transformer数学推导论证过程全生命周期详解及底层神经网络物理机制剖析

第2课Transformer论文源码完整实现

1，Transformer架构内部的等级化结构及其在NLP中的应用内幕

2，数学内幕、注意力机制代码实现、及Transformer可视化

3，以对话机器人的流式架构为例阐述Transformer学习的第三境界

4，以智能对话机器人为例阐述Transformer的自编码autoencoding和自回归autoregressive语言模型内幕机制

第3课：Transformer语言模型架构、数学原理及内幕机制

1，语言模型的链式法则、运行机制及为何说LM是一个Classifier？

2，基于概率统计Statistical Language Models语言模型内部机制、数学公式、及完整的示例

3，基于神经网络Neural Language Models语言模型内部机制、数学公式、及完整的示例

4，使用困惑度及Cross Entropy来衡量语言模型的质量具体实现及数学公式推导分

5，Language Model底层的数学原理之最大 似然估计MLE及最大后验概率MAP内部机制与关系详解

6，语言模型底层的数学原理之Bayesian模型原理与实现

第4课 GPT自回归语言模型架构、数学原理及内幕机制

1，语言模型的运行机制、架构内部及数学实现回顾

2，GPT可视化、Masking等工作机制解析

3，GPT中的Decoder-Only模式内部运行机制解析

4，数据在GPT模型中的流动生命周期Input Encoding、Self-Attention、及Model Output详解

5，GPT中的Masked多头注意力机制及全连接神经网络内部运行机制解析

第5课 BERT下的自编码语言模型架构、数学原理及内幕机制

1，双向Masking机制数学原理剖析

2，BERT语言模型架构内幕详解

3，BERT训练任务和调优

硅谷硬核Rasa课程 | Rasa培训 | Rasa面试

 全球设计Rasa课程行业应用最全面广泛、课程内容体系最多的机构

Rasa技术咨询：NLP_Matrix_Space

标签：NLP,Transformer,架构,rasa,模型,Rasa,源码,硬核
来源： https://www.cnblogs.com/940707ycw/p/15920607.html