Francois Chollet：Keras与Tensorflow，下一个5年计划（NVIDIA GTC 21演讲）
作者：互联网
在GTC 21上，Keras的创建者Francois Chollet推出了了Keras和Tensorflow的下一个5年计划。 我们观看了演讲，将其中的要点摘录如下。
进度循环(Loop of Progress)
AI模型的改善遵循一个循环进步的模型，如下图所示。 加速技术进步的最有效方式，是消除循环中的瓶颈。
我们仔细考虑一下这个循环中的细节。从构想阶段开始，研究人员需要阅读文献，使用示例代码或自行复现结果，根据现有结果去提出新的假设，选择和调整模型。当模型部署在生产环境中，需要数据工程师版本化代码和模型，检测模型漂移，维护DevOps流水线，实现推理和监视性能。此阶段生成的高速数据，必须存储在实时数据库中，并使用Tensorboard等工具进行可视化，根据结果去修订之前的假设。这个过程不仅非常繁琐，而且还需要多领域的专业知识，对于较小的团队而言，这可能是不现实的。
Keras
Keras是旨在使深度学习框架更易于访问的一个前端工具。 它最初是为Tensorflow编写的，但今天也可以兼容Pytorch，Theano等。 与软件业中常见的，以牺牲访问较低级别的API的自由为代价的封装方式不同，Keras应用了Chollet的“渐进的复杂性披露(Progressive Disclosure of Complexity)”哲学：逐渐提高的抽象层级服务不同角色和专业水平的用户。 机器学习工作流程的不同阶段也可以分别定制不同的复杂度，例如，数据科学家可以选择使用自定义运算符来在较低级别上构建模型，但是只需调用model.fit（）方法即可对其进行训练。
Chollet将从事机器学习工作的用户大致分为三类：基本用户，工程师，研究人员；传统上他们仍然在各自的孤岛中工作，不便于思想的交流。Keras这个渐进的复杂性模式，为不同技能水平的用户提供了相对平滑的学习曲线。
可重用性(Reusability)
为了促进跨学科合作。 Keras将领域知识提炼成可重用的模块，例如用于计算机视觉的KerasCV和用于自然语言处理的KerasNLP。 终端用户也没有被忘记，Keras Applications，一个具有权重的预训练模型库将来也将被扩充。
自动化
自动化程度的提高同样遵循“复杂性的逐步披露”的座右铭，按复杂度由低到高顺序，Keras将会提供以下自动功能：
- 超参数优化(KerasTuner)
- 神经网络架构搜索
- 功能库和终身学习
- AutoML(AutoKeras)
KerasTuner
作为Keras超参数优化工具，KerasTuner是机器学习专家智慧的一个结晶，从一定程度上可以代替专家团队的不足：
- 运行时自定义(define-by-run)动态搜索空间
- 内置搜索策略：超频带(Hyperband)，贝叶斯，随机搜索
- 自定义搜索策略
- 大规模分布式搜索
- 内置“可调模型”：应用程序模板，只需要添加用户数据就可以自动实现超参数调优。
AutoKeras
上述的改进的升华产物，是一个叫做AutoKeras的AutoML工具，使得端到端机器学习工作流程像运行单个Python脚本一样便捷。
生产化方面的改善
Keras Preprocessing Layers(Keras 预处理层)
在现实环境中，常常会遇见生产数据与训练数据存在偏差，但是可以通过预处理的方式矫正的情形。这种预处理会引入训练/处理偏斜(training/serving skew)，Keras对这个问题的回答是Keras Preprocessing Layers，这个处理层将预处理操作变成了模型的一部分，提高了模型的集成度。业界已经存在专业的图像预处理服务Roboflow，Keras除了图像处理之外，还引入了：
- 文字向量化
- 字符串的标准化(standardization)/清理
- 标记化(Tokenization)
- 索引(Indexing)
- ngrams，TF-IDF(词频-反文档频率)
- 图像预处理和增强
- 结构化数据预处理
- 索引
- 哈希(Hashing)
- 离散化(Discretization)
TensorFlow云
理想情况下，深度学习专业知识和基础架构等资源应该被包装成便于重用的形式。为了使Tensorflow更加接近这个理想，Chollet和团队开发了Tensorflow Cloud（TFC）。 TFC提供了一个方便的run方法，无需用户干预即可执行以下操作：将脚本或笔记本转换为可用于生产和发布的代码；构建具有所需依赖项的容器，并将容器映像存储在容器注册表中；部署容器，使用Tensorflow分发策略运行培训工作；使用Tensorboard传输日志并监控性能。
TensorFlow Tuner
TensorFlow Tuner是基于前述KerasTuner的一个优化工具，无缝集成了GCP上的Vizier。 Vizier是一个托管在GCP基础设施上的超参数优化服务，它是一个黑盒技术，所以采纳前需要考虑这个特点的影响。
睿极智能
标签：GTC,21,Keras,KerasTuner,模型,Chollet,Tensorflow,预处理 来源： https://blog.csdn.net/usehyn/article/details/116132212