本文最初发表在 Towards Data Science 博客上，经原作者 Luke Posey 授权，InfoQ 中文站翻译并分享。

随着工具和基础设施的成熟，应用人工智能不断加速发展。将这些基础设施与强大的人才库和热情、随时可获得的资本以及客户采用人工智能 / 机器学习的高度意愿结合起来，你就有了一些特别的东西。我们正在迈向一个新的十年，在这个十年里，人工智能 / 机器学习将以更快的速度为消费者和企业创造真正的价值。

定义术语

应用人工智能 ：任何与将人工智能研究从实验室带到用例，以及两者之间的一切有关的事情。从基础设施和工具，到硬件，到工业中的部署面，再到模型本身，从人工智能研究的前沿到用例，都需要共同努力才能取得尖端进展。在我们这个领域中，成熟度的一个很好的检验标准，就是看一个新的进步从纸上到生产所需的时间。就在几年前，你还可以浏览该领域的一些主要进展，并努力寻找真正的用例；这种情况正迅速开始改变。

一些选择例子：

• 神经网络研究实现自动驾驶汽车（Tesla、Cruise、Waymo 等）。
• 像 BERT 和 GPT-2/3 这样的自然语言处理改进了搜索和助理（Google Search、Siri、Google Assistant、SoundHound、Clinc）。
• 强化学习帮助许多公司实现人工智能在工业机器人领域许下的崇高承诺（Covariant、FogHorn、Rethink）。
• 用于欺诈检测和消费者结果的机器学习帮助银行、信用卡和贷款机构限制欺诈和管理风险（银行、信用卡、Verifi、Ravelin、Stripe 的反欺诈部门）。
• 生成对抗网络可以生成新鲜的内容、逼真的面孔并提高照片质量（generated.photos、rosebud.ai、RunwayML）。
  

从研究到生产，需要的远不止是一个模型。要使这些东西发挥作用，需要在研究和工程两方面的努力齐头并进。它需要硬件，需要可扩展的主机，需要 DevOps，需要强大的数据科学，等等。值得庆幸的是，越来越多的初创公司正在为每个构建块构建解决方案，随着越来越多的工具开源，大公司（如 Uber 和 Netflix）也加入其中。

我们将会记住那些发明了新模型的全明星人物们，但是那些将其全部转化为生产代码的工程师们，那些为你创建下一个数据集的标注员们，以及那些声嘶力竭地反对违反安全和人权的抗议民众，都应该记住他们在这一领域所做的贡献。

为什么是现在？

我们看到人工智能用例的巨大机会正在各个行业涌现。随着工具和基础设施的成熟，任何可以编写几行代码的人，都可以获得新机会。无论是对现有市场的破坏，还是对新市场的创造，都是由采用驱动的。

我们已经看到机器学习在搜索引擎、信用卡欺诈检测、智能手机摄像头以及现代市场的激增。随着传统公司投资于使用机器学习来扩充他们的产品和流程所需的工具和团队，我们开始看到越来越多的 企业采用这一方法。

在本文中，我们不仅将介绍人工智能是如何使我们喜爱的产品和特性在数字世界中得以实现的，还将探索应用人工智能是如何改变工作流程、创造新机会，以及如何在制造业、建筑业、供应链和商业领域等解放劳动力的。我们将深入探讨这一领域的当前趋势，同时也会对事物的发展方向持某些立场。

通常，我们可以识别出由某种新技术或新事件促成的创新浪潮。在过去的十年里，我们看到了人工智能的拐点，将我们从一堆炒作变成了真正的用例，从而推动了整个行业的价值。

那么，为什么现在是人工智能 / 机器学习新一波价值浪潮的拐点？

• 工具和基础设施的成熟
• 规模化训练和服务的可及性
• 作为 API 的大型模型
• 继续获得风险资本、研究资助和政府利益
  

工具和基础设施的成熟

随着最佳实践、工具和基础设施开始成熟，可及性也在显著增加。在基础设施和工具方面，高级团队或大型开放元吗工作仍然是常态。在实际应用中，我们看到了由初级工程师、初出茅庐的统计学家和企业家创建的成功初创公司，他们愿意在泥沙中筛选，以使他们的应用发挥作用。同时，也请向那些有意参与这一波机会浪潮的 MBA 们问好。

此外，人才的涌入、更好的课程和培训计划，以及整个运动背后的大肆宣传，使得聘请一名优秀的数据科学家或机器学习工程师不再是一项外层空间的任务。正因为有了更好的工具，数据科学家和机器学习工程师才可以做得更专业、更深入，而且非常高效。而且，大多数 MVP 可以用现成的模型或者使用 Scikit-Learn、Keras 之类的美观且易于访问的库来构建。我们可以开 clf.fit() 的所有玩笑，但事实上，只需几行代码就可以构建出真正有价值的实际模型，这是一件好事。当一个领域的自身成员开始炮轰所有的“冒牌工程师”和“假数据科学家”时，他们真正想说的是“ 我很恼火，以前我需要几周才能完成的工作，现在小菜鸟只用几个小时就能做出来，岂有此理！ ”

而硬件的获取，不再是一个障碍。对于有进取心的个人来说，有大量的免费计算时间可用。早期的 MVP 以前可能需要一些引导或天使的帮助，大多数非研究性的想法都可以起步，主要的障碍因素是数据的获取。这是一件 非常好的事情。值得庆贺的是，训练模式的主要障碍不再是小众技能或访问昂贵的基础设施了。

我们目睹了围绕少数核心产品的基础设施正在全面整合。AWS、GCP 和 Azure 在这一波浪潮中显然是赢家，NVIDIA 和 Intel 的硬件占据了数据中心的主导地位。我们也看到一些公司涌入这个领域，采取更多利基方式，比如更清洁的训练 + 部署（参见 Paperspace 和 FloydHub）。

显然，我们都非常熟悉 TensorFlow、PyTorch、Scikit-Learn 和其他主要建模工具。在整个行业中，我们看到了对于大多数建模工作流，Jupyter 和各种克隆版本继续占据主导地位。在数据科学家繁重的工作流和机器学习工程师的工作流之间也存在明显的分歧，机器学习工程师们将时间花在 IDE 的选择上，而建模工程师则将更多的时间花在 Jupyter，以及像 Colab、Deepnote、Count 等具有特定优势的项目上。

这些工具仍然是生态系统的核心。但是在过去的五年里，最大的推动因素也许是部署和服务。Docker 和 Kubernetes 仍然是生态系统的核心，而许多工具也加入了他们自己独特的价值支柱。Kubeflow 正在迅速获得人气，而 TensorFlow 服务、MLFlow、BentoML、Cortex 和其他公司也在争夺类似的市场份额，他们试图通过使所有建模工程师能够以最小的努力使其模型投入生产。“只需几行代码即可部署模型”是许多项目的口号。易于部署对于获得客户非常重要；可扩展性和维护性是长期留住客户的关键因素。

这种创新是意料之中的，因为一般的数据科学家和不太注重工程的机器学习工程师可能不太愿意在 DevOps、容器编排、扩展等方面耗费太多的时间。而且，许多团队在组建他们最初的核心团队时，都没有雇佣大量的工程人才。因此，里程可能会有所不同。

我倾向于将机器学习的研究工作大致分为以下几个阶段来看待。过去，我们被迫自己构建许多这样的阶段，或者完全忽略某些步骤（比如混乱的版本控制、不存在的 CI、手动扩展、只有在模型被明显破坏时才进行维护等）。值得庆幸的是，许多团队正在努力简化我们的生活，几乎每一步都是如此：

• 数据管理、模式、数据集版本控制
• 模型定义、训练和评估
• 序列化、服务化
• 部署、CI/CD 和模型版本控制
• 监控和维护
  

在某些情况下，上述工作是相互独立的。但在其他情况下，同一个工具也可以处理流程中的多个步骤。例如，我们可能会看到一个用于服务的工具也可以轻松地处理序列化。在其他情况下，用于训练的库可能与序列化（pickle、joblib、dill、onnx 等）紧密集成。生态系统中有趣的部分是，工具是如何成熟到这样一个程度的，以至于你可以拥有像 BentoML 这样的全套服务工具，但如果需要的话，你也可以有很多其他选项，进行额外的定制。更多偏重于工程的团队可能不会花时间去使用 Bento、Cortex 或其他服务，这些服务是为技术含量较低的用户准备的。而我个人喜欢 BentoML 和 Cortex 这样的工具，因为它们为我们的小团队节省了大量的时间。MLOps 还有很长的路要走。

看起来我们最缺的就是监控和维护这一块。

Christopher Samiullah 很好地总结了 这一点。

很明显，这份列表非常偏向于我过去曾使用过的工具，或者我正在积极使用的工具。一些不是机器学习专用的工具被排除在外。例如，虽然 Airflow 是许多工作流的关键部分，但在这种情况下被排除在外。此外，你还将看到对 Python 生态系统的明显偏见，这可能会让一些人对此感到懊恼。我们还排除了数据库、版本控制等。显然，数据收集和清理是我们工作流的核心，但这个过程的大部分对软件工程来说并不新鲜，况且在别处的介绍比我在本文所讲的要深入得多。我们主要讨论建模工程师和机器学习工程师之外的工具，而不是数据工程师、分析师或商业智能重数据科学工作流。

作为 API 的大规模通用模型

让我们来谈谈 GPT-3 的操作。比起 GPT-3 的成果，我可能并没有那么多兴致，但对这个方法作为其他行业的典范，我却更感兴趣。

我们似乎正在为最大和最佳（通用）模型的军备竞赛做准备。这种规模的计算，对于较小的公司和初创公司来说是不现实的。更小的努力将有利于聪明的优化和研究，推翻越来越多的计算问题。两者的结合在这里似乎是明显的赢家，我预计，领先的建模工作将围绕着一小批拥有巨额资金的公司进行全面整合，这些公司负担得起所需的算力和研究资金。然后，我们将看到一些占主导地位的公司为这些模型提供服务，这些模型是空开的，无需高度专业化的数据即可工作。这些用例可以在全球范围内被各种产品使用。 让我们想象一下 。

本文最初发表在 Towards Data Science 博客上，经原作者 Luke Posey 授权，InfoQ 中文站翻译并分享。

随着工具和基础设施的成熟，应用人工智能不断加速发展。将这些基础设施与强大的人才库和热情、随时可获得的资本以及客户采用人工智能 / 机器学习的高度意愿结合起来，你就有了一些特别的东西。我们正在迈向一个新的十年，在这个十年里，人工智能 / 机器学习将以更快的速度为消费者和企业创造真正的价值。

定义术语

应用人工智能 ：任何与将人工智能研究从实验室带到用例，以及两者之间的一切有关的事情。从基础设施和工具，到硬件，到工业中的部署面，再到模型本身，从人工智能研究的前沿到用例，都需要共同努力才能取得尖端进展。在我们这个领域中，成熟度的一个很好的检验标准，就是看一个新的进步从纸上到生产所需的时间。就在几年前，你还可以浏览该领域的一些主要进展，并努力寻找真正的用例；这种情况正迅速开始改变。

一些选择例子：

• 神经网络研究实现自动驾驶汽车（Tesla、Cruise、Waymo 等）。
• 像 BERT 和 GPT-2/3 这样的自然语言处理改进了搜索和助理（Google Search、Siri、Google Assistant、SoundHound、Clinc）。
• 强化学习帮助许多公司实现人工智能在工业机器人领域许下的崇高承诺（Covariant、FogHorn、Rethink）。
• 用于欺诈检测和消费者结果的机器学习帮助银行、信用卡和贷款机构限制欺诈和管理风险（银行、信用卡、Verifi、Ravelin、Stripe 的反欺诈部门）。
• 生成对抗网络可以生成新鲜的内容、逼真的面孔并提高照片质量（generated.photos、rosebud.ai、RunwayML）。
  

从研究到生产，需要的远不止是一个模型。要使这些东西发挥作用，需要在研究和工程两方面的努力齐头并进。它需要硬件，需要可扩展的主机，需要 DevOps，需要强大的数据科学，等等。值得庆幸的是，越来越多的初创公司正在为每个构建块构建解决方案，随着越来越多的工具开源，大公司（如 Uber 和 Netflix）也加入其中。

我们将会记住那些发明了新模型的全明星人物们，但是那些将其全部转化为生产代码的工程师们，那些为你创建下一个数据集的标注员们，以及那些声嘶力竭地反对违反安全和人权的抗议民众，都应该记住他们在这一领域所做的贡献。

为什么是现在？

我们看到人工智能用例的巨大机会正在各个行业涌现。随着工具和基础设施的成熟，任何可以编写几行代码的人，都可以获得新机会。无论是对现有市场的破坏，还是对新市场的创造，都是由采用驱动的。

我们已经看到机器学习在搜索引擎、信用卡欺诈检测、智能手机摄像头以及现代市场的激增。随着传统公司投资于使用机器学习来扩充他们的产品和流程所需的工具和团队，我们开始看到越来越多的 企业采用这一方法。

在本文中，我们不仅将介绍人工智能是如何使我们喜爱的产品和特性在数字世界中得以实现的，还将探索应用人工智能是如何改变工作流程、创造新机会，以及如何在制造业、建筑业、供应链和商业领域等解放劳动力的。我们将深入探讨这一领域的当前趋势，同时也会对事物的发展方向持某些立场。

通常，我们可以识别出由某种新技术或新事件促成的创新浪潮。在过去的十年里，我们看到了人工智能的拐点，将我们从一堆炒作变成了真正的用例，从而推动了整个行业的价值。

那么，为什么现在是人工智能 / 机器学习新一波价值浪潮的拐点？

• 工具和基础设施的成熟
• 规模化训练和服务的可及性
• 作为 API 的大型模型
• 继续获得风险资本、研究资助和政府利益
  

工具和基础设施的成熟

随着最佳实践、工具和基础设施开始成熟，可及性也在显著增加。在基础设施和工具方面，高级团队或大型开放元吗工作仍然是常态。在实际应用中，我们看到了由初级工程师、初出茅庐的统计学家和企业家创建的成功初创公司，他们愿意在泥沙中筛选，以使他们的应用发挥作用。同时，也请向那些有意参与这一波机会浪潮的 MBA 们问好。

此外，人才的涌入、更好的课程和培训计划，以及整个运动背后的大肆宣传，使得聘请一名优秀的数据科学家或机器学习工程师不再是一项外层空间的任务。正因为有了更好的工具，数据科学家和机器学习工程师才可以做得更专业、更深入，而且非常高效。而且，大多数 MVP 可以用现成的模型或者使用 Scikit-Learn、Keras 之类的美观且易于访问的库来构建。我们可以开 clf.fit() 的所有玩笑，但事实上，只需几行代码就可以构建出真正有价值的实际模型，这是一件好事。当一个领域的自身成员开始炮轰所有的“冒牌工程师”和“假数据科学家”时，他们真正想说的是“ 我很恼火，以前我需要几周才能完成的工作，现在小菜鸟只用几个小时就能做出来，岂有此理！ ”

而硬件的获取，不再是一个障碍。对于有进取心的个人来说，有大量的免费计算时间可用。早期的 MVP 以前可能需要一些引导或天使的帮助，大多数非研究性的想法都可以起步，主要的障碍因素是数据的获取。这是一件 非常好的事情。值得庆贺的是，训练模式的主要障碍不再是小众技能或访问昂贵的基础设施了。

我们目睹了围绕少数核心产品的基础设施正在全面整合。AWS、GCP 和 Azure 在这一波浪潮中显然是赢家，NVIDIA 和 Intel 的硬件占据了数据中心的主导地位。我们也看到一些公司涌入这个领域，采取更多利基方式，比如更清洁的训练 + 部署（参见 Paperspace 和 FloydHub）。

显然，我们都非常熟悉 TensorFlow、PyTorch、Scikit-Learn 和其他主要建模工具。在整个行业中，我们看到了对于大多数建模工作流，Jupyter 和各种克隆版本继续占据主导地位。在数据科学家繁重的工作流和机器学习工程师的工作流之间也存在明显的分歧，机器学习工程师们将时间花在 IDE 的选择上，而建模工程师则将更多的时间花在 Jupyter，以及像 Colab、Deepnote、Count 等具有特定优势的项目上。

这些工具仍然是生态系统的核心。但是在过去的五年里，最大的推动因素也许是部署和服务。Docker 和 Kubernetes 仍然是生态系统的核心，而许多工具也加入了他们自己独特的价值支柱。Kubeflow 正在迅速获得人气，而 TensorFlow 服务、MLFlow、BentoML、Cortex 和其他公司也在争夺类似的市场份额，他们试图通过使所有建模工程师能够以最小的努力使其模型投入生产。“只需几行代码即可部署模型”是许多项目的口号。易于部署对于获得客户非常重要；可扩展性和维护性是长期留住客户的关键因素。

这种创新是意料之中的，因为一般的数据科学家和不太注重工程的机器学习工程师可能不太愿意在 DevOps、容器编排、扩展等方面耗费太多的时间。而且，许多团队在组建他们最初的核心团队时，都没有雇佣大量的工程人才。因此，里程可能会有所不同。

我倾向于将机器学习的研究工作大致分为以下几个阶段来看待。过去，我们被迫自己构建许多这样的阶段，或者完全忽略某些步骤（比如混乱的版本控制、不存在的 CI、手动扩展、只有在模型被明显破坏时才进行维护等）。值得庆幸的是，许多团队正在努力简化我们的生活，几乎每一步都是如此：

• 数据管理、模式、数据集版本控制
• 模型定义、训练和评估
• 序列化、服务化
• 部署、CI/CD 和模型版本控制
• 监控和维护
  

在某些情况下，上述工作是相互独立的。但在其他情况下，同一个工具也可以处理流程中的多个步骤。例如，我们可能会看到一个用于服务的工具也可以轻松地处理序列化。在其他情况下，用于训练的库可能与序列化（pickle、joblib、dill、onnx 等）紧密集成。生态系统中有趣的部分是，工具是如何成熟到这样一个程度的，以至于你可以拥有像 BentoML 这样的全套服务工具，但如果需要的话，你也可以有很多其他选项，进行额外的定制。更多偏重于工程的团队可能不会花时间去使用 Bento、Cortex 或其他服务，这些服务是为技术含量较低的用户准备的。而我个人喜欢 BentoML 和 Cortex 这样的工具，因为它们为我们的小团队节省了大量的时间。MLOps 还有很长的路要走。

看起来我们最缺的就是监控和维护这一块。

Christopher Samiullah 很好地总结了 这一点。

很明显，这份列表非常偏向于我过去曾使用过的工具，或者我正在积极使用的工具。一些不是机器学习专用的工具被排除在外。例如，虽然 Airflow 是许多工作流的关键部分，但在这种情况下被排除在外。此外，你还将看到对 Python 生态系统的明显偏见，这可能会让一些人对此感到懊恼。我们还排除了数据库、版本控制等。显然，数据收集和清理是我们工作流的核心，但这个过程的大部分对软件工程来说并不新鲜，况且在别处的介绍比我在本文所讲的要深入得多。我们主要讨论建模工程师和机器学习工程师之外的工具，而不是数据工程师、分析师或商业智能重数据科学工作流。

作为 API 的大规模通用模型

让我们来谈谈 GPT-3 的操作。比起 GPT-3 的成果，我可能并没有那么多兴致，但对这个方法作为其他行业的典范，我却更感兴趣。

我们似乎正在为最大和最佳（通用）模型的军备竞赛做准备。这种规模的计算，对于较小的公司和初创公司来说是不现实的。更小的努力将有利于聪明的优化和研究，推翻越来越多的计算问题。两者的结合在这里似乎是明显的赢家，我预计，领先的建模工作将围绕着一小批拥有巨额资金的公司进行全面整合，这些公司负担得起所需的算力和研究资金。然后，我们将看到一些占主导地位的公司为这些模型提供服务，这些模型是空开的，无需高度专业化的数据即可工作。这些用例可以在全球范围内被各种产品使用。 让我们想象一下 。