AI工程师 下一个热门技术职位

弥合AI研究与工程之间的鸿沟

从数量上看，AI工程师很可能比ML工程师/LLM工程师多得多。Andrej Karpathy指出，即使从未训练过任何模型，一个人也能在这一角色中取得巨大成功。

仅初创公司就创造了超过10亿美元的收入，Gen AI初显成功迹象，每一家前瞻性的科技公司都在竞相将Gen AI能力融入其产品、客户支持机器人和营销中。AI技术正处于一个类似于互联网在90年代末期的十字路口，甚至可能更为关键。

人工智能需求增长与开发者激增

为了洞察这一趋势，我查看了YCombinator的投资组合 。对于不了解的人来说，YCombinator是美国一家享有盛誉的初创企业加速器。他们支持了许多如今已成为科技巨头的初创公司，如Airbnb、Dropbox、Stripe和Reddit。

我得到的数据如下，从2017年到2023年，利用AI构建的公司数量显著增长。自2021年以来，这一数字大幅上升，并在2022年ChatGPT推出后进一步激增。

这让我们有理由相信，未来将有越来越多的公司采用AI技术，从而导致对AI工程师的需求增加。

对于任何程序员来说，现在正是开始构建和学习的好时机。

为何是现在？

AI开发领域已经随着开源大型语言模型、框架和现成的API接口发展到了一定程度，能够快速启动项目，同时社区也壮大到足以提供必要的支持。

AI初创公司、AI加速器 计划、开源仓库、SDK、软件包、云平台——一个共同的主题——尽快构建、解决问题并发布产品。

曾经需要专门的研究团队和多年密集工作才能完成的事情，现在通过API文档和几天的集中努力就能高效管理。

那么，一个喜欢构建产品的人或工程师如何才能深入探索当今的AI领域呢？

要回答这个问题，首先你需要了解该领域正在发生的所有事情。

AI 开发层次

我将当今 AI 开发的主要领域归纳为三个不同的层次。

1. 应用开发 — 这一层涉及基于现成的 LLM API，利用 Langchain、LlamaIndex、Autogen 等 AI 工程框架开发应用程序（接口），并进行监控和评估。这是最活跃、最热闹的层次，也是资金所在之处。用例越真实，价值越大。开发这些 AI 应用需要掌握一系列特殊的工程技能，我将在本文后面解释。
2. 模型开发 — 深入一层，我们致力于一切能提供更优化模型的领域，包括数据集工程、分布式训练、评估与基准测试，以及使用多种工具进行推理服务。这一层需要深厚的深度学习、分布式系统、数据集策划和工程方面的专业知识。
3. 基础设施 — 支撑一切的是基础设施层，涵盖硬件、云服务提供商和 GPU，这些大型模型正是在这里进行训练的。这一层需要深厚的计算（操作系统、网络、安全）、分布式系统和 AI 模型开发方面的专业知识。

除此之外，还有一层关注 AI 风险和安全对齐的研究，以防范流氓 AI。OpenAI 今年早些时候启动了一个 1000 万美元的超级对齐资助计划。

鉴于应用层的高度关注，这导致了对一种特殊工程师的需求日益增长，他们知道如何在 AI 之上构建应用。尽管这些工程师没有标准称谓，但大多数公司称他们为 AI 工程师。

在我撰写这篇文章时，Chip Huyen 发表了一篇极其详细的帖子，介绍了900 个最受欢迎的开源 AI 工具，这进一步印证了我对 AI 工程师需求上升的观察和发现：

有了现成的模型，任何人都可以在其上开发应用。这一层在过去两年中动作最为频繁，并且仍在迅速发展。这一层也被称为 AI 工程。— Chip Huyen

那么，我们如何定义AI工程师的角色？他们需要是AI或深度学习领域的专家吗？

AI工程师是一位擅长利用AI技术开发各种形态应用的专业程序员。

“形态无关”指的是应用类型的多样性，从简单的聊天界面到复杂的完整堆栈应用、Chrome扩展程序、Python包或SDK等。

与深入研究算法基础的AI研究人员不同，AI工程师专注于应用现有AI模型来创造以用户为中心的产品。

但问题再次出现，成为AI工程师难道不需要精通AI吗？

简短的答案是不需要。

这一角色并不要求对AI原理有深入的了解，比如理解Transformer模型的内部工作原理，正如学习游泳并不需要深入研究浮力物理学一样。

虽然对深度学习和机器学习有深刻的理解可以带来明显的优势，但当前行业需求更倾向于实际应用而非理论研究。

那么，我们如何区分AI工程师和AI研究员呢？

AI工程师与AI研究员

下图将工程技能（如API应用）与AI研究技能（如设计模型架构或理解Transformer工作原理）进行了对比。

AI工程师擅长开发AI驱动的应用，专注于最大化模型能力并优化大型语言模型（LLMs）的工作流程。

从这个图表来看，我认为相较于机器学习背景的人，更偏向工程背景的人在这个角色中会表现得更出色。欢迎在评论区分享你的看法。

你可能会疑惑，既然AI研究员既擅长工程又具备深厚的AI专业知识，为何公司不优先聘用他们而非AI工程师呢？

简短的答案是稀缺性，进而导致成本上升。

下一个科技热潮——AI工程师？

以下是关于“模型即服务”如何推动这一生态系统快速演变的几个有趣见解：

1. 供需动态：所有顶尖的大型语言模型（LLM）研究人员已被谷歌、OpenAI、微软和Meta等巨头吸纳，这种LLM研究人员的稀缺性凸显了对AI工程师的迫切需求。这类专业人才是连接尖端研究和实际应用的桥梁，确保AI技术的更广泛可及性和实施。
2. 快速原型设计和敏捷性：与需要大量研究来确定是否需要机器学习（ML）的传统ML方法不同，AI工程师可以利用现成的模型API快速原型设计和迭代AI产品。
3. 创新变得更容易、更快：基础模型在各种任务中展现出惊人的适应性，仅需少量输入，这使得AI工程师能够利用这些能力创造出超越研究人员最初设想范围的创新解决方案。
4. 推理优化以应对计算约束：对GPU日益增长的需求和专属计算集群的形成，突显了AI工程师在计算约束下优化模型性能和创新的重要性。

尽管传统的ML问题如推荐系统、欺诈检测和异常检测将继续改进，但我们有了全新的AI应用范围需要应对。

Clem Delangue，HuggingFace联合创始人，表示：

AI是构建所有技术的新范式

因此，我们需要越来越多的AI工程师！

看看红杉资本的生成式AI市场地图。应用层几乎在每个领域都充满了用例和公司：

结论

综上所述，我们有：

1. 来自行业领军人物和AI领域资深专家的呼吁，如Andrej Karpathy、Chip Huyen和Clem等众多人士。
2. 大型孵化器如YCombinator、风险投资公司及投资者持续投资于AI企业，并长期看好AI，证明这是构建所有技术的下一个重大范式。
3. 需要弥合AI研究与工程之间的差距，这将由AI工程师来推动。
4. 快速增长的AI驱动应用生态系统——不断推出的新开发工具、随时可用的API、库和云平台，以及日益壮大的社区提供所需支持。

因此，现在是开始利用AI进行构建、提升相关技能并准备好迎接下一个技术角色的时机。

在我的YouTube频道上查看此文章的视频版本：