【技术科普】和从业者聊聊AI Infra | DevmoreWork

迪魔王 Devmore - More about Dev

# 导读

本期嘉宾是 AI Infra 架构师长凡，目前在蚂蚁负责 AI Infra 项目 DLRover。

AI、AGI、大模型、人机交互、各种概念层出不穷，这次的 AI 浪潮似乎比前些年更加真实了一些，ChatGPT、Midjurney 等等，也让普通人而非科学家才能用上 AI 的能力。在这样的时代下，我们又开始讨论，很多职业是不是或消失？程序员会不会失业？

另外，AI Infra 作为 AI 领域的基础设施，我们和一线工程师聊聊，面对大模型时代的到来，实质感受是怎样的，以及在如今的时代，AI Infra 和开源是怎样的关系，如果要投身 AI Infra 领域，又有哪些宝贵的从业建议，一起收听吧。

# 主播

- 五花肉：目前负责 DLRover 开源运营，处于和 GPT embedded 模式合作阶段。

- 君晓：多年技术内容编辑经验，有较多海外内容运营经历。

# 嘉宾

- 长凡：北邮通信专业硕士毕业，先后在中国移动、蚂蚁，从算法到工程，2018 年开始进入 AI 领域从业，目前在 AI Infra 领域负责开源项目 DLRover。

# 时间轴

-【05:26】AI 的整体架构介绍

-【09:45】AI Infra 的容灾就是跟时间抢钱

-【13:09】大模型时代，AI Infra 从业者的心态，兴奋、迷茫还是恐慌？

-【16:00】大模型出来后，之前做机器学习和深度学习的会失业吗？

-【28:50】怎么看待 AI Infra 和开源的关系

-【38:30】参与开源给嘉宾带来的变化

-【45:17】硬广：嘉宾的开源项目：DLRover

-【46:18】放眼全球，AI Infra 领域有哪些可以学习和借鉴的

-【50:22】AI 相关名词科普

-【58:53】要入门 AI Inra 领域，有哪些建议？

# 延伸阅读

- 【AI Infra】：即人工智能基础设施，是支持 AI 系统和应用运行的底层技术和架构。这包括硬件、软件、数据管理系统、网络资源以及其他使 AI 应用能够高效、可靠运行的组件。TensorFlow 和 PyTorch 这两个广泛使用的开源机器学习库，就是 AI 基础设施的重要软件组成部分。

- 【TensorFlow】：由 Google 开发并维护，是一个强大的数学计算框架，但它主要被用于机器学习和深度学习项目。TensorFlow 支持广泛的计算任务，具有灵活的架构，允许用户在多种平台（如 CPU 、GPU 和 TPU）上部署计算。

- 【PyTorch】：由 Facebook 的 AI 研究团队开发，是一个专门为深度学习而设计的库，以其对研究者友好的接口和动态计算图而著称。PyTorch 支持快速实验和创新，使得构建和调试复杂的神经网络变得更加直观。

- AI 基础硬件设备：

- CPU：中央处理单元，计算机的主要处理器，擅长处理通用计算任务和复杂的逻辑操作。它由少数几个核心组成，每个核心可以执行高度复杂的操作序列。CPU 适合处理不需要并行计算或 GPU 资源不可用时的 AI 任务。

- GPU：图形处理单元，最初被设计用于处理视频游戏中的复杂图形和图像，但其高度并行的结构使其非常适合于深度学习和大规模的矩阵运算。相比 CPU，GPU 拥有更多的处理核心（成百上千个），可以同时处理大量的操作。GPU 已经成为了深度学习训练的首选硬件，因为它能显著加快模型训练的速度。

- TPU： 张量处理单元，TPU 是由 Google 专门为深度学习计算设计的一种 ASIC（专用集成电路）。TPU 针对 AI 运算进行了优化，尤其是在处理张量运算时，能提供高效的性能。TPU 特别适合于加速深度学习应用，包括训练和推断。它能够处理大量的并行计算任务，提供比 GPU 更高的性能和效率。

# 推荐

[DLRover](https://github.com/intelligent-machine-learning/dlrove)：蚂蚁开源大规模智能分布式训练系统，专门用于自动管理 DeepRec 分布式训练作业的资源。 它可以帮助用户实现自动扩容和缩容，提高资源利用率和作业调度效率。

# Staff

后期：迪西

运营：潘潘

文档：天猪

# 关于节目

「迪魔王Devmore」让有意义的事情有意思。

[DevmoreWork](https://www.yuque.com/devmore/work)，more about work，侧重专业的职场话题，邀请行业专业嘉宾，为大家带来更多专业方向的知识和参考。

[DevmoreLife](https://www.yuque.com/devmore/life)，tech in life，是技术生活系列，技术源于生活，又归于生活，该系列跟你聊一聊生活中无处不在的技术。

[MeetDevmore](https://www.yuque.com/devmore/meet)，meet with us，围绕某一个话题，邀请嘉宾和听众们边吃边聊，我们相信，每一个观点都值得被听见。