Building Language Models on AWS (Simplified Chinese)

Amazon SageMaker 帮助数据科学家准备、构建、训练、部署和监控机器学习 (ML) 模型。SageMaker 汇集了一组广泛的功能，其中包括支持使用分布式训练库、开源模型和基础模型 (FM)。本课程向经验丰富的数据科学家介绍了构建语言模型的挑战，以及用于处理大型文本语料库的不同存储、摄取和训练选项。本课程还讨论了使用 Amazon SageMaker Jumpstart 为生成式人工智能（生成式 AI）任务部署大型模型和自定义基础模型的挑战。

• 课程级别：高级
• 时长：5.5 小时

注意：本课程具有本地化的注释/字幕。 旁白保留英语。要显示字幕，请单击播放器右下角的 CC 按钮。

活动

本课程包括文本说明、说明性图形、知识考核问题，以及您可在自己的 Amazon Web Services (AWS) 账户中运行的实验的视频演示。

课程目标

学完本课程后，数据科学家可以自信地使用 SageMaker 在 AWS 上构建、训练和优化高性能语言模型。

在本课程中，您将了解如何：

• 应用存储和摄取大量文本数据的最佳实践来支持分布式训练
• 探索数据并行化和模型并行化库，以支持 SageMaker 上的分布式训练
• 解释 SageMaker 上提供的选项，以提高训练性能，例如 Amazon SageMaker Training Compiler 和 Elastic Fabric Adapter (EFA)
• 了解用于有效模型部署的大型语言模型 (LLM) 优化技术
• 演示如何微调 SageMaker Jumpstart 上提供的基础模型

目标受众

本课程面向以下人员：

• 数据科学家
• 机器学习 (ML) 工程师

先决条件

我们建议符合以下条件的人员参加本课程：

• 拥有 1 年以上自然语言处理 (NLP) 经验
• 拥有 1 年以上语言模型训练和优化经验
• 具备中级水平的 Python 语言编程能力
• 已完成 AWS Technical Essentials 课程
• 已完成 Amazon SageMaker Studio for Data Scientists 课程

课程大纲

课程系列简介

第 1 部分：简介

• Building Language Models on AWS 的简介

第 2 部分：大型语言模型基本知识

• 大型语言模型的类型
• 常见生成式 AI 使用案例

第 3 部分：课程系列大纲

• 后续模块中涵盖的主题

解决语言模型构建方面的挑战

第 1 部分：常见挑战

• 常见 LLM 从业者挑战

第 2 部分：多机器训练解决方案

• 通过分布式训练扩展 LLM
• 应用数据并行化技术
• 应用模型并行化技术

第 3 部分：性能优化解决方案

• 性能优化技术
• 使用专用基础设施

第 4 部分：总结

• 模块评估

使用 Amazon SageMaker 进行语言模型训练

第 1 部分：配置 SageMaker Studio

• SageMaker 基础知识
• 设置 SageMaker Studio 域

第 2 部分：SageMaker 基础设施

• 选择计算实例类型

第 3 部分：使用 SageMaker Python SDK

• SageMaker Python SDK 基础知识
• 通过 SageMaker Python SDK 训练和部署语言模型

第 4 部分：总结

• 模块评估

演示 - 设置 Amazon SageMaker Studio

摄取语言模型数据

第 1 部分：准备数据

• 数据管理概览
• 准备供摄取的数据

第 2 部分：分析数据摄取选项

• 使用 SageMaker Python SDK 加载数据
• 摄取 Amazon S3 中的数据
• 使用适用于 Lustre 的 FSx 摄取数据
• 其他数据摄取选项
• 数据摄取和存储注意事项

第 3 部分：总结

• 模块评估

训练大型语言模型

第 1 部分：创建 SageMaker 训练作业

• 启动 SageMaker 训练作业
• 修改脚本模式的脚本

第 2 部分：优化 SageMaker 训练作业

• 监控和故障排除
• 优化计算性能
• 用于语言模型训练的 SageMaker 训练功能

第 3 部分：在 SageMaker 上使用分布式训练

• SageMaker 分布式训练支持
• 使用 SageMaker 分布式数据并行库
• 使用 SageMaker 模型并行库
• 使用 SageMaker 模型并行库和分区数据并行化
• 使用 EFA 进行训练

第 4 部分：编译训练代码

• 使用 SageMaker Training Compiler

第 5 部分：总结

• 模块评估

演示 - 使用 Amazon SageMaker 训练您的第一个语言模型

演示 - 在 SageMaker 上使用 PyTorch Lightning 进行并行数据训练

演示 - 使用 Amazon SageMaker 模型并行化库中的分区数据并行化技术，以近线性扩展方式微调 GPT-2

部署语言模型

第 1 部分：在 SageMaker 中部署模型

• SageMaker 部署简介
• 选择 SageMaker 部署选项

第 2 部分：部署推理模型

• 实时推理概览
• 使用 SageMaker Python SDK 进行模型部署
• 使用 SageMaker 推理推荐器

第 3 部分：为推理部署大型语言模型

• 优化方法
• 模型压缩技术
• 模型分区
• 优化的内核和编译
• 利用 SageMaker LMI 容器进行部署

第 4 部分：其他注意事项

• 在 SageMaker 上部署模型时的其他注意事项

第 5 部分：总结

• 模块评估

演示 - 使用 DeepSpeed 容器在 Amazon SageMaker 上托管 LLM 的简介

为生成式 AI 任务自定义基础语言模型

第 1 部分：简介

• 基础模型简介

第 2 部分：使用 SageMaker JumpStart

• SageMaker JumpStart 使用入门
• 使用 SageMaker Python SDK 部署 SageMaker JumpStart 模型
• 选择 FM

第 3 部分：自定义 FM

• 提示工程
• 使用 SageMaker Python SDK 微调 JumpStart 模型

第 4 部分：检索增强生成 (RAG)

• 使用检索增强生成 (RAG)

第 5 部分：总结

• 模块评估

演示 - 使用 Amazon SageMaker JumpStart 部署用于执行文本生成任务的 FLAN-T5 模型

行动号召和其他资源

第 1 部分：回顾

• 本课程系列涵盖的主题

第 2 部分：总结

• 资源、回顾与后续步骤