Building Language Models on AWS (Traditional Chinese)

Amazon SageMaker 協助資料科學家準備、建置、訓練、部署和監控機器學習 (ML) 模型。SageMaker 匯集了廣泛的功能，包括存取分散式訓練函式庫、開源模型和基礎模型 (FM)。本課程為經驗豐富的資料科學家們帶來了建立語言模型的挑戰，以及處理大型文字語料庫的不同儲存、擷取和訓練選項。本課程還討論了使用 Amazon SageMaker Jumpstart 部署大型模型和自訂生成式人工智慧 (生成式 AI) 任務的基礎模型的挑戰。

• 課程等級：進階
• 持續時間：5.5 小時

注意：本課程具有本地化的註釋/字幕。旁白保留英語。要顯示字幕，請按一下播放器右下角的 CC 按鈕。

活動

本課程內容包含文字說明、圖解式說明、知識檢測題目，以及可以在自己的 Amazon Web Services (AWS) 帳戶中執行的實驗影片示範。

課程目標

完成本課程後，資料科學家可以使用 SageMaker 自信地在 AWS 上建置、訓練和調校高效能語言模型。

在本課程中，您會了解如何進行下列事項：

• 套用儲存和擷取大量文字資料的最佳實務來支援分散式訓練
• 探索資料平行處理和模型平行處理函式庫以支援 SageMaker 上的分散式訓練
• 說明 SageMaker 上可用於加強訓練績效表現的選項，例如 Amazon SageMaker Training Compiler 和 Elastic Fabric Adapter (EFA)
• 探索大型語言模型 (LLM) 最佳化技術以進行有效的模型部署
• 示範如何微調 SageMaker Jumpstart 上提供的基礎模型

目標對象

本課程適用於下列角色：

• 資料科學家
• 機器學習 (ML) 工程師

先決條件

我們建議參加本課程的學員應具備：

• 1 年以上的自然語言處理 (NLP) 經驗
• 1 年以上訓練和調校語言模型的經驗
• 中級熟練度的 Python 語言程式設計能力
• 已完成 AWS Technical Essentials 課程
• 已完成 Amazon SageMaker Studio for Data Scientists 課程

課程大綱

課程系列簡介

第 1 節：簡介

• Building Language Models on AWS 簡介

第 2 節：大型語言模型基本概論

• 大型語言模型的類型
• 常見的生成式 AI 使用案例

第 3 節：課程系列大綱

• 未來單元涵蓋的主題

解決建置語言模型的挑戰

第 1 節：常見挑戰

• 常見 LLM 從業者挑戰

第 2 節：多機訓練解決方案

• 透過分散式訓練擴展 LLM
• 套用資料平行處理技術
• 套用模型平行處理技術

第 3 節：效能最佳化解決方案

• 效能最佳化技術
• 使用專用基礎設施

第 4 節：總結

• 單元評定

使用 Amazon SageMaker 訓練語言模型

第 1 節：設定 SageMaker Studio

• SageMaker 基礎知識
• 設定 SageMaker Studio 網域

第 2 節：SageMaker 基礎架構

• 選擇運算執行個體類型

第 3 節：使用 SageMaker Python SDK

• SageMaker Python SDK 基礎知識
• 使用 SageMaker Python SDK 訓練和部署語言模型

第 4 節：總結

• 單元評定

示範 - 設定 Amazon SageMaker Studio

擷取語言模型資料

第 1 節：準備資料

• 資料管理概觀
• 準備要擷取的資料

第 2 節：分析資料擷取選項

• 使用 SageMaker Python SDK 載入資料
• 從 Amazon S3 擷取資料
• 使用 FSx for Lustre 擷取資料
• 附加資料擷取選項
• 資料擷取和儲存考量

第 3 節：總結

• 單元評定

訓練大型語言模型

第 1 節：建立 SageMaker 訓練任務

• 啟動 SageMaker 訓練任務
• 修改指令碼模式的指令碼

第 2 節：SageMaker 訓練任務最佳化

• 監控與疑難排解
• 運算效能最佳化
• 用於語言模型訓練的 SageMaker 訓練功能

第 3 節：在 SageMaker 上使用分散式訓練

• SageMaker 分散式訓練支援
• 使用 SageMaker 分散式資料平行函式庫
• 使用 SageMaker 模型平行函式庫
• 使用 SageMaker 模型平行函式庫和分片資料平行處理
• 使用 EFA 進行訓練

第 4 節：編譯訓練程式碼

• 使用 SageMaker Training Compiler

第 5 節：總結

• 單元評定

示範 - 使用 Amazon SageMaker 訓練您的第一個語言模型

示範 - 使用 PyTorch Lightning 在 SageMaker 訓練上進行資料平行處理

示範 - 使用 Amazon SageMaker 模型平行處理庫中的碎片資料平行處理技術，透過近線性擴縮微調 GPT-2

部署語言模型

第 1 節：在 SageMaker 中部署模型

• SageMaker 部署簡介
• 選擇 SageMaker 部署選項

第 2 節：部署推論的模型

• 即時推論概觀
• 使用 SageMaker Python SDK 進行模型部署
• 使用 SageMaker 推論推薦網站

第 3 節：部署推論的大型語言模型

• 最佳化技術
• 模型壓縮技術
• 模型分割
• 最佳化核心及編譯
• 使用 SageMaker LMI 容器進行部署

第 4 節：其他考量

• 在 SageMaker 上部署模型時的其他考量

第 5 節：總結

• 單元評定

示範 - 使用 DeepSpeed 容器在 Amazon SageMaker 上託管 LLM 的簡介

為生成式 AI 任務自訂基礎語言模型

第 1 節：簡介

• 基礎模型簡介

第 2 節：使用 SageMaker JumpStart

• 開始使用 SageMaker JumpStart
• 使用 SageMaker Python SDK 部署 SageMaker JumpStart 模型
• 選取 FM

第 3 節：自訂 FM

• 提示工程設計
• 使用 SageMaker Python SDK 微調 JumpStart 模型

第 4 節：檢索增強生成 (RAG)

• 使用檢索增強生成 (RAG)

第 5 節：總結

• 單元評定

示範 - 使用 Amazon SageMaker JumpStart 部署用於文字生成任務的 FLAN-T5 模型

行動號召和其他資源

第 1 節：複習

• 本課程系列涵蓋的主題

第 2 節：總結

• 資源、回顧及後續步驟