規劃及建立 AI 基礎架構

本文總結如何在 AI Hypercomputer 上為 AI 工作負載建立叢集。具體來說，這份文件會引導您完成啟動叢集時的程序和選擇。

本文件假設您熟悉 AI 和機器學習工作負載的常用術語，例如模型訓練和推論。此外，我們也假設您已確定需要判斷最佳機器類型和容量需求的特定 AI 工作負載，例如基礎模型預先訓練、微調或推論。

啟動叢集

啟動叢集的步驟如下：

  1. 判斷工作負載並選擇機型
  2. 選擇計費模式並取得運算資源
  3. 選擇部署選項
  4. 挑選自動調度管理工具
  5. 選擇作業系統和叢集映像檔
  6. 建立叢集
  7. 為工作負載佈建儲存空間

如要在建立叢集前進行互動式規劃，請在 Compute Advisor 中執行下列提示：

Compute Advisor Compute Advisor 是採用 AI 賦能技術的助理，可根據配額限制、現有預留項目和資源位置限制等資訊，提供自訂的基礎架構建議。

這項提示會評估專案的配額和預留項目、逐步引導您完成叢集規劃步驟，並輸出 Markdown 摘要表格，其中包含建議的設定和指令。

你是 AI 基礎架構架構師。請根據我的專案配額、有效預留項目和可用區域，協助我在 AI Hypercomputer 規劃及建立 AI 叢集。

請提供完整的設定計畫，涵蓋下列步驟：

1. 判斷工作負載和機型：檢查專案的 GPU 配額和預留項目，並將工作負載與目前可用的叢集式 GPU 或一般 GPU 機器系列配對。

2. 選擇使用模式並取得容量：根據專案容量、目標時間長度和 VM 的機器系列，比較目前和可用的使用模式及其特定特性。

3. 選擇部署選項：比較代管部署工具 (Cluster Director、Cluster Toolkit 和 GKE) 與 Compute Engine 代管執行個體群組 (MIG) 或大量執行個體部署。

4. 選擇自動調度管理工具：為我的部署作業推薦 Slurm、GKE 或自訂自動調度管理工具。

5. 選擇 OS 和叢集映像檔：根據我選取的自動調度管理工具和 GPU 機器系列，推薦相容的容器或加速器 OS 映像檔。

6. 建立叢集：提供現成的 gcloud CLI 指令或部署工作流程，以便佈建叢集。

7. 佈建儲存空間：針對我的工作負載，推薦相容的平行檔案系統、共用檔案儲存空間、區塊儲存空間集區或物件儲存庫選項。

請將輸出內容格式化為 Markdown 摘要表格，每個步驟一行，並附上建議的 gcloud CLI 指令。最後，請提出 2 到 3 個關於 AI 工作負載和目標規模的問題，以便調整計畫。
在 Compute Advisor 編輯及執行提示

判斷工作負載並選擇機型

選取 AI 工作負載的機器類型。AI Hypercomputer 支援為叢集式 GPU 和一般 GPU 建立叢集。

為協助您選擇，請先判斷工作負載需求，並與建議的機型和 GPU 類型進行比對：

  • 叢集式 GPU：最適合大規模、高效能的工作負載，例如預先訓練基礎模型、微調大型模型，以及跨多部主機推論。
  • 一般 GPU：最適合主流推論和服務、檢索增強生成 (RAG)，以及符合成本效益的中小型模型訓練和微調。

請參閱下表，根據工作負載選擇建議的機型：

GPU 類型 工作負載或用途 建議的機型
叢集式 GPU 預先訓練基礎模型，並在多部主機上執行推論 A5X (NVIDIA Vera Rubin)*、A4X Max (NVIDIA GB300)*、A4X (NVIDIA GB200)*
大型模型訓練、微調和推論 A4 (NVIDIA B200)、A3 Ultra (NVIDIA H200 141 GB)
主流模型推論和微調 A3 Mega (NVIDIA H100 80 GB)、A3 High (NVIDIA H100 80 GB)
一般 GPU 高處理量邊緣服務和推論 A3 Edge (NVIDIA H100 80GB)
高效能單一節點服務和小規模微調 A2 (NVIDIA A100)
最具成本效益的入門級推論 G4 (NVIDIA RTX PRO 6000)、N1 (NVIDIA T4 或 V100)
主流推論、檢索增強生成，以及中小型模型訓練 G2 (NVIDIA L4)

如要進一步瞭解各個機器系列，請參閱「關於 GPU 加速器」。

選擇用量方案並取得容量

請根據所選機型，以及您使用的是一般 GPU 還是叢集式 GPU，選擇 GPU 資源的使用模式。

一般 GPU 的計費模式

計費方案 適用的裝置 適用情境 如何提出要求
以量計價 所有一般 GPU。 不需要保證容量的工作負載。 建立運算執行個體或叢集，並指定標準佈建模式。如需操作說明，請參閱「建立 VM 執行個體」。

提示：如要提高取得一般 GPU 容量的機率，請使用彈性啟動或 Spot。
標準預留項目和標準未來預留項目 所有一般 GPU。 需要立即 (標準預留項目) 或在未來特定日期 (標準未來預留項目) 確保容量的工作負載。 建立隨需預留項目或未來預留項目要求。如需操作說明，請參閱「預留容量」。
彈性啟動 除了 A5X、A4X Max 和 A4X 以外的所有 GPU 機型。 需要短期密集叢集的工作負載，最長可持續七天。提供密集資源分配，支援的機型可享高達 53% 的折扣，否則適用標準隨選費率。 使用 Compute Engine、Cluster Director、Cluster Toolkit 或 GKE 建立要求。資源會在可用時立即佈建 (開始時間並非立即)。如需操作說明，請參閱「取得容量」。
Spot 除了 A5X、A4X Max 和 A4X 以外，所有 GPU 機型。 容錯、批次或短期工作負載。提供最大幅度的折扣 (61% 至 90%)，但運算資源隨時可能遭到占用。 使用 Spot 佈建模式，立即建立執行個體或節點集區。如需操作說明，請參閱「取得容量」。

叢集式 GPU 的使用選項

計費方案 適用的裝置 適用情境 如何提出要求
容量區塊的未來預留項目 所有叢集式 GPU 和 A3 Edge 機型。 需要長期穩定執行的工作負載，例如預先訓練基礎模型，或跨多部主機執行基礎模型推論。這個預留方法提供密集資源分配和選用的 Hyperdisk 集區，如果預留資源 365 天以上，還可享有 vCPU、記憶體、GPU、本機 SSD 磁碟和 Hyperdisk 集區的折扣。 透過 Google 帳戶團隊要求未來日期和時間的資源，且時間長度為 90 天以上。
日曆模式的未來預留項目 除了 A5X、A4X Max 和 A4X 以外的所有叢集式 GPU。 執行時間不超過 90 天且需要穩定性的工作負載，例如預先訓練或微調模型。提供密集資源分配，以及高達 53% 的折扣。 建立未來日期和時間的自助預留項目要求； Google Cloud 必須核准要求。如需操作說明，請參閱「預留容量」。
彈性啟動 除了 A5X、A4X Max 和 A4X 以外的所有 GPU 機型。 需要短期密集叢集的工作負載，最長可持續七天。提供密集資源分配，支援的機型最多可享 53% 折扣，否則適用標準隨選費率。 使用 Compute Engine、Cluster Director、Cluster Toolkit 或 GKE 建立要求。資源會在可用時立即佈建 (開始時間並非立即)。如需操作說明，請參閱「取得容量」。
Spot 除了 A5X、A4X Max 和 A4X 以外的所有 GPU 機型。 容錯、批次或短期工作負載。提供最大幅度的折扣 (61% 至 90%)，但運算資源隨時可能遭到先占。 使用 Spot 佈建模式，立即建立執行個體或節點集區。如需操作說明，請參閱「取得容量」。

選擇部署選項

視您對叢集部署作業所需的控管程度，選擇下列其中一個選項：

高度管理

高度代管的部署選項可自動設定及調度管理運算、網路和儲存空間資源，減少叢集管理工具的營運負擔。如要部署及設定基礎架構，請使用 Cluster Director、Cluster Toolkit 或 GKE。

  • Cluster Director：這項Google Cloud 產品可自動完成複雜的叢集設定，協助您設定叢集的運算、網路和儲存空間資源，盡可能提高效能並縮短停機時間。Cluster Director 專為 IT 管理員和 AI 研究人員設計，可避免管理叢集的負擔，專注於執行工作負載。

  • Cluster Toolkit：Google 提供的開放原始碼工具，可簡化 GKE 或 Compute Engine 的叢集設定和部署作業。您可以使用預先定義的藍圖部署常見設定，例如搭配 Slurm 的 A4 機器類型。您可以修改藍圖，自訂部署作業和軟體堆疊。

  • GKE：代管式 Kubernetes 服務和開放原始碼容器自動化調度管理平台。GKE 提供自動調度資源和高可用性等功能。此外，GKE 還能自動調度管理容器化應用程式、支援專用硬體，並與 Google Cloud生態系統相容，非常適合部署及管理 AI 或機器學習工作負載。您可以直接使用 GKE 或 Cluster Toolkit 部署 GKE 叢集。

代管程度較低，控管程度較高

如要更精細地控管叢集和叢集上安裝的軟體，請使用代管 Compute Engine 執行個體群組 (MIG) 建立 Compute Engine 叢集，或大量建立執行個體。然後在執行個體上手動安裝所需的重要軟體。

選擇自動調度管理工具

自動調度管理工具會自動管理叢集。有了自動調度管理工具，您就不必管理叢集中的每個運算執行個體。Slurm 或 GKE 等自動調度管理工具會處理工作佇列、資源分配、自動調度資源 (GKE) 等工作，以及其他日常叢集管理工作。

  • Slurm：Slurm 是開放原始碼自動調度管理工具，常用於 HPC、AI 或機器學習工作負載。如要使用代管 Slurm 服務，請使用 Cluster Director。如要原生使用 Slurm，您可以使用 Cluster Toolkit (提供可在叢集上自動安裝 Slurm 的叢集藍圖)，也可以在 Compute Engine 叢集上手動安裝 Slurm。

  • GKE：GKE 是以 Kubernetes 為基礎建構的代管服務，Kubernetes 是開放原始碼容器自動化調度管理平台。GKE 具備容器化應用程式自動化調度管理功能、支援專用硬體，且在 Google Cloud生態系統中占有一席之地，因此非常適合用於部署及管理 AI 或機器學習工作負載。您可以直接使用 GKE 或 Cluster Toolkit 部署 GKE 叢集。

  • 使用自有的自動調度管理工具：如要使用其他自動調度管理工具，或在沒有排程器的情況下執行工作負載，請選擇下列其中一個選項：

    • Cluster Director 中的代管運算叢集：自動化虛擬私有雲 (VPC) 和 RDMA 網路、共用儲存空間掛接，以及 Compute Engine MIG 的生命週期管理。詳情請參閱「Cluster Director 中的代管運算自動化調度管理」。
    • Compute Engine 叢集：提供 Google Cloud上代管程度最低的選項。如果選擇這個選項，您必須負責設定、維護及更新執行個體、網路和儲存空間。

選擇作業系統映像檔

應使用的映像檔取決於您使用的 GPU 基礎架構 (叢集式 GPU 或一般 GPU)，以及您打算如何部署叢集 (GKE、Slurm 或 Compute Engine)。如果是 GKE 叢集，請使用 Container-Optimized OS。如果是 Compute Engine 和 Slurm 叢集，請選取針對加速器 (例如 GPU) 最佳化的作業系統映像檔。此外，您也可以為工作負載選取深度學習軟體層 (DLSL) 容器映像檔。

詳情請參閱「AI Hypercomputer 映像檔」。

GKE 叢集適用的映像檔

如要建立 GKE 叢集，請使用 Standard 和 Autopilot 模式的預設容器 OS 映像檔。不過，在 Standard 模式下，您也可以選擇使用其他可用的映像檔，例如 Ubuntu。

如果使用 Cluster Toolkit 部署叢集，則只能使用容器 OS 映像檔，因為這些是內建於叢集藍圖的映像檔。如要進一步瞭解各個節點映像檔，請參閱 GKE 說明文件中的「節點映像檔」。

GKE 也提供深度學習軟體層 (DLSL) 容器映像檔，可安裝 NVIDIA CUDA 和 NCCL 等套件，以及 PyTorch 等機器學習框架，為深度學習工作負載提供立即可用的環境。這些預先建構的 DLSL 容器映像檔經過測試和驗證，可在 GKE 叢集上順暢運作。

Compute Engine 叢集適用的 OS 映像檔

AI Hypercomputer 提供經過最佳化的映像檔，可使用 Compute Engine 執行 AI 和機器學習工作負載。選擇您最熟悉的 OS：

  • Rocky Linux 9 加速器
  • Rocky Linux 8 加速器
  • Ubuntu 24.04 LTS 加速器
  • Ubuntu 22.04 LTS 加速器

如果您使用 Cluster Toolkit，這些加速器映像檔已與 Cluster Toolkit 藍圖組合，因為 Cluster Toolkit 會建立自訂映像檔，擴充 Ubuntu LTS 加速器 OS 映像檔。

如要進一步瞭解各個 OS 映像檔，請參閱 Compute Engine 說明文件中的「作業系統詳細資料」。

建立叢集

查看叢集建立程序並初步決定工作負載後，請使用下列其中一種方式建立叢集：

為工作負載佈建儲存空間

根據效能、成本和儲存空間架構需求，選擇要佈建的儲存空間服務。