英偉達(dá) CUDA 迎來(lái)二十年最大更新！

2025-12-08 17:21

近日，英偉達(dá)推出 CUDA 13.1。官方稱這是 CUDA 平臺(tái)自二十年前發(fā)明以來(lái)規(guī)模最大、最全面的更新。更新功能包括 NVIDIA CUDA Tile 的發(fā)布、運(yùn)行時(shí) API 公開綠色上下文、NVIDIA cuBLAS 中的雙精度和單精度仿真等。

僅在 CUDA 13.1 上線兩天前，英偉達(dá)推出一款基于 tile 的編程模型—— CUDA Tile。官方宣稱，這是 CUDA 平臺(tái)自 2006 年創(chuàng)立以來(lái)最大的進(jìn)步。

模型將專注于以更高層次編寫算法，并抽象化專用硬件（例如張量核心）的細(xì)節(jié)。

CUDA 為開發(fā)者提供了一種單指令多線程 (SIMT) 硬件和編程模型，使開發(fā)者能夠以最大的靈活性和精確性對(duì)代碼的執(zhí)行方式進(jìn)行細(xì)粒度控制。

張量已成為一種基礎(chǔ)數(shù)據(jù)類型。NVIDIA 開發(fā)了專門用于處理張量的硬件，但需要更多軟件來(lái)輔助發(fā)揮這些功能。CUDA Tile 提煉了張量核心及其編程模型，從而使 CUDA Tile 的代碼能夠兼容當(dāng)前和未來(lái)的張量核心架構(gòu)。

CUDA Tile IR：Tile 編程的基礎(chǔ)

CUDA Tile 的基礎(chǔ)是 CUDA Tile IR。CUDA Tile IR 引入了一套虛擬指令集，使得開發(fā)者能夠以 tile 操作的形式對(duì)硬件進(jìn)行原生編程，后可在多代 GPU 上高效執(zhí)行。

開發(fā)者只需將數(shù)據(jù)并行程序劃分為 tile 和 tile 塊，CUDA Tile IR 便會(huì)負(fù)責(zé)將這些塊映射到硬件資源，例如線程、內(nèi)存層次結(jié)構(gòu)和張量核心。

通過(guò)提升提取的層次，CUDA Tile IR 使用戶能夠?yàn)?NVIDIA 硬件構(gòu)建更高級(jí)別的硬件專用編譯器、框架和領(lǐng)域特定語(yǔ)言 (DSL)。

值得注意的是，SIMT 和分塊編程可以共存。使用 SIMT 的同時(shí)可以像往常一樣編寫內(nèi)核。當(dāng)使用張量核心時(shí)，需要編寫分塊內(nèi)核。大多數(shù)開發(fā)者會(huì)通過(guò) NVIDIA cuTile Python 等軟件與 CUDA 瓦片編程進(jìn)行交互。

對(duì)于希望構(gòu)建自己的 DSL 編譯器或庫(kù)的開發(fā)者來(lái)說(shuō)，CUDA Tile IR 是與 CUDA Tile 進(jìn)行交互的接口。CUDA Tile IR 的文檔和規(guī)范包含了有關(guān) CUDA Tile IR 編程抽象、語(yǔ)法和語(yǔ)義的信息。

CUDA 軟件和服務(wù)更新

公開綠色上下文

綠色上下文允許用戶定義和管理不同的 GPU 資源分區(qū)，主要是流式多處理器 (SM)，并將一組特定的 SM 分配給特定的上下文。

當(dāng)應(yīng)用程序包含對(duì)延遲敏感且優(yōu)先級(jí)高于所有其他 GPU 工作的代碼時(shí)，通過(guò)將 SM 資源分配給專用的綠色上下文來(lái)處理此代碼，并將其余資源分配給另一個(gè)綠色上下文來(lái)處理其他代碼，可以確保有可用的 SM 隨時(shí)準(zhǔn)備進(jìn)行此計(jì)算。

內(nèi)存局部性優(yōu)化分區(qū)

內(nèi)存局部性優(yōu)化分區(qū) (MLOPart) 是 NVIDIA Blackwell 及更新 GPU 的一項(xiàng)功能。MLOPart 設(shè)備源自單個(gè)底層 GPU，但以多個(gè)設(shè)備的形式呈現(xiàn)，每個(gè)設(shè)備擁有更少的計(jì)算資源和更少的可用內(nèi)存。