Arsitektur Memori AI: Dari Masalah Tembok Memori ke Peluang Baharu
Arsitektur memori AI ialah reka bentuk cara data model, set latihan dan pengiraan dialirkan antara pemproses dan pelbagai lapisan memori, termasuk HBM, DDR dan teknologi baharu seperti 3D-DRAM, bagi mengatasi jurang antara pertumbuhan kelajuan pengiraan dan kelajuan memori supaya latihan dan inference AI kekal cekap, rendah latensi dan berdaya kos untuk pusat data moden. Pertumbuhan saiz model bahasa dan set data memaksa syarikat melihat memori bukan lagi sebagai komponen sampingan, tetapi sebagai paksi utama dalam reka bentuk sistem AI. Pecutan TFLOPS bagi accelerator AI dianggarkan meningkat sekitar 3x setiap dua tahun, sedangkan jalur lebar memori 2.5D seperti HBM hanya naik kurang 2x dalam tempoh sama, menjadikan memori faktor utama mengehadkan prestasi. Jika kita terus berfikir seolah-olah memori hanyalah "RAM besar", pusat data AI akan kekal terperangkap di belakang tembok memori yang semakin tinggi.
Accelerator 3D-DRAM: d-Matrix Raptor dan Usaha Melepaskan Diri dari HBM
Pendekatan paling berani dalam arsitektur memori AI sekarang datang daripada accelerator 3D-DRAM. d-Matrix memperkenalkan Raptor, sebuah accelerator generative inference yang menumpukan compute di atas timbunan DRAM fizikal, bukan di sisi paket HBM. Raptor menggunakan die logik TSMC N4 di atas die 3D DRAM dengan teknik face-to-face 36 µm yang digambarkan sebagai proses terbukti, kos rendah, volume tinggi dan yield baik. Ini bukan pengulangan HBM; ia cubaan memutuskan kebergantungan kepada HBM dengan menggabungkan kapasiti dan jalur lebar dalam satu pakej yang disesuaikan untuk beban kerja inference AI efisien. Dalam konteks di mana cache KV bagi 64 pengguna dengan konteks 1M boleh mencecah sekitar 935 GB, masalah bukan sahaja kapasiti, tetapi juga jalur lebar dan tenaga. Dengan IO menegak 3D sekitar 0.3–0.4 pJ per bit, hampir 10x lebih rendah berbanding HBM 2.5–5 pJ, Raptor jelas bertaruh bahawa "memori di bawah compute" ialah masa depan inference generatif.
HBM untuk AI: SK hynix Mengasah Pembungkusan, Skalabiliti dan Terma
Walaupun 3D-DRAM cuba keluar daripada bayang-bayang HBM untuk AI, realitinya HBM masih tulang belakang banyak accelerator. SK hynix menumpukan usaha kepada pembungkusan HBM yang lebih skalabel dan cekap terma. HBM digambarkan sebagai struktur 3D-stacked dengan base die dan timbunan core dies sehingga 16 slice, duduk bersama GPU di atas interposer silikon dengan 1024 IO merentasi 16 saluran. Generasi baharu menaikkan kapasiti dan jalur lebar: HBM2E sekitar 460 GB/s, HBM3 717 GB/s, HBM3E 1024 GB/s, dan HBM4 menggandakan hingga 2048 GB/s merentasi 2048 IO. Menariknya, "HBM4 menyasarkan lebih 2 TB/s jalur lebar dengan peningkatan kecekapan tenaga lebih 40% dan rintangan terma yang lebih baik". Apabila ketinggian timbunan menghampiri 20 die, pengurusan haba menjadi kekangan, dan di sinilah SK hynix mengetengahkan hybrid bonding sebagai laluan untuk timbunan tinggi dengan pitch lebih sempit dan pengaliran haba lebih baik. Walaupun kos per GB lebih tinggi, mereka berhujah penggunaan HBM yang lebih meluas menjimatkan ruang, tenaga dan kos operasi pusat data.
Pendekatan Micron: Mengoptimum Data Movement dalam Latih dan Inference
Micron mengambil sudut berbeza: bukan sekadar satu jenis memori, tetapi ekosistem arsitektur memori AI yang mengurangkan latensi dan pergerakan data antara compute dan memori. Mereka merujuk "compute-efficient frontier" OpenAI untuk menunjukkan hubungan kuasa antara saiz model, saiz set data dan compute latihan; memori ialah sumber yang mengikat ketiga-tiga faktor. Dengan memposisikan HBM sebagai jambatan compute-memori, Micron menjejak peningkatan kapasiti kubus, jalur lebar dan kecekapan tenaga daripada HBM2E hingga HBM5. Dalam pakej tipikal GPU, luas silikon keseluruhan boleh melebihi 12,000 mm² apabila mengambil kira base die dan lapan HBM4, menjadikan silikon memori lebih 8x permukaan die GPU apabila menggunakan HBM4 12-high. Micron menegaskan bahawa untuk mencapai kapasiti HBM3E yang sama, kira-kira 3x lebih banyak silikon diperlukan berbanding DDR5 kerana kompleksiti reka bentuk, pembungkusan maju dan pembuatan. Kombinasi kapasiti yang beralih ke HBM dan permintaan pusat data AI mencetuskan "memory crunch", memaksa reka bentuk baharu yang menimbang bandwidth tinggi versus kos, terma dan kebolehpercayaan.
Implikasi Kos dan Strategi Pusat Data: Memori sebagai Tuil Utama Inference Efisien
Hakikat pahit untuk organisasi ialah inovasi memori secara langsung mengubah kos dan kebolehlaksanaan infrastruktur AI. Walaupun HBM untuk AI membawa kos per GB lebih tinggi, SK hynix menunjukkan bahawa lebih banyak penggunaan HBM menjimatkan ruang, tenaga dan kos operasi melalui pengurangan tapak GDDR dan peningkatan jalur lebar serta kapasiti bagi setiap kad. Pada masa sama, pendekatan seperti Raptor yang menggabungkan jalur lebar dan kapasiti dalam satu pakej membuka peluang untuk inference AI efisien dengan latensi rendah dan penggunaan tenaga lebih terkawal. Micron pula mengingatkan bahawa kita sebenarnya "membakar" sekitar 3x lebih banyak silikon untuk kapasiti HBM3E berbanding DDR5, lalu keputusan reka bentuk memori ialah keputusan kos sistem, bukan sekadar spesifikasi teknikal. Kesimpulannya, pusat data yang bijak tidak lagi bertanya pemproses mana paling laju, tetapi arsitektur memori AI mana yang memberi nisbah terbaik antara prestasi, tenaga dan kos jangka panjang. Dalam era model gergasi, memori ialah tuil sebenar yang menentukan sama ada AI boleh disebarkan secara meluas atau kekal sebagai mainan segelintir gergasi teknologi.
