Krisis memori AI HBM: Bila inovasi mula dipaksa pasaran
Krisis memori AI HBM ialah keadaan apabila permintaan melampau terhadap memori jalur lebar tinggi untuk GPU AI mengalihkan kapasiti kilang daripada RAM biasa, menyebabkan lonjakan harga mendadak, tekanan pada kos infrastruktur AI dan awan, serta memaksa industri mencari arsitektur memori alternatif seperti 3D-DRAM untuk mengimbangi semula prestasi, kapasiti dan kos jangka panjang.
Musim luruh ini, sebuah penyedia awan besar mengumumkan kenaikan harga pada kebanyakan pelayan kerana kos memori dan storan melambung sejak pertengahan 2025. Dalam tempoh setahun, indeks kos memori mereka melonjak ke 604 berbanding asas Jun 2025, manakala SSD naik ke 323 dan cakera keras ke 148. Puncanya jelas: tiga pembekal RAM utama menukar kilang kepada memori AI HBM yang menghidangkan GPU dengan margin lebih tinggi, mengorbankan DDR4 dan DDR5 biasa. Kesan rantaiannya kasar – bukan sahaja pusat data AI, tetapi semua pelayan awam dan aplikasi harian terasa bahangnya.
"Bulan ini, Jun 2026, kami membayar 6x harga RAM berbanding Jun 2025, dan ramalan awal 2027 mencecah 12x," kata pengasas penyedia awan itu. Lonjakan memori ini, yang dijangka berlarutan sehingga 2028, menandakan satu perkara: arsitektur memori tradisional tidak lagi cukup; kita perlukan reka bentuk baharu yang tidak menjadikan HBM satu-satunya jalan ke depan.
Bagaimana kenaikan 6x harga RAM menghentam pengguna awan
Krisis ini bukan masalah jurutera pusat data semata-mata; ia sudah sampai ke bil pelanggan. Dengan RAM kini 6 kali lebih mahal berbanding tahun lalu dan dijangka 9 kali ganda pada September serta 12 kali ganda pada awal 2027, penyedia awan hampir tiada ruang untuk menyerap kos. Penyewa pelayan gaming edisi 2026 berdepan kenaikan harga paling teruk, iaitu 87%, sementara siri pelayan lain yang lebih baharu naik 40–59% bermula September.
Pelanggan yang masih pada perkakasan 2024 memang masih naik harga, tetapi jauh lebih kecil – kira-kira tiga hingga enam kali lebih rendah daripada pesanan pelayan baharu. Namun dua kali kenaikan dalam tempoh enam bulan menjadikan perancangan kapasiti seperti rundingan berterusan, memaksa pengguna perniagaan menilai semula bajet dan kontrak jangka panjang mereka. Sementara itu, kapasiti kilang memori terus dialih ke HBM untuk pusat data AI, mengukuhkan lagi kekurangan komponen biasa dan menolak biaya infrastruktur AI, lalu seluruh ekosistem awan ke zon kos tinggi.
d-Matrix Raptor: arsitektur 3D-DRAM yang cuba memutuskan ketagihan HBM
Di pentas Hot Chips, jawapan paling berani terhadap bottleneck HBM datang daripada chip akselerator AI baharu: d-Matrix Raptor 3D-DRAM. Raptor direka khusus untuk inferens generatif dan cuba membebaskan AI daripada ketergantungan memori AI HBM dengan menyatukan kapasiti dan jalur lebar dalam satu pakej. Caranya bukan tambah lebih banyak HBM di sekeliling GPU, tetapi menumpuk logic terus di atas DRAM — arsitektur 3D-DRAM sebenar, bukan sekadar pemasangan 2.5D biasa.
Secara teknikal, Raptor menggunakan die logic TSMC N4 di atas die 3D-DRAM melalui sambungan face-to-face 36 µm yang digambarkan sebagai proses terbukti, kos rendah, volum tinggi dan hasil baik. Dengan IO 3D menegak yang menjimatkan tenaga sekitar 0.3–0.4 pJ per bit — kira-kira 10 kali lebih cekap berbanding HBM kerana laluan milimeter tanpa PHY, bukan laluan sentimeter atas interposer — arsitektur 3D-DRAM ini menyasarkan titik tengah ideal antara SRAM yang laju tapi kecil dan HBM yang besar tapi haus kuasa. Jika ia menutup jurang jalur lebar memori, penimbang kapasiti vs bandwidth dalam reka bentuk akselerator AI akan berubah sepenuhnya.
SK hynix & Micron: mengukuhkan, bukan menolak, dominasi HBM
Walaupun 3D-DRAM ala Raptor kedengaran seperti jalan keluar daripada HBM, dua gergasi memori memilih strategi berbeza: menggandakan komitmen terhadap memori AI HBM tetapi dengan pembungkusan dan arsitektur baharu. Dalam pembentangan mereka, SK hynix menumpu kepada HBM dan teknik packaging lanjutan, menerangkan bagaimana HBM adalah struktur 3D-stacked dengan base die dan timbunan core die sehingga 16 lapisan, duduk bersama GPU pada interposer silikon 2.5D dengan 1024 IO merentasi 16 saluran.
Setiap generasi HBM menaikkan kapasiti, jalur lebar dan kecekapan kuasa: daripada HBM2E 460 GB/s ke HBM3 717 GB/s, HBM3E 1024 GB/s, hinggalah HBM4 yang menggandakan kepada 2048 GB/s dengan 2048 IO. Untuk masa depan, SK hynix menonjolkan hybrid bonding sebagai laluan ke timbunan 20 lapisan atau lebih, jalur lebar lebih besar dengan pitch bump lebih sempit, serta terma yang lebih baik.
Micron pula meletakkan HBM sebagai "compute-memory bridge" yang mengikat skala saiz model, data latihan dan compute untuk LLM, sambil mengakui kewujudan "memory wall" di mana TFLOPS akselerator naik kira-kira 3x setiap dua tahun tetapi jalur lebar HBM 2.5D kurang daripada 2x dalam tempoh sama. Bagi Micron, arsitektur memori masa depan bergilir di sekitar HBM2e hingga HBM5, dengan pakej GPU moden boleh mencecah lebih 12,000 mm² apabila lapan HBM4 12-high digabungkan — bukti bahawa silikon memori kini lebih besar daripada die GPU itu sendiri.
Apa maknanya untuk kos infrastruktur AI dan pengguna akhir
Persoalan penting untuk pembangun dan syarikat bukanlah sekadar teknologi mana lebih mengagumkan, tetapi mana yang akhirnya merendahkan biaya infrastruktur AI. Ketika kapasiti kilang dialih ke HBM dan pusat data AI menyedut sebahagian besar pengeluaran, kekurangan memori biasa mencetuskan krisis harga sekarang. Tanpa perubahan arsitektur, pengguna akan terus menanggung kenaikan harga pelayan gaming 87% dan pelayan lain 40–59% yang berpunca daripada tekanan kos memori.
Di sinilah arsitektur 3D-DRAM seperti Raptor menawarkan naratif balas: dengan menggabungkan logic dan DRAM dalam satu chip akselerator AI, ia berpotensi mengurangkan keperluan kepada berbilang timbunan HBM ultra-mahal, memotong penggunaan kuasa per bit dan mengurangkan saiz pakej. Pada masa sama, pendekatan SK hynix dan Micron yang mengoptimumkan packaging dan generasi HBM baharu boleh menurunkan kos operasi setiap unit compute walaupun kos per GB HBM kekal tinggi.
Kesimpulannya, krisis memori AI HBM ialah paksaan pasaran yang sihat: ia memaksa ekosistem menganggap memori sebagai komponen strategik, bukan aksesori murah. Sesiapa yang berjaya menggabungkan jalur lebar tinggi, kapasiti besar dan kos terkawal — sama ada melalui arsitektur 3D-DRAM baharu atau evolusi HBM pintar — akan menentukan harga AI dan awan yang kita bayar dalam beberapa tahun akan datang.
