Pertarungan daya komputasi AI memasuki babak kedua: dari persaingan kinerja chip XPU hingga sistem, listrik, pendinginan, dan jaringan menjadi medan pertempuran baru

Logika persaingan infrastruktur AI sedang mengalami perubahan mendasar.

Menurut Trading Desk Cepat Angin, tim riset Bank of America Securities merilis laporan setelah mengikuti KTT Global OCP, unit dasar komputasi daya AI telah ditingkatkan dari satu chip menjadi sistem rak server utuh, di mana suplai listrik, kapasitas pendinginan, dan konektivitas jaringan kini menggantikan performa chip itu sendiri sebagai variabel utama yang menentukan daya saing infrastruktur AI.

CEO AMD, Lisa Su, mengungkapkan di KTT tersebut bahwa selama dua tahun terakhir konsumsi token AI meningkat hingga 95 kali setiap bulannya. NVIDIA pun telah memindahkan kerangka desain sistemnya dari fokus pada kekuatan chip ke throughput token, jumlah token per watt, serta biaya per token. Perubahan narasi ini mencerminkan pergeseran mendalam pada dimensi persaingan seluruh industri. Bank of America Securities menunjukkan bahwa belanja modal AI kini berlangsung dari siklus produk tunggal ke siklus pembangunan infrastruktur lengkap.

Pembahasan di KTT menunjukkan bahwa kebutuhan akan infrastruktur AI belum menunjukkan tanda-tanda melambat. OCP sedang mempersiapkan teknologi untuk rak berkapasitas 1 megawatt (MW), pusat data tingkat gigawatt (GW), hingga kawasan multi-GW. CEO Broadcom, Hock Tan, sebelumnya mengatakan bahwa modal adalah faktor pembatas terbesar untuk ekspansi AI saat ini, namun pembahasan roadmap teknologi di lokasi KTT tidak menunjukkan adanya penyusutan karena hal ini.

Rak Server Jadi Unit Komputasi Baru, Optimasi Sistem Gantikan Persaingan Tingkat Chip

Tim riset Bank of America Securities menghadiri KTT Global OCP 2026 yang digelar di San Jose, dan dalam laporan mereka merangkum empat tema inti yang mewarnai keynote serta forum teknis sepanjang hari: sistem tingkat rak server kini menjadi unit komputasi baru pada infrastruktur AI; permintaan token AI terus tumbuh secara eksponensial, mendorong ekspansi kebutuhan komputasi dan penyimpanan secara bersamaan; konektivitas optik dan arsitektur Ethernet kini bergerak dari ekspansi horizontal (scale-out) ke skenario ekspansi vertikal (scale-up); suplai daya DC 800V, pemisahan memori berbasis CXL dan HBF (untuk cache KV), serta ekosistem dan framework kontrol terbuka kini menjadi teknologi utama yang memungkinkan pabrik AI generasi berikutnya.

Laporan tersebut menegaskan, fokus diskusi industri kini telah beralih dari hanya performa satu chip, menuju optimasi koheren sistem AI secara utuh yang meliputi daya komputasi, memori, jaringan, suplai listrik, dan orkestrasi perangkat lunak. Kemampuan mengembangkan infrastruktur AI secara efisien kini menjadi keunggulan kompetitif paling krusial antar perusahaan.

Konektivitas Optik Mampu Menjangkau Skala Scale-up, Daya Saing Optik Jarak Pendek CRDO Meningkat

Jaringan dan konektivitas merupakan tema struktural paling berkelanjutan pada KTT OCP kali ini. Broadcom terus mendorong Ethernet sebagai fondasi interoperabilitas tunggal di arsitektur AI scale-up, scale-out, dan scale-across, sementara sejumlah vendor juga menyoroti peningkatan signifikan pada konten optik di dalam dan antar rak server.

Salah satu fokus diskusi adalah jalur evolusi teknologi konektivitas scale-up dari kabel tembaga ke near-package optics (NPO), dan akhirnya menuju co-packaged optics (CPO). CRDO menyatakan bahwa produk optik jarak pendek mereka (ZF ALC) kini semakin unggul dari kabel tembaga baik dalam hal reliabilitas, konsumsi daya, maupun total biaya sistem.

Bank of America Securities menunjukkan bahwa peluang pasar Credo Technology (CRDO) di bidang optik scale-up masih diremehkan—mereka memperkirakan total bisnis optik CRDO akan melebihi USD 600 juta pada tahun fiskal 2027, dan produk scale-up NPO 6.4T akan memasuki tahap volume produksi pada tahun fiskal 2028.

Arsitektur Suplai Daya DC 800V Bangkit, Listrik dan Pendinginan Jadi Bottleneck Baru Infrastruktur

Listrik adalah topik utama lain di KTT ini. Delta dan NVIDIA bersama-sama memaparkan jalur migrasi teknologi menuju arsitektur DC 800V (800VDC)—dengan densitas daya rak server yang meningkat dari sekitar 145 kilowatt menuju 300 hingga di atas 500 kilowatt, arsitektur suplai daya generasi baru ini bertujuan meningkatkan efisiensi konversi listrik, menurunkan kehilangan energi, serta mempercepat penggelaran pabrik AI berskala GW.

Diskusi pada berbagai forum OCP menyimpulkan satu hal: di masa depan, kendala ekspansi infrastruktur AI akan berada pada ketersediaan listrik, kapasitas pendinginan, serta kapabilitas DC, bukan lagi pada pasokan chip silikon semata. Keterbatasan struktural inilah yang mendukung siklus pembangunan infrastruktur multi-tahun yang melintasi listrik, pendinginan, jaringan, dan komputasi, bukan hanya siklus pengadaan produk chip tunggal dalam jangka pendek.

Visibilitas Permintaan Berlanjut, Belanja Modal AI Masuk Siklus Panjang

Walaupun perdebatan tentang ROI investasi AI, model pembiayaan infrastruktur, dan keberlanjutan belanja modal AI jangka panjang masih berlangsung di kalangan investor, diskusi di KTT OCP kali ini tidak menunjukkan adanya signal pelambatan permintaan.

Lisa Su dari AMD menggunakan data peningkatan konsumsi token selama dua tahun terakhir yang mencapai 95 kali setiap bulan untuk menggambarkan ledakan permintaan inferensi AI. NVIDIA pun menempatkan throughput token dan efisiensi biaya sebagai indikator utama desain sistem, bukan lagi spesifikasi daya komputasi semata.

Dari sisi perencanaan kapasitas, OCP tengah menyiapkan teknologi untuk rak berkapasitas 1MW, fasilitas GW, hingga kawasan multi-GW. Siklus belanja modal AI pun telah beralih dari iterasi produk tunggal menjadi gelombang penuh pembangunan infrastruktur.