Etched sedang mengembangkan chip AI yang hanya menjalankan satu jenis model

Saat AI generatif menyentuh sejumlah industri yang semakin besar, perusahaan yang memproduksi chip untuk menjalankan model-model tersebut sangat diuntungkan. Nvidia khususnya, yang menguasai sekitar 70% hingga 95% pasar untuk chip AI, memiliki pengaruh besar. Penyedia cloud mulai dari Meta hingga Microsoft menghabiskan miliaran dolar pada GPU Nvidia, khawatir tertinggal dalam AI generatif.

Penyedia AI generatif tidak puas dengan status quo karena alasan yang bisa dimengerti. Sebagian besar kesuksesan mereka sangat bergantung pada kebijaksanaan produsen chip dominan. Sehingga bersama dengan investor skema opportunist, mereka sedang mencari perusahaan-perusahaan muda yang menjanjikan untuk menantang para pemain lama di pasar chip AI.

Etched adalah salah satu dari banyak perusahaan chip alternatif yang berjuang untuk mendapatkan tempat di meja bisnis ini — tetapi juga salah satu yang paling menarik. Diri ini baru berusia dua tahun, Etched didirikan oleh sepasang orang yang drop out dari Harvard, Gavin Uberti (mantan OctoML dan mantan Xnor.ai) dan Chris Zhu, yang bersama-sama dengan Robert Wachen dan mantan CTO Cypress Semiconductor Mark Ross berusaha menciptakan chip yang dapat melakukan satu hal: menjalankan model AI.

Yang tak lazim adalah bahwa chip Etched hanya menjalankan satu jenis model saja: transformer.

Transformer, yang diusulkan oleh tim peneliti Google pada tahun 2017, telah menjadi arsitektur model AI generatif yang dominan jauh.

Transformers merupakan tulang punggung model OpenAI yang menghasilkan video Sora. Mereka ada di jantung model penghasil teks seperti Claude dari Anthropic dan Gemini dari Google. Dan mereka juga memperkuat generator seni seperti versi terbaru dari Stable Diffusion.

“Pada tahun 2022, kami bertaruh bahwa transformers akan menguasai dunia,” kata CEO Etched, Uberti, kepada TechCrunch dalam sebuah wawancara. “Kami telah mencapai titik dalam evolusi AI di mana chip khusus yang dapat menunjukkan kinerja lebih baik dari GPU umum adalah tak terelakkan — dan para pengambil keputusan teknis dunia tahu ini.”

Chip Etched, yang disebut Sohu, adalah ASIC (sirkuit terpadu khusus aplikasi) — chip yang disesuaikan untuk aplikasi tertentu, dalam hal ini menjalankan transformers. Diproduksi menggunakan proses 4nm TSMC, Sohu dapat memberikan kinerja inferencing jauh lebih baik daripada GPU dan chip AI umum lainnya sambil mengonsumsi energi lebih sedikit, klaim Uberti.

“Sohu jauh lebih cepat dan lebih murah daripada bahkan GPU generasi berikutnya Nvidia Blackwell GB200 ketika menjalankan transformers teks, gambar dan video,” ungkap Uberti. “Satu server Sohu menggantikan 160 unit GPU H100 ... Sohu akan menjadi pilihan yang lebih terjangkau, efisien, dan ramah lingkungan bagi pemimpin bisnis yang memerlukan chip khusus.”

Bagaimana Sohu mencapai semua ini? Ada beberapa cara, tetapi yang paling nyata — dan intuitif — adalah pipa hardware dan software inferencing yang disederhanakan. Karena Sohu tidak menjalankan model non-transformer, tim Etched dapat menghilangkan komponen hardware yang tidak relevan untuk transformers sambil memotong overhead software yang biasanya digunakan untuk menerapkan dan menjalankan non-transformers.

Grafik dari Etched membandingkan performa hardware menjalankan model terbuka Meta Llama 70B.
Kredit Gambar: Etched

Etched tiba di momen titik balik dalam perlombaan infrastruktur AI generatif. Selain kekhawatiran biaya, GPU dan komponen hardware lain yang diperlukan untuk menjalankan model secara besar-besaran saat ini sangat rakus energi.

Goldman Sachs memprediksi bahwa AI siap untuk meningkatkan permintaan listrik pusat data sebesar 160% pada tahun 2030, berkontribusi pada peningkatan emisi gas rumah kaca yang signifikan. Para peneliti di UC Riverside, sementara itu, memperkirakan penggunaan AI global dapat menyebabkan pusat data menghisap 1,1 triliun hingga 1,7 triliun galon air tawar segar pada tahun 2027, berdampak pada sumber daya lokal. (Banyak pusat data menggunakan air untuk mendinginkan server).

Uberti secara optimis — atau bombastis, tergantung pada bagaimana Anda menginterpretasinya — mengemas Sohu sebagai solusi untuk masalah konsumsi industri ini.

“Singkatnya, para pelanggan masa depan kami tidak akan sanggup untuk tidak beralih ke Sohu,” kata Uberti. “Perusahaan bersedia mempertaruhkan Etched karena kecepatan dan biaya sangat penting bagi produk AI yang ingin mereka ciptakan.”

Namun, apakah Etched — dengan asumsi perusahaan ini mencapai tujuannya untuk membawa Sohu ke pasar massal dalam beberapa bulan mendatang — dapat berhasil ketika begitu banyak orang lain mengikutinya dengan cepat?

Meskipun Etched belum memiliki pesaing langsung saat ini, startup chip AI Perceive baru-baru ini memperlihatkan prosesor dengan akselerasi hardware untuk transformers. Groq juga telah banyak berinvestasi dalam optimasi yang spesifik untuk transformer pada ASIC-nya.

Tentu saja, jika transformer suatu hari kehilangan popularitas, apa yang akan dilakukan Etched? Uberti mengatakan bahwa, dalam hal itu, Etched akan melakukan yang wajar: merancang chip baru. Cukup wajar. Tetapi itu adalah langkah mundur yang cukup drastis, mengingat berapa lama dibutuhkan untuk membawa Sohu menjadi kenyataan.

Tidak satupun kekhawatiran ini menghalangi investor untuk menyalurkan sejumlah besar uang ke Etched.

Hari ini, Etched mengumumkan bahwa mereka telah menyelesaikan putaran pendanaan Seri A sebesar $120 juta yang dipimpin bersama oleh Primary Venture Partners dan Positive Sum Ventures. Dengan menambahkan total pendanaan Etched menjadi $125,36 juta, putaran ini melibatkan partisipasi investor angel berat seperti Peter Thiel (Uberti, Zhu, dan Wachen adalah alumni Beasiswa Thiel), CEO GitHub Thomas Dohmke, rekan pendiri Cruise (dan Bot Company) Kyle Vogt, dan salah satu pendiri Quora, Charlie Cheever.

Investor-investor ini diyakini percaya bahwa Etched memiliki kesempatan yang wajar untuk berhasil memperluas bisnisnya dalam penjualan server. Dan mungkin benar — Uberti mengatakan bahwa pelanggan yang belum disebutkan namanya telah memesan "puluhan juta dolar" dalam hardware sejauh ini. Peluncuran mendatang Sohu Developer Cloud, yang akan memungkinkan pelanggan untuk melihat-lihat Sohu melalui area bermain interaktif online, diharapkan akan mendorong penjualan tambahan, saran Uberti.

Namun, tampaknya masih terlalu dini untuk mengetahui apakah hal ini cukup untuk mendorong Etched dan tim 35 orangnya ke masa depan yang dibayangkan oleh para pendiri perusahaan ini. Segmen chip AI dapat menjadi keras bahkan dalam kondisi terbaik — lihat hampir-kegagalan terkenal dari startup chip AI seperti Mythic dan Graphcore, dan, terkait ini, penurunan pendanaan untuk ventura chip AI pada tahun 2023.

Uberti memberikan penawaran penjualan yang kuat, meski: “Generasi video, modulasi audio ke audio, robotika, dan kasus penggunaan AI masa depan lainnya hanya akan mungkin dengan chip yang lebih cepat seperti Sohu. Seluruh masa depan teknologi AI akan dibentuk oleh apakah infrastruktur dapat meluas.”