Perusahaan keamanan siber dan cloud computing, Akamai, baru-baru ini memperkenalkan layanan keren bernama Akamai Cloud Inference. Layanan ini tujuannya simpel banget, yaitu untuk membuat proses inferensi kecerdasan buatan (AI) lebih dekat dengan pengguna. Jadi, nih, gak perlu jauh-jauh lagi ke data center besar, karena Akamai Cloud Inference bawa AI langsung ke ujung jari kamu!
Jadi, inferensi dalam AI adalah proses di mana model AI dijalankan untuk menghasilkan output dari input baru. Jadi, gak ada lagi belajar, tapi langsung menggunakan apa yang udah dipelajari sebelumnya. Solusi keren dari Akamai ini cocok banget buat perusahaan yang butuh menjalankan model AI, seperti large language model (LLM), tanpa harus tergantung pada data center besar.
Menurut Adam Karon, si COO Akamai, mendekatkan data AI ke pengguna itu susah banget, apalagi kalau pake platform cloud lama. Tapi, dengan Akamai Cloud Inference, semua jadi lebih mudah dan efisien. Proses inferensi makin cepat dan efisien, yang sulit dicapai oleh arsitektur cloud tradisional.
Meskipun pelatihan LLM tetap dilakukan di data center besar, tapi inferensi akan makin banyak dilakukan di edge. Platform edge jadi kunci utama dalam mendukung kebutuhan AI modern dan membedakan Akamai dari penyedia cloud lainnya. Akamai Cloud Inference juga ngasih pondasi infrastruktur yang mendukung pengembangan dan penerapan beban kerja AI langsung dari sisi pengguna akhir.
Solusi baru dari Akamai ini katanya bisa memberikan throughput 3x lebih baik, mengurangi latensi hingga 2,5x, dan menghemat biaya hingga 86 persen dibandingkan dengan infrastruktur hyperscaler tradisional. Gila, kan?
