Super Mario Bros Digunakan untuk Benchmark AI

Menilai tingkat kecerdasan buatan (AI) memerlukan metode pengukuran yang andal. Menariknya, sebuah game klasik Nintendo yang dirilis puluhan tahun lalu kini menjadi alat uji AI. 

Para peneliti pun memanfaatkan Super Mario Bros untuk mengukur kemampuan AI dalam memahami dan menyelesaikan tantangan.

Super Mario Bros Dijadikan Standar Uji AI oleh Para Peneliti

Hao AI Lab, sebuah lembaga riset di University of California, San Diego, menguji kecerdasan berbagai model AI yang tersedia saat ini. 

Menariknya, alih-alih menggunakan metode tradisional, mereka justru memanfaatkan game klasik Super Mario Bros dari Nintendo sebagai alat ukur utama (via TechCrunch).

Hasil pengujian menunjukkan bahwa Claude 3.7 dari Anthropic menempati peringkat teratas dalam menyelesaikan tantangan di Super Mario Bros. Di posisi berikutnya, ada Claude 3.5. 

Sementara itu, Google Gemini 1.5 Pro dan ChatGPT 4o dari OpenAI terlihat mengalami kesulitan dalam menyelesaikan game tersebut.

Namun, perlu dicatat bahwa game yang digunakan dalam pengujian ini tidak dimainkan di konsol aslinya. Sebaliknya, game tersebut dijalankan melalui emulator yang terintegrasi dengan GamingAgent, sebuah perangkat lunak yang dikembangkan oleh tim peneliti di Hao AI Lab.

AI Diuji dengan Input Dasar dari Game

Setiap model AI yang diuji diberikan tugas sederhana, seperti bergerak, melompat, atau menghindari rintangan saat menghadapi musuh. 

Program bernama GamingAgent ini memungkinkan AI menerima instruksi dasar, yang kemudian dikonversi ke dalam kode Python untuk mengendalikan Mario di dalam permainan.

Menariknya, AI dengan pemikiran logis seperti ChatGPT-4o justru mengalami kesulitan dalam menyelesaikan game dibandingkan AI yang tidak berpikir kritis. 

Hal ini terjadi karena AI tersebut perlu 'berpikir' sebelum memberikan respons dalam bentuk input, yang akhirnya menghambat kelancaran permainan dan membuatnya tidak bisa dimainkan dengan optimal.

Secara teknis, ini masuk akal karena model seperti ChatGPT dirancang untuk analisis berbasis teks, bukan untuk merespons dalam hitungan milidetik seperti AI berbasis reinforcement learning, Bagaimana Menurutmu, Rett?