Wakati mifano mikuu ya makampuni matatu makubwa ya AI — OpenAI, Anthropic na Google — inaposhindana uso kwa uso, ni nani anayejua zaidi kuendesha roboti?
Tarehe 20 Oktoba, RoboColiseum, uwanja wa mieleka wa akili iliyomo mwilini ulioanzishwa kwa pamoja na takriban taasisi 20 za elimu ya juu, makampuni na taasisi za utafiti kote duniani ikiwemo Mifeng Technology, Hugging Face, NVIDIA na Chuo Kikuu cha Tsinghua, ilitangaza matokeo ya awamu hii ya tathmini: Claude Opus 5.5 ilishika nafasi ya kwanza kwa jumla kati ya mifano minne mikuu, ikifuatiwa kwa karibu na GPT-6 Astra.
Kwa kupanga kwa vipengele, kati ya mifano minne mikuu, GPT-6 Astra iliongoza katika ufuataji wa maagizo na uhimili wa jumla wa misukosuko, ambapo alama ya ufuataji wa maagizo ilifikia 99.35; Opus ilifanya vizuri zaidi katika uelewa wa anga na uendeshaji wa jumla, na ikashika nafasi ya kwanza kwa jumla katika kundi la mifano mikuu kwa matumizi machache zaidi ya tokeni katika tathmini ya awamu zote. Katika majaribio ambapo ubora wa picha ulisumbuliwa, GPT-6.1 Sol ilibaki nyuma kwa wazi ikilinganishwa na mifano mingine mitatu, ikionyesha tofauti za uthabiti wa mifano mbalimbali katika kukabiliana na mabadiliko ya taarifa za kuona.
Lakini nafasi mbili za kwanza za jumla katika awamu hii bado zilichukuliwa na mifano ya mikakati iliyomo mwilini, hasa ikidumisha ubora katika kipengele cha uendeshaji wa jumla.
Pambano hili la uso kwa uso linatoa rejeleo la moja kwa moja kwa sekta kuona wazi faida na mapungufu ya uwezo wa mifano mikuu ya jumla na mifano ya mikakati iliyomo mwilini.
RoboColiseum, kwa kuzingatia ufuataji wa maagizo, uelewa wa anga, uhimili wa misukosuko na uendeshaji wa jumla, ilitoa orodha ndogo nne za uwezo na kazi 78 za tathmini ya uigaji wa hali ya juu, ambazo zinaonyesha utendaji wa mifano kwa vipengele na pia zinarekodi hatua za kukamilisha kazi na mahali pa kushindwa, kusaidia watengenezaji kubaini haraka mapungufu ya uwezo wa mifano.
Kama mwanzilishi mwenza, Mifeng ilitoa kwa RoboColiseum rasilimali za vitu vya hali ya juu na mandhari ya uigaji, kusaidia kujenga mazingira ya tathmini ya kazi changamano za uendeshaji wa roboti, na kutoa rasilimali za msingi kwa ajili ya majaribio ya uwezo wa mifano chini ya mwingiliano wa vitu mbalimbali, mpangilio wa anga na hali za mazingira.
Iwapo alama za mifano katika uigaji zinaweza kuakisi utendaji halisi wa uendeshaji ni swali muhimu pia kwa tathmini. Kulingana na matokeo ya majaribio halisi yaliyotangazwa na jukwaa, uwiano kati ya tathmini ya uigaji ya RoboColiseum na usambazaji halisi wa mashine ulifikia 89.5%, na tofauti ya tathmini kati ya uigaji na ulimwengu halisi kwa modeli hiyo hiyo ilikuwa chini ya 10%, jambo ambalo linaweza kutoa rejeleo kwa uchujaji wa mifano na ubaini wa matatizo kabla ya watengenezaji kuingia kwenye majaribio ya mashine halisi.
Mifeng Technology inatoa mfumo wa ugavi wa data "kamili, bora na wa haraka" unaojumuisha aina tatu kuu za data: mashine halisi, uigaji na bila mwili. Upande wa uigaji, Mifeng inatoa aina mbili za rasilimali — rasilimali za vitu na rasilimali za mazingira — zinazojumuisha vitu mbalimbali vya kila siku na mandhari ya ndani, na inatoa uwezo wa kujenga upya mandhari, kupata data ya njia za wataalamu na kuonyesha matokeo ya tathmini, kusaidia timu za mifano kufanya mafunzo na tathmini mbalimbali.
Coliseum awali ilimaanisha uwanja wa mviringo wa mieleka wa Roma ya kale; RoboColiseum inatumia taswira hii kujenga mfumo wa tathmini wa mfumo wenye vipimo vingi, kwa tathmini ya uigaji inayolingana sana na utendaji wa mashine halisi, kuijengea mifano ya akili iliyomo mwilini "uwanja wa mieleka" na "uwanja wa mafunzo" wa wazi, usioegemea upande wowote na unaoweza kurudiwa. Chuo kikuu chochote, taasisi ya utafiti au mtengenezaji wa kampuni anaweza kuwasilisha modeli yake kupokea "mtihani" wa viwango sanifu. Tangu kuzinduliwa mwezi Agosti, zaidi ya timu 100 za ndani na nje ya nchi zimefanya mafunzo ya mifano na tathmini kwenye jukwaa.
RoboColiseum sasa imefunguliwa kwa watengenezaji duniani kote, na inakaribisha timu za mifano kushiriki katika tathmini.
