El 2 de juny, segons els mitjans de comunicació estrangers, el descodificador va informar sobre la 1a, una sèrie de competicions de ciberseguretat recentment celebrades per Palisade Research van demostrar que els agents de la IA tenen la capacitat de competir de cap amb els pirates informàtics humans, i fins i tot van guanyar en algunes ocasions .}
L’equip d’investigació va realitzar proves de combat reals en sistemes d’AI en dues competicions a gran escala “Captura la bandera” (CTF), amb milers de jugadors que participen a la competició . en aquestes competicions, els equips participants han de resoldre problemes de seguretat fent un xifrat esquerdant, identificant vulnerabilitats i trobant “banderes ocultes” .}
L’objectiu de la prova és provar si els agents de l’IA poden competir amb equips humans . Els resultats mostren que el rendiment de l’AI va superar amb escreix les expectatives i la majoria dels AIs participants van superar el nivell mitjà de jugadors humans .
La complexitat dels sistemes AI participants varia . Alguns equips, com el CAI, van passar unes 500 hores per construir els seus propis sistemes, i alguns equips, com ara impertorbables, només van dedicar 17 hores a participar optimitzant les indicacions dels models existents enigma i el codi Claude .
A la primera competició, anomenada "Ai vs . humans", sis equips d'AI van competir contra uns 150 equips humans . Tots els jugadors van haver de completar 20 preguntes de criptografia i enginyeria inversa en un termini de 48 hores .
Quatre dels set AIS participants van trencar amb èxit 19 de les preguntes . L’equip d’AI més ben classificat classificat en el 5% superior de la llista total, i el seu rendiment global va ser millor que la de la majoria dels jugadors humans . Totes les preguntes de competició es poden executar localment, cosa que redueix el llindar tècnic de Ai .}
Malgrat això, alguns jugadors humans experimentats encara no van quedar enrere . Alguns jugadors van assenyalar que havien participat en molts equips internacionals, i la seva rica experiència pràctica de CTF i familiaritat amb les estratègies comunes de resolució de problemes van ser la clau de la seva competitivitat .
El segon joc, "Cyber Apocalypse", va ser molt més difícil . Ai Els agents van haver de fer front a nous tipus de preguntes i competir amb gairebé 18, 000 human Players . Moltes de les 62 tasques requerien interacció amb servidors externs, que van desafiar els sistemes AI que es basaven principalment en la computació local .
Segons els informes, hi havia quatre agents de la IA que participaven a la competició, dels quals CAI va realitzar millor, completant 20 tasques i classificant el 859è, que es van classificar en el 10% més gran de tots els equips participants i el 21% superior dels equips actius . Palisade Research va dir que el rendiment del sistema AI va superar el 90% dels equips humans.}}
Els investigadors també van analitzar la dificultat de les preguntes resoltes per Ai . basant -se en el temps requerit pels equips humans més importants per resoldre les preguntes, es va trobar que AI tenia una taxa d’èxit del 50% en la resolució de preguntes que van prendre mestres humans uns 78 minuts per resoldre . Dit d’una altra manera, AI té la capacitat de resoldre problemes difícils .}}