Informaticieni de la Institutul de Securitate IA al guvernului britanic şi experţi de la universităţi precum Stanford, Berkeley şi Oxford au examinat peste 440 de teste de referinţă care oferă o importantă plasă de siguranţă. Ei au descoperit defecte care „subminează validitatea afirmaţiilor rezultate”, că „aproape toate ... au puncte slabe în cel puţin un domeniu”, iar scorurile rezultate ar putea fi „irelevante sau chiar înşelătoare”. Multe dintre criteriile de referinţă sunt utilizate pentru