Les benchmarks d'IA ignorent les désaccords humains, révèle Google
Une étude de Google Research révèle que les benchmarks d'IA ignorent systématiquement les désaccords humains. Les pratiques actuelles, avec trois à cinq évaluateurs par exemple, ne suffisent pas pour des résultats fiables.
Que faut-il retenir ?
- Les benchmarks actuels utilisent trois à cinq évaluateurs par exemple, ce qui est souvent insuffisant.
- Les chercheurs ont testé des milliers de combinaisons de budgets et de nombre d'évaluateurs.
- Pour des résultats fiables, il faut généralement plus de dix évaluateurs par exemple.
- La stratégie d'évaluation dépend de ce que l'on cherche à mesurer, comme l'accord majoritaire ou la variation totale.
Pourquoi cette nouvelle compte-t-elle ?
Cette étude remet en question les pratiques actuelles d'évaluation des modèles d'IA, montrant que les résultats peuvent être peu fiables avec trop peu d'évaluateurs. Les professionnels doivent ajuster leurs méthodes pour mieux capturer la diversité des opinions humaines, ce qui est crucial pour des comparaisons de modèles précises.
Public concerné : développeurs, entreprises
Combien d'évaluateurs sont nécessaires pour un benchmark d'IA fiable ?
Selon une étude de Google, il faut généralement plus de dix évaluateurs par exemple pour obtenir des résultats statistiquement fiables et capturer la diversité des opinions humaines.
Commentaires (0)
💡 Aucun lien externe ni code HTML accepté. Soyez respectueux. Les commentaires sont modérés avant publication.
Aucun commentaire pour le moment. Soyez le premier !