Dégénérescence textuelle : un défi pour les modèles de langage
Les modèles de langage autoregressifs peuvent entrer dans des boucles de génération répétitive, appelées dégénérescence textuelle, consommant une part disproportionnée du temps d'inférence. Une étude sur DharmaOCR montre que moins de 3% des pages peuvent consommer près de la moitié du temps total.