Golden Finance a rapporté qu’OpenAI a publié les dernières recherches, en utilisant la surveillance CoT (chaîne de pensée), il peut prévenir les comportements malveillants tels que les grands modèles qui disent des bêtises et cachent les véritables intentions, et c’est également l’un des outils efficaces pour superviser les super modèles. OpenAI utilise le nouveau modèle de pointe o3-mini comme objet surveillé, et le modèle GPT-4o, plus faible, comme moniteur. L’environnement de test est une tâche de codage qui nécessite que l’IA implémente des fonctionnalités dans la base de code pour réussir les tests unitaires. Les résultats ont montré que le moniteur CoT a bien réussi à détecter les comportements systématiques de « piratage de récompense », avec un taux de rappel allant jusqu’à 95 %, dépassant de loin les 60 % de comportements qui ont été uniquement surveillés.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
OpenAI lance la surveillance CoT pour arrêter le comportement malveillant des grands modèles
Golden Finance a rapporté qu’OpenAI a publié les dernières recherches, en utilisant la surveillance CoT (chaîne de pensée), il peut prévenir les comportements malveillants tels que les grands modèles qui disent des bêtises et cachent les véritables intentions, et c’est également l’un des outils efficaces pour superviser les super modèles. OpenAI utilise le nouveau modèle de pointe o3-mini comme objet surveillé, et le modèle GPT-4o, plus faible, comme moniteur. L’environnement de test est une tâche de codage qui nécessite que l’IA implémente des fonctionnalités dans la base de code pour réussir les tests unitaires. Les résultats ont montré que le moniteur CoT a bien réussi à détecter les comportements systématiques de « piratage de récompense », avec un taux de rappel allant jusqu’à 95 %, dépassant de loin les 60 % de comportements qui ont été uniquement surveillés.