Isolation
Exécuter les expériences dans des environnements séparés, sans accès arbitraire aux systèmes sensibles.
Une recherche responsable et contrôlable
Limiter les permissions, isoler les expériences et prévoir l’arrêt : la sécurité fait partie intégrante de la méthode.
PRINCIPE NON NÉGOCIABLE
La puissance doit rester contrôlable
Plus un agent peut agir, exécuter du code ou coordonner d’autres agents, plus il faut définir les frontières de ce qu’il a le droit de faire.
Permissions minimales
N’accorder à chaque agent que les outils et données nécessaires à sa tâche.
Validation des changements
Exiger des revues et tests indépendants avant de modifier un modèle, un outil critique ou l’environnement.
Traçabilité et arrêt
Journaliser les actions importantes et conserver une capacité d’interruption effective.
RISQUES À TRAITER
Une sécurité qui s’évalue aussi
Erreur amplifiée
Plusieurs agents peuvent reproduire la même fausse hypothèse et lui donner une apparence de consensus.
Actions non prévues
Du code ou des outils mal délimités peuvent produire des effets extérieurs à l’expérience.
Optimisation trompeuse
Un système peut apprendre à maximiser un score sans résoudre réellement le problème.
Perte de compréhension
Une longue chaîne d’actions peut rendre difficiles l’attribution des décisions et la détection d’un incident.
Publier des résultats sans publier des dangers
L’ouverture scientifique est précieuse, mais certains détails opérationnels peuvent faciliter des abus. Les informations partagées doivent être évaluées en fonction de leur utilité scientifique et de leurs risques.
AI4ASI pourrait s’appuyer sur des principes de gestion des risques du NIST, une évaluation humaine proportionnée aux enjeux et des mécanismes de contrôle renforcés pour les systèmes autonomes.
« Un système de recherche digne de confiance doit accepter d’être arrêté, examiné et corrigé. »
POUR APPROFONDIR
Sources originales
Travaux de tiers, cités pour éclairer le domaine. Ils ne sont pas des réalisations d’AI4ASI.