par Stéphane 
Près d’une vulnérabilité sur deux détectée uniquement par l’IA n’a été retrouvée qu’une seule fois lors de cinq analyses identiques.
Alors que les outils d’IA sont de plus en plus utilisés pour examiner du code et identifier des vulnérabilités, une nouvelle étude de Snyk révèle une limite majeure : leur manque de reproductibilité. Dans le cadre du benchmark Snyk VulnBench JS 1.0, les chercheurs ont réalisé 300 analyses de sécurité répétées sur les mêmes applications, avec les mêmes paramètres et les mêmes modèles d’IA, afin de mesurer la stabilité des résultats.
Principaux enseignements
Près de 50 % des vulnérabilités signalées uniquement par les modèles d’IA n’ont été détectées qu’une seule fois sur cinq exécutions identiques, illustrant une forte variabilité des résultats. À l’inverse, 85 % des vulnérabilités déjà référencées et correctement identifiées par les modèles ont été retrouvées lors des cinq exécutions, démontrant que les résultats les plus fiables concernent les vulnérabilités connues.
La meilleure configuration d’IA testée n’a retrouvé que 81 % des vulnérabilités de référence et a obtenu un score F1 de 75,4 %, laissant un écart significatif avec les outils SAST déterministes.
Ce que cela signifie pour les entreprises
L’étude montre que les modèles de langage peuvent constituer un complément précieux aux outils de sécurité applicative traditionnels en apportant une capacité de raisonnement et en identifiant parfois des problèmes supplémentaires. Toutefois, leur caractère probabiliste peut générer des résultats différents d’une exécution à l’autre. Pour les équipes de sécurité, cela signifie qu’il est encore prématuré de remplacer les outils de sécurité applicative traditionnels par des revues de code réalisées exclusivement par l’IA.
Les résultats de Snyk indiquent plutôt que la stratégie la plus efficace consiste à combiner l’IA et les outils SAST déterministes, chacun permettant de détecter des catégories de vulnérabilités différentes. Les entreprises cherchent légitimement à tirer parti de l’IA pour accélérer leurs processus de développement et de sécurité. Mais lorsque près d’une vulnérabilité détectée exclusivement par l’IA apparaît une seule fois sur cinq analyses identiques, cela rappelle que la confiance ne peut pas reposer uniquement sur l’automatisation.
« Aujourd’hui, l’avenir de l’AppSec repose sur une combinaison intelligente entre expertise humaine, IA et analyse de code déterministe », explique Grégory Domagala, de chez Snyk.
Méthodologie
Snyk VulnBench JS 1.0 a évalué plusieurs configurations de modèles Claude ainsi que Snyk Code sur 10 projets JavaScript contenant 44 vulnérabilités de référence, avec cinq répétitions par scénario, soit 300 analyses au total. L’objectif était de mesurer non seulement les capacités de détection, mais également la reproductibilité des résultats.
