Generative AI is not creating entirely new attack types; it is industrializing existing ones. That is the central finding of the 2025 edition of ANSSI’s “Panorama de la cybermenace.”

The French national cybersecurity agency says the most immediate effect is a sharp improvement in phishing lures. The grammatical and stylistic mistakes that once helped alert users to malicious emails are increasingly disappearing. AI now enables attackers to produce more convincing content, at greater scale, with more variety and at lower cost. ANSSI also notes that the cost of maintaining attack infrastructure is falling, lowering the entry barrier for less sophisticated threat actors.

One of the clearest signs observed by the agency is the emergence of websites that look legitimate but are entirely generated by AI systems. These sites are used either to host malicious payloads or to perform what ANSSI calls “characterization” — technical profiling of visitors before compromising them. Investigators detected their artificial nature through a subtle anomaly: incoherent text inserted in the middle of paragraphs, with no logical connection to the rest of the page. The finding underscores that human vigilance remains, for now, a critical part of detection.

ANSSI also warns of a systemic risk: generative AI can contaminate the models it helps train. As false and artificial content proliferates online, the datasets used to train future models become polluted. Large language models learn from web data, so if that data is heavily saturated with fabricated or erroneous AI-generated material, the next generation of models will absorb those biases and inaccuracies. The agency says malicious actors are deliberately exploiting this vector by flooding the web with manufactured content to distort AI services and skew their outputs. Generative AI services have therefore become priority targets in their own right.

Inside companies, the growing integration of AI into operational workflows expands the attack surface and can have serious consequences if compromised. ANSSI highlights several risk categories. First, confidentiality and integrity: a compromised AI system can become an entry point into the wider information system, enabling data exfiltration or tampering with connected systems. Second, software supply chain risk: the agency sees this as perhaps the most structural threat. If an AI system used to generate code is compromised, it could silently introduce vulnerabilities or backdoors into produced software, without developers noticing — a new, stealthy form of supply-chain attack. Third, reputational and economic damage: any data leak involving an AI system can erode customer trust, with potentially existential consequences for some organizations.

To address these risks, ANSSI has published a dedicated guide for securing generative AI solutions based on LLMs. Its main recommendation is strict segmentation: AI systems should be physically or functionally isolated to prevent a compromise from spreading. Where organizations do not fully control the design of the software, the agency advises deploying it on a dedicated, isolated workstation. Segmentation alone is not enough, however; active monitoring of information flows involving AI components is needed to detect abnormal behavior. ANSSI also discourages narrow-scope audits, warning that they can miss compromise paths between the AI environment and the office IT system.

The agency further cautions against relying solely on security products such as EDR and MFA, noting that attackers learn to bypass these controls or inject themselves directly into legitimate user sessions. Finally, incident response must be prepared in advance: if a compromise occurs, the immediate priority should be isolating affected systems and revoking the attacker’s access, with these steps built into business continuity and disaster recovery plans.

ANSSI says the rapid evolution of AI use cases requires regular reassessment of the threat landscape. The warning is aimed not only at CISOs, but also at executive leadership: AI is no longer just a productivity tool, but a risk vector that demands dedicated security governance.

L’IA générative ne crée pas de nouvelles formes d’attaques, elle les industrialise. C’est l’un des constats majeur de l’édition 2025 du   » Panorame de la cybermenace »  de l’ANSSI.

L’agence identifie plusieurs effets directs. D’abord, une hausse de la qualité des leurres utilisés dans les campagnes d’hameçonnage.

Les erreurs grammaticales et stylistiques qui permettaient auparavant à un utilisateur averti de repérer un e-mail malveillant tendent à disparaître. L’IA aide à produire des contenus plus convaincants, en plus grand nombre, avec une diversité accrue et  à moindre coût.

L’ANSSI note également une réduction du coût de maintien des infrastructures d’attaque, ce qui abaisse la barrière d’entrée pour des acteurs moins sophistiqués.

Des sites malveillants indétectables à l’œil nu

L’un des signaux les plus concrets relevés par l’agence concerne la création de sites web à l’apparence légitime, entièrement générés par des systèmes d’IA.

Ces sites servent à héberger des charges malveillantes ou à effectuer ce que l’ANSSI appelle de la caractérisation, autrement dit, le profilage technique des visiteurs avant de les compromettre.

Comment les équipes de l’agence ont-elles détecté la nature artificielle de ces sites ? Par une anomalie révélatrice : l’insertion de textes incohérents au beau milieu de paragraphes, sans lien logique avec le reste du contenu. Un signe subtil, qui confirme que la vigilance humaine reste, pour l’instant, un maillon essentiel de la détection.

Le cercle vicieux de la pollution des données d’entraînement

L’IA générative ne se retourne pas seulement contre les utilisateurs finaux, elle menace aussi l’intégrité des modèles eux-mêmes.

L’ANSSI identifie ici un risque systémique : la multiplication de contenus fallacieux sur Internet finit par contaminer les jeux de données utilisés pour entraîner les futurs modèles.

Le mécanisme est simple. Les grands modèles de langage apprennent à partir des données disponibles sur le web. Si ces données sont massivement polluées par des contenus artificiels et erronés  produits par d’autres IA, dans un but malveillant ou non, les modèles de nouvelle génération intègreront ces biais et inexactitudes dans leurs réponses.

Selon l’agence nationale, des acteurs malveillants exploitent délibérément ce vecteur : en inondant le web de contenus fabriqués, ils cherchent à altérer le comportement des services d’IA pour fausser leurs résultats. Les services d’IA générative sont ainsi devenus des cibles prioritaires à part entière.

L’IA dans les entreprises : une surface d’attaque qui s’élargit

L’intégration croissante de l’IA dans les flux opérationnels des entreprises entraîne mécaniquement un élargissement de leur surface d’attaque et les conséquences d’une compromission peuvent être sévères.

L’agence en identifie plusieurs catégories :

Confidentialité et intégrité des données. Un système d’IA compromis peut servir de point d’entrée vers le reste du système d’information, avec des risques d’exfiltration de données sensibles ou d’atteinte à l’intégrité des SI connectés.

La chaîne d’approvisionnement logicielle. C’est peut-être le risque le plus structurel identifié par l’ANSSI : la compromission d’un système d’IA spécialisé dans la génération de code pourrait introduire des vulnérabilités ou des portes dérobées dans le code produit, à l’insu total des équipes de développement. Une nouvelle forme d’attaque supply chain, silencieuse et difficile à détecter.

Les risques réputationnels et économiques. Toute fuite de données liée à un système d’IA fait peser un risque sur la confiance des clients, avec des implications potentiellement existentielles pour certaines organisations.

Les recommandations de l’ANSSI : cloisonner, surveiller, auditer

Pour répondre à ces risques, l’ANSSI a publié un guide dédié à la sécurisation des solutions d’IA générative basées sur des LLM.

Les grandes lignes sont les suivantes.

> Cloisonnement. C’est le principe central. L’agence recommande une isolation physique ou fonctionnelle des systèmes d’IA pour éviter qu’une compromission ne se propage. Pour les logiciels dont la conception n’est pas totalement maîtrisée par l’organisation, la recommandation est claire : les déployer sur un poste isolé et dédié.

> Surveillance des flux. Le cloisonnement seul ne suffit pas. Une surveillance active des échanges d’informations des composants d’IA est nécessaire pour détecter toute anomalie comportementale.

> Audits larges. L’ANSSI déconseille les audits à périmètre restreint, qui peuvent laisser dans l’ombre des chemins de compromission entre l’environnement IA et le SI bureautique.

> Ne pas tout miser sur les outils. L’agence pointe une limite importante : une stratégie de sécurité qui repose exclusivement sur des produits — EDR, MFA — est insuffisante. Les attaquants apprennent à contourner ces outils, ou à s’injecter directement dans les sessions utilisateurs légitimes.

> Préparer la gestion de crise. En cas d’incident, la priorité doit être l’isolation immédiate des systèmes compromis, combinée à la révocation des accès de l’attaquant. Cette séquence doit être anticipée dans les plans de continuité (PCA) et de reprise d’activité (PRA).

L’évolution rapide des usages de l’IA impose, selon l’ANSSI, une réévaluation régulière de la menace. Une mise en garde qui s’adresse autant aux RSSI qu’aux directions générales : l’IA n’est plus seulement un outil de productivité, c’est désormais un vecteur de risque à part entière, qui exige une gouvernance de sécurité adaptée.

Photo : © ANSSI

The post Comment l’IA générative remodèle le paysage des cybermenaces appeared first on Silicon.fr.