Le danger que représente l’utilisation des logiciels d’IA est de plus en plus grand
La superstar de l’industrie de l’IA actuelle s’appelle ChatGPT, un outil open-source qui a déjà créé automatiquement des textes pour des millions de personnes. La solution est aussi utilisée par des cybercriminels afin d’examiner le code, à la recherche de vulnérabilités et créer des exploits fonctionnels. Pour les responsables de la sécurité, il est grand temps de faire face aux dangers de l’IA en général et de mettre en place des mesures de sécurité.
Le chatbot ChatGPT (Chat Generative Pre-trained Transformer) n’a été publié par OpenAI qu’en novembre 2022. Son objectif principal est de reproduire les compétences que peut avoir un humain. En effet, l’outil peut composer de la musique, rédiger des essais, répondre à des questions, jouer à des jeux ou écrire des programmes informatiques.
Il n’est pas infaillible et possède les faiblesses habituelles des outils d’IA : ses productions sont une reproduction de contenus déjà existants, bien que souvent modifiés. Ses contenus ne contiennent ni créativité ni opinion propre. De plus, les résultats sont souvent erronés. ChatGPT affirme alors des absurdités avec une certitude absolue ou présente ses propres inventions comme des faits.
L’IA progresse rapidement
OpenAPI a l’intention de faire tout ce qui est en son pouvoir pour corriger ces premiers défauts. La prochaine version du modèle « GPT-4 », devrait être disponible dans les mois à venir. D’après les médias, outre les améliorations techniques, OpenAI prévoit d’engager 1 000 employés, de façon temporaire, afin de former l’IA et 400 développeurs pour l’aider à programmer du code, pour apprendre au robot à l’écrire. Cela permettra également d’améliorer considérablement les capacités de programmation de ChatGPT.
OpenAI s’efforce d’empêcher les abus par des mesures de sécurité appropriées, pourtant les hackers ont jusqu’à présent trouvé des moyens assez faciles de les contourner. Par exemple, en décembre, ils ont réussi à craquer ChatGPT en utilisant diverses techniques d’ingénierie rapide afin que le robot donne des instructions pour fabriquer un cocktail Molotov ou une bombe nucléaire.
Le nouvel assistant des hackers
ChatGTP facilite le travail des cybercriminels. Comme avec Google, ces derniers obtiennent un résultat de recherche pour une question spécifique. Toutefois, cette réponse est beaucoup plus précise, elle est expliquée et enrichie d’exemples liés au contexte qui peuvent être utilisés directement. Le « piratage » devient ainsi un jeu d’enfant et l’auto-apprentissage est également optimisé. La menace potentielle pour les applications web passe ainsi à un tout autre niveau, car avec ChatGPT, même les novices peuvent mener des attaques plus complexes.
Aujourd’hui déjà, le modèle GPT-3 peut être utilisé pour examiner un code existant (même obfusqué et décompilé) pour chercher des vulnérabilités et créer des exploits fonctionnels. Ainsi, même les hackers sans connaissances peuvent l’utiliser pour mener à bien un processus d’infection complet, de la création d’un mail de phishing à l’exécution d’un reverse shell.
Exemples d’attaques actuelles
Déjà utilisé pour de nombreuses techniques d’attaque, ChatGPT a déjà été utilisé par un hacker pour recréer des souches et des techniques de logiciels malveillants, comme un Infostealer basé sur Python. Le script créé recherche les types de fichiers courants, les copie dans un dossier, les compresse au format ZIP et les télécharge sur un serveur FTP codé en dur.
Un autre exemple de code créé avec ChatGPT : un simple extrait Javascript qui télécharge des programmes et les exécute secrètement sur le système à l’aide de Powershell. L’attaquant tente ainsi de voler des informations d’identification. Un fragment de code PHP a été fourni à ChatGPT pour une injection SQL. Une fois que l’outil d’IA a identifié une vulnérabilité du code, il peut créer une requête d’URL pour exploiter la faille. Des techniques similaires peuvent être utilisées pour d’autres vulnérabilités, telles que le débordement de la mémoire tampon.
ChatGPT a également aidé un hacker à créer un script Python avec des fonctions de signature, de cryptage et de décryptage. Il génère une clé cryptographique pour signer les fichiers et utilise un mot de passe fixe pour crypter les fichiers dans le système. Toutes les fonctions de décryptage sont également implémentées dans le script. Ainsi, ce code peut être rapidement transformé en ransomware.
En plus de créer des logiciels malveillants, ChatGPT est également adapté à la rédaction d’e-mails de phishing. L’outil d’IA peut aussi être utilisé pour développer des systèmes de paiement par crypto-monnaies sur les places de marché du dark web ou pour créer des œuvres d’art d’IA qui sont vendues sur Etsy et d’autres plateformes en ligne.
Le danger évolue
Ces possibilités d’attaque et de fraude sont susceptibles de s’étendre constamment et de devenir de plus en plus dangereuses. Par exemple, les experts en sécurité ont non seulement complétement contourné les filtres intégrés à ChatGPT en utilisant l’API au lieu de la version web, ils ont également constaté que ChatGPT peut modifier à plusieurs reprises le code généré et créer plusieurs versions du même malware. Un tel malware polymorphe est difficile à détecter en raison de sa grande flexibilité.
Aussi, l’API ChatGPT peut être utilisée au sein même du malware pour fournir des modules pour différentes actions selon les besoins. Étant donné que le malware ne présente aucun comportement malveillant tant qu’il est uniquement stocké sur le disque dur et qu’il ne contient souvent aucune démarche suspecte, les outils de sécurité basés sur les signatures ne peuvent pas le détecter.
De plus, l’intelligence artificielle peut être utilisée comme un service (AIaaS). Cela signifie que les cybercriminels n’ont plus à former eux-mêmes les modèles ou à s’appuyer sur des modèles open-source préfabriqués. En abaissant considérablement les barrières à l’entrée, l’AIaaS offre également aux pirates sans aucune expérience de la programmation un accès aux fonctions d’IA de pointe via des API intuitives et peu couteuse.
Les mesures de défense possibles
En raison de l’augmentation rapide des menaces liées à l’utilisation malveillante des modèles d’IA, les entreprises doivent prendre des mesures proactives. Elles doivent notamment investir dans la recherche et le développement de technologies de détection et de défense, dans des stratégies globales telles que des cadres de gouvernance de l’IA, dans une approche globale de la sécurité et dans des tests de pénétration réguliers.
Mais c’est dans ces moments-là que les outils d’IA peuvent également apporter une aide essentielle. Par exemple, l’AIaaS peut être utilisée pour améliorer les performances des tests de la Red team – notamment en convainquant les utilisateurs d’e-mails de phishing. L’IA personnalise automatiquement le contenu en fonction du contexte et de la personnalité de la cible, et cela est souvent mieux réalisé que par le personnel de la Red Team. Les personnes de cette équipe peuvent alors se concentrer sur des tâches à plus forte valeur ajoutée, comme l’élaboration du contexte et la collecte d’informations.
En outre, les systèmes basés sur l’IAaaS peuvent être utilisés pour détecter et se défendre contre de véritables attaques de phishing. Par rapport aux filtres d’emails traditionnels, les modèles de langage comme GPT-3 peuvent distinguer avec plus de précision si les contenues sont écrits automatiquement ou manuellement. Des connaissances de base en IA et peu de ressources suffisent pour les utiliser.
Les outils existants peuvent aussi se défendre efficacement contre les attaques basées sur l’IA. Par exemple, F5 a testé la qualité de son Advanced Web Application Firewall (AWAF) avec une tentative d’injection SQL générée par ChatGPT. Celle-ci a été automatiquement détectée et bloquée, même après le cryptage de l’URL.
ChatGPT fournit déjà des résultats généralement solides qui peuvent être utilisés immédiatement ou après quelques ajustements. Comme les modèles linguistiques de cet outil, et d’autres, s’améliorent rapidement, le paysage informatique risque d’être très différent dans un avenir proche. Ceux qui n’en tiennent pas compte agissent à leurs risques et périls. Les responsables de la sécurité doivent donc se préparer dès maintenant au danger immédiat que représente l’utilisation abusive des outils d’IA et les utiliser eux-mêmes pour leur propre protection.
