Oui, le contenu généré par ChatGPT peut être détecté à l'aide d'une combinaison d'analyses statistiques, de classificateurs d'apprentissage automatique et d'outils de reconnaissance de formes linguistiques.
Alors que l'utilisation de grands modèles linguistiques, tels que ChatGPT d'OpenAI, devient de plus en plus courante dans les universités, le marketing de contenu, l'enseignement et le journalisme, le défi de faire la distinction entre le texte écrit par l'homme et le texte généré par l'IA est devenu de plus en plus urgent.
Cet article explore la manière dont le contenu généré par le chatGPT peut être détecté, les outils disponibles et l'évolution de la course aux armements entre l'IA générative et les technologies de détection.
Le contenu généré par l'IA fait référence au texte écrit par de grands modèles linguistiques (LLM) tels que GPT-4, développé par OpenAI. Ces transformateurs génératifs pré-entraînés sont entraînés sur des ensembles de données massifs et utilisent la probabilité pour prédire le mot suivant d'une séquence, produisant ainsi un texte très fluide et souvent semblable à celui d'un humain.
Comme les LLM sont optimisés pour la cohérence et la précision grammaticale, leur sortie peut sembler presque impossible à distinguer de l'écriture humaine. Cela soulève des inquiétudes quant au plagiat, à la désinformation et à l'authenticité des communications écrites.
La génération de texte ou de parole dans un langage naturel à l'aide d'un logiciel d'IA est au cœur de Génération en langage naturel (NLG), un sous-domaine du traitement du langage naturel (NLP). Le NLG implique la linguistique informatique, la compréhension du langage naturel (NLU) et le traitement du langage naturel (NLP).
Vous pouvez utiliser la génération en langage naturel à partir de chatbots et d'assistants virtuels pour le service client et la génération de contenu. Vous pouvez également l'utiliser pour produire du contenu écrit tel que des rapports, des résumés et des descriptions.
Les systèmes NLG utilisent des algorithmes d'apprentissage automatique formé à de grands ensembles de données pour générer du texte à consonance humaine. Les réseaux neuronaux récurrents (RNN) et les transformateurs sont deux exemples de méthodes d'apprentissage profond qui alimentent certains des systèmes NLG les plus avancés.
Le type de modèle de langage d'IA le plus courant est un modèle basé sur un réseau neuronal., qui se compose de plusieurs couches de nœuds interconnectés. Ces nœuds sont entraînés sur de grands ensembles de données, tels que Wikipedia ou des articles de presse, pour apprendre des modèles et des relations entre des mots et des phrases dans le langage humain. Une fois entraîné, le modèle de langage basé sur l'IA peut générer un nouveau texte en prédisant le mot ou la phrase suivant le plus probable en fonction du contexte des mots précédents.
ChatGPT, le grand modèle de langage basé sur GPT-4 d'OpenAI (pour l'instant !) , est l'un des outils d'IA les plus populaires. Le système a été entraîné avec de nombreuses données afin qu'il puisse comprendre et inventer un langage qui ressemble à ce que les gens disent. En d'autres termes, ChatGPT est un programme informatique conçu pour parler aux gens, répondre à leurs questions, leur donner des informations et créer des chatbots et des assistants virtuels.
Chat GPT est également suffisamment intelligent pour réussir de prestigieux examens de deuxième cycle, mais sans notes particulièrement élevées. Le puissant outil de chatbot IA récemment a réussi les examens du barreau et du conseil médical.
En raison de leur capacité à générer un texte semblable à celui d'un humain, Le chat (GPT) et d'autres modèles de langage d'IA ont suscité des inquiétudes quant à leur utilisation abusive potentielle.. Elon Musk a exprimé son mécontentement à l'égard d'OpenAI depuis qu'il a quitté son conseil d'administration en février 2018, aboutissant à une lettre ouverte demandant à l'organisation de suspendre les travaux d'IA sur des systèmes plus puissants. Malgré certaines des préoccupations exprimées, Musk a défendu la recherche et le développement de technologies d'IA telles que ChatGPT, reconnaissant leur énorme potentiel.
Donc, déterminer si un humain ou une machine a écrit un texte est un défi croissant, mais peuvent contribuer à prévenir la désinformation et la diffusion de contenus malveillants, en particulier dans les domaines du journalisme, de la cybersécurité et de la finance.
Les chercheurs ont expérimenté plusieurs méthodes pour identifier le texte produit par l'IA. Ceci est important car les récents modèles NLG ont amélioré la diversité, le contrôle et la qualité du texte généré automatiquement. Mais la capacité de créer un texte unique, manipulable et semblable à un humain avec une rapidité et une efficacité sans précédent permet Les abus du modèle NLG tels que le phishing, la désinformation, les critiques de produits frauduleuses, la malhonnêteté universitaire et le spam toxique sont plus difficiles à détecter. Pour maximiser les avantages de la technologie NLG tout en minimisant les dommages, une IA fiable doit gérer les risques d'abus.
L'utilisation abusive des modèles de langage génératifs dans le monde réel est en train d'émerger. Un Polémique sur l'IA impliquait un chercheur en intelligence artificielle qui a créé un programme informatique qui écrit des choses comme de vraies personnes sur un forum appelé 4chan. Les utilisateurs du forum ont appris au programme à dire des choses méchantes et blessantes, ce qui a produit de nombreux messages, y compris des messages répréhensibles, à partir de ses données de formation. Il a rendu le programme disponible pour téléchargement et visionnage, mais de nombreux sites Web l'ont interdit parce qu'il pouvait dire des choses méchantes. De nombreux leaders de l'IA (directeurs scientifiques, PDG et professeurs) ont condamné le déploiement de ce modèle.
L'un des dangers potentiels associés à ces modèles est leur accessibilité aux acteurs avancés de la menace, comme en témoigne l'interface Web conviviale de ChatGPT. Un excellent exemple est le GPT-3, qui aide Jasper, un assistant de rédaction basé sur l'IA, qui génère du contenu grâce à la collaboration humaine. Grâce aux fonctionnalités de Jasper, les utilisateurs sans expertise technique peuvent fournir au modèle des instructions, des mots clés et une tonalité vocale pour créer de grandes quantités de contenu de blog et de site Web. Ce processus peut facilement être reproduit à l'aide de modèles open source pour produire des quantités illimitées de désinformations ciblées conçues pour les sites de réseaux sociaux populaires et les charger sur des outils d'automatisation des comptes du marché gris.
La capacité à détecter le contenu généré par des machines est essentielle pour plusieurs raisons :
En fin de compte, les recherches futures sur le NLG apporteront de nouvelles merveilles, mais les mauvais acteurs les utiliseront également. Pour tirer le meilleur parti de cette technologie tout en minimisant ses risques, les humains doivent prévoir les abus et s'en défendre.
Les outils de détection de l'IA s'appuient sur une combinaison d'analyse linguistique, de modélisation statistique et d'apprentissage automatique pour identifier le texte généré par des modèles tels que ChatGPT. Voici les techniques les plus courantes :
La perplexité mesure le degré de prévisibilité d'un texte pour un modèle linguistique. Le contenu généré par ChatGPT a tendance à être moins perplexe car il suit des modèles de mots plus uniformes et statistiquement probables. L'écriture humaine, en revanche, comporte souvent un phrasé inattendu ou des structures de phrases variées.
L'éclatement fait référence à la variation existant entre la longueur des phrases. L'écriture humaine est généralement plus éclatante (certaines sont courtes, d'autres longues, d'autres complexes) alors que l'IA a tendance à produire des phrases structurées de manière plus uniforme.
Exemple :
Production d'IA : « L'économie se redresse. L'inflation ralentit. Les emplois augmentent. »
Production humaine : « Alors que l'économie montre des signes de reprise, l'inflation persistante et les fluctuations du marché compliquent les perspectives, même si l'emploi est en hausse. »
Des outils tels que GPTZero évaluent à la fois la perplexité et l'éclatement pour déterminer si le contenu est probablement généré par l'IA.
Le filigrane est une approche expérimentale développée par OpenAI et d'autres, dans laquelle des signaux invisibles sont intégrés au texte lui-même en ajustant subtilement la sélection des jetons. Ces modèles n'en modifient pas le sens mais sont statistiquement détectables en masse.
L'avantage du filigrane est qu'il permet aux plateformes de vérifier si le contenu provient d'un modèle connu. Cependant, cette technique n'est pas encore largement déployée et peut être neutralisée par une paraphrase ou une réécriture partielle.
Les outils de détection tels que Copyleaks et Turnitin utilisent des classificateurs d'apprentissage automatique supervisés formés à partir de grands ensembles de données de contenu écrit par l'IA et par l'homme. Ces modèles apprennent de subtiles différences de syntaxe, de grammaire, de rythme et de cohérence.
Certains classificateurs sont adaptés à des contextes d'écriture spécifiques, par exemple des essais universitaires ou des articles journalistiques, et peuvent ajuster leurs prédictions en conséquence.
La principale limite est que les classificateurs peuvent produire des faux positifs, en particulier pour les anglophones dont la langue maternelle n'est pas l'anglais ou pour du contenu structuré tel que des listes et des résumés, qui ressemblent à du texte d'IA.
Voici quelques outils et méthodes manuelles pour déterminer si une IA a écrit un texte :
Détecteur AI a été entraîné à l'aide de milliards de pages de données. Il peut tester jusqu'à 25 000 caractères (près de 4 000 mots).
Pour utiliser l'outil, copiez et collez votre texte dans le champ de détection avant de le soumettre pour détection. En quelques secondes, vous verrez un score de contenu humain (indiquant la probabilité qu'un humain ait écrit un échantillon de texte) et une ventilation ligne par ligne des IA suspectes ou évidentes.
L'intelligence artificielle prédit en recréant des modèles. Les générateurs d'IA apprennent à reconnaître les modèles et à générer des résultats qui leur correspondent. Le texte qui correspond à des formats préexistants est plus susceptible d'être généré par l'IA.
Les différences entre les résultats de l'IA et l'écriture humaine sont évaluées à l'aide de scores de prévisibilité, de probabilité et de modèle. L'écriture humaine est imprévisible car elle ne suit pas toujours des modèles. Les résultats humains varient davantage et sont plus inventifs. L'écriture par IA, en revanche, ne reconnaît que des modèles.
Le seul outil de détection de contenu IA non officiel qui fonctionne avec ChatGPT et GPT 3.5 est Originalité (l'outil de langage génératif le plus avancé). Originality est l'un des meilleurs correcteurs de contenu qui détecte l'intelligence artificielle et le plagiat. Cet outil détermine la prévisibilité du contenu à l'aide de GPT-3 et d'autres modèles de langage naturel entraînés sur d'énormes quantités de données.
Vous bénéficiez d'un vérificateur de détection de contenu professionnel de niveau industriel, qui vérifie efficacement les copies au niveau de la production.
L'outil utilise une version modifiée du modèle de classification BERT pour déterminer si un texte a été écrit par un humain ou créé par une IA. Le cœur de l'outil est un modèle de langage pré-entraîné doté d'une nouvelle architecture construite sur 160 Go de données textuelles et affinée à l'aide de millions d'échantillons provenant d'un ensemble de données d'apprentissage. Ce modèle détecte les textes courts difficiles à comprendre et est fiable pour les textes comportant plus de 50 jetons.
Pour utiliser Originality, collez le contenu dans le checker et scannez-le.
Contrairement à Content at Scale, Originality enregistre les scans dans le tableau de bord de votre compte. C'est excellent pour revenir fréquemment à plusieurs éléments de contenu.
Le score de détection de l'IA, et non le pourcentage, indique la probabilité que l'écriture sélectionnée soit une IA.
Selon le PDG d'Originality, le contenu qui se classe régulièrement en dessous de 10 % est sûr ! Ce n'est que lorsque le contenu contient 40 à 50 % d'IA que vous devez vous méfier de ses origines.
Des échantillons de plus grande taille améliorent la précision de la détection, mais précision ne signifie pas fiabilité ! Plus vous lisez de contenu écrit par un écrivain, mieux vous pouvez savoir s'il est authentique.
Surveillez les faux positifs et les faux négatifs. Il est préférable d'évaluer un rédacteur/un service sur la base d'une série d'articles plutôt que d'un seul.
Si les scores de détection sont constamment élevés ou faibles, le contenu écrit par IA est le plus probable. Un seul article ne peut pas démontrer qu'un site Web ou plusieurs documents ont été écrits avec l'aide de l'IA. Ces outils de détection ne doivent être utilisés qu'avec une extrême prudence. Un plus grand nombre d'articles provenant d'une seule source augmentera votre échantillon statistique. Pourtant, la détection implique de nombreux facteurs au-delà de ce que peut faire un site Web. Les sections suivantes aborderont la syntaxe, la répétition et la complexité. Originality a mis en place un vérificateur à l'échelle du site.
Le Salle de test linguistique géante (GLTR), développé par trois chercheurs du Laboratoire d'IA MIT-IBM Watson et PNL de Harvard, est un excellent outil gratuit pour détecter le texte généré par machine (ou GLTR, en abrégé). Le GLTR est actuellement le moyen le plus simple de prédire si des portions de texte informelles ont été écrites avec l'IA. Copiez et collez le texte dans la zone de saisie GLTR, puis cliquez sur « Analyser ». Cet outil est peut-être moins puissant que les méthodes basées sur GPT-3 car il est basé sur GPT-2.
L'outil estime l'origine artificielle du texte : le contexte à gauche détermine la probabilité que chaque mot soit le mot prédit. Les dix premiers mots prédits sont verts, les 100 premiers sont jaunes, les 1000 premiers sont rouges et les autres sont violets. La couleur du contenu généré par l'IA est le vert.
Encore une fois, ce n'est pas parfait, mais c'est un très bon prédicteur. GLTR est un outil visuel utile pour évaluer le contenu de l'IA, mais il ne fournit pas de score : aucun pourcentage ou chiffre ne vous sera attribué indiquant « Oui, c'est probablement de l'IA ». En collant du texte, vous pouvez estimer la probabilité qu'une IA l'ait écrit, mais c'est à vous de prendre la décision finale.
Bien que les paramètres de détection du contenu de l'IA puissent être plus explicites, Writer.com fournit un outil de détection d'écriture basé sur l'IA gratuit et simple. Vous pouvez vérifier le texte par URL ou coller directement de l'écriture dans leur outil pour exécuter des scans.
Le détecteur comprend 1500 caractères de contenu IA qui peuvent être vérifiés gratuitement à tout moment. Il détecte assez bien l'écriture générée par ChatGPT.
Le Détecter GPT La méthode est basée sur le calcul des (log-) probabilités du texte. Si un LLM crée du texte, chaque jeton a une chance différente d'apparaître en fonction des jetons qui l'ont précédé. Multipliez toutes ces probabilités conditionnelles pour obtenir la probabilité de l'ensemble du texte.
La méthode DetectGPT perturbe alors le texte. Si la probabilité du nouveau texte est bien inférieure à la probabilité du texte original, le texte original a été créé par IA. Sinon, si c'est à peu près pareil, ce sont les humains qui l'ont créé.
GPT zéro est un modèle de régression linéaire simple qui estime la difficulté à comprendre le texte.
La confusion est liée à la probabilité logarithmique du texte mentionné ci-dessus pour DetectGPT. L'exposant de la probabilité logarithmique négative est utilisé pour déterminer la perplexité. Les grands modèles de langage apprennent à maximiser la probabilité du texte, ce qui minimise la probabilité logarithmique négative et minimise la perplexité. Ainsi, moins un texte est confus, moins il est aléatoire.
Ensuite, GPTZero part de l'idée que les phrases les plus faciles à comprendre ont plus de chances d'être faites par une IA. GPTZero signale également ce que l'on appelle « l'éclatement » du texte, ce qui est une autre façon de dire à quel point le texte est confus. L'éclatement est un graphique qui montre à quel point chaque phrase est difficile à comprendre.
Voici les principales caractéristiques de chaque outil :
Les aspects techniques de la rédaction constituent un autre moyen de savoir si le contenu généré par l'IA est d'examiner les aspects techniques de la rédaction. Examinez attentivement le contenu si vous avez besoin d'aide avec les outils précédents ou si vous souhaitez approfondir les écrits que vous avez vus. Jetez un coup d'œil à celles-ci :
1. Les phrases courtes sont courantes dans le contenu généré par l'IA. L'IA tente d'écrire comme les humains mais ne maîtrise pas encore les phrases complexes. Cela est évident lorsque vous lisez un blog technique contenant du code ou des instructions. L'IA n'a pas encore réussi le test de Turing. Vous êtes en pleine forme si GLTR ou Originality proposent un contenu créatif et unique en son genre. Examinez le contenu technique louche en toute confiance.
2. Une autre méthode pour identifier le contenu généré par l'IA est la répétition. Parce qu'elle ne sait pas de quoi elle parle, l'IA remplit les blancs avec des mots clés pertinents. Par conséquent, un article écrit par une IA est plus susceptible de répéter le même mot, comme les articles bourrés de mots clés et les outils de référencement générés par l'IA contenant du spam. Le bourrage de mots clés est l'utilisation de mots ou de phrases répétés de manière anormale. Certains articles incluent leur mot clé dans presque chaque phrase. Cela détournera votre attention de l'article. Cela désactive également les lecteurs.
3. Absence d'analyse. Les articles rédigés par IA présentent des lacunes en matière d'analyse complexe. Les machines sont excellentes pour recueillir des données, mais elles doivent être mieux interprétées. Si un article se lit comme une liste de faits sans analyse, il a probablement été écrit par une intelligence artificielle. L'écriture générée par l'IA excelle dans l'écriture statique (histoire, faits, etc.) mais doit être améliorée en écriture créative ou analytique. Avec plus d'informations, l'IA écrit et manipule mieux.
4. Données incorrectes. Cela est plus courant dans les descriptions de produits générées par l'IA, mais peut également être trouvé dans les articles de blog et les articles. Lors de la collecte de données provenant de sources multiples, les machines doivent corriger les choses. Si une machine ne sait pas quoi faire mais doit produire des résultats, elle prédira les chiffres sur la base de modèles inexacts. Par conséquent, si vous lisez un article et que vous remarquez plusieurs incohérences entre les faits et les chiffres, vous pouvez être certain que l'IA l'a écrit.
Celui-ci peut sembler superflu, mais il vaut tout de même la peine d'être mentionné. Si vous lisez un article et que le domaine ne semble pas lié au contenu, c'est votre premier signal d'alarme. Mais, plus important encore, vous devriez vérifier les sources citées dans l'article (le cas échéant). Supposons qu'un auteur utilise des sources provenant de sites Web douteux ou déclare des choses sans source. Dans ce cas, l'auteur ne fait pas ses recherches ou automatise simplement une multitude de contenus générés par l'IA.
Les outils de détection ne sont pas seulement théoriques : ils sont activement utilisés dans l'enseignement, l'édition et les médias. Voici comment procéder :
En 2023, Turnitin a intégré la détection par IA à sa plateforme. En avril 2024, l'outil avait examiné plus de 200 millions d'articles, signalant 11 % comme contenant au moins 20 % de contenu généré par l'IA et 3 % car plus de 80 % étaient générés par l'IA.
Pour répondre aux préoccupations concernant les faux positifs, Turnitin affiche un astérisque pour les détections inférieures à 20 %, ce qui indique un niveau de confiance inférieur.
Cette affaire illustre la tension entre l'intégrité universitaire et l'évolution des capacités de l'IA.
Certains médias publient désormais des articles indépendants via des outils de détection d'IA avant d'accepter les articles. Par exemple, un éditeur numérique basé au Royaume-Uni aurait rejeté plusieurs articles en 2023 après que GPTZero ait signalé de grandes sections comme étant générées par l'IA.
Cela est particulièrement pertinent à une époque où la désinformation, la rapidité et le volume font pression sur les normes éditoriales.
Les agences et les équipes internes utilisent des outils tels que Originality.ai pour vérifier que le contenu a été écrit par des humains, en particulier pour le contenu YMYL (Your Money Your Life), où la confiance est cruciale.
Il existe également une tendance croissante à utiliser ces outils pour mélange Brouillons générés par l'IA avec édition humaine, dans le but de réussir la détection tout en augmentant la production. Cela reste toutefois une zone grise pour les moteurs de recherche et les politiques éthiques.
Bien qu'il existe des techniques de détection de texte généré par l'IA, elles présentent des limites, telles que :
Donc, pour résumer :
L'espace de détection fait l'objet d'une course aux armements permanente avec l'IA générative, car chaque amélioration apportée à ChatGPT ou à des outils similaires pose de nouveaux défis aux systèmes de détection.
Alors, est-ce que ChatGPT peut être détecté ? Oui, mais avec quelques réserves. Bien que les outils de détection soient devenus plus sophistiqués, ils ne sont pas infaillibles. Les éducateurs, les spécialistes du marketing et les éditeurs doivent trouver un équilibre entre les résultats de détection et le jugement humain et les politiques.
À mesure que l'IA générative sera intégrée aux flux de travail quotidiens, la transparence et la maîtrise des outils seront essentielles. L'avenir de la détection par IA peut reposer non seulement sur des algorithmes, mais aussi sur les normes de l'industrie, des divulgations éthiques et une supervision humaine intelligente.
Si vous souhaitez en savoir plus sur notre services de science des données, y compris l'IA et la PNL, nous contacter. Notre équipe d'experts s'engage à fournir des solutions de pointe pour vous aider à exploiter la puissance des données et de l'IA dans votre entreprise.
Vous pouvez également regarder ici l'atelier d'Imaginary Cloud sur « Un filigrane pour les grands modèles de langage » :
Oui, les outils de détection d'IA tels que GPTZero et Originality.ai peuvent souvent identifier le texte généré par ChatGPT, surtout s'il n'a pas été modifié de manière significative.
De nombreux établissements d'enseignement utilisent des outils dotés d'une détection IA intégrée. Bien qu'ils ne soient pas infaillibles, ces systèmes peuvent signaler l'écriture assistée par l'IA.
Le contenu produit par ChatGPT lui-même n'est pas intrinsèquement traçable à moins qu'il ne contienne des modèles détectables par des outils d'IA ou de futures méthodes de filigrane.
Vos requêtes adressées à ChatGPT peuvent être enregistrées par la plateforme ou l'organisation qui gère l'outil. Bien que le texte qu'il produit ne soit pas traçable publiquement, les journaux d'utilisation le sont souvent.
Des outils tels que Originality.ai et GPTZero offrent des résultats fiables, mais aucun outil n'est précis à 100 %.
Il manipule subtilement les modèles de jetons pour intégrer des identifiants invisibles dans le texte généré.
Il s'agit de mesures statistiques de la prévisibilité ou de la diversité du texte. Ils sont utilisés pour distinguer l'écriture humaine de l'écriture artificielle.
Oui Grâce à la paraphrase, au contenu hybride ou à l'ingénierie rapide, les utilisateurs peuvent contourner de nombreux systèmes de détection actuels.
Rédacteur de contenu curieux de l'impact de la technologie sur la société. Toujours entouré de livres et de musique.
Scientifique des données passionné par la science des données et attentif à ses implications éthiques. Outre le travail, j'adore écouter de la musique et lire une bonne histoire.
People who read this post, also found these interesting:
%20(1).webp)
.webp)
