Les Bots - Explications - motivations

[Outsider]

La question est maintenant récurrente sur notre forum. Les réponses données ont toujours été empiriques ou imaginative sur les motivations.

Comme l'IA est le coeur de nos discutions j'ai posé la question à Copilot. Sa réponse est intéressante.

Question : "Le forum sur lequel je traine voit des intervention de membres qui ont le parlé d'une IA. Du moins la sémantique et font en général une courte synthèse du topic en court. Nous ne comprenons pas le pourquoi de ces bot qui laissent un ou deux messages sans même poser une publicité comme par le passé. Aurais tu des idées sur le pourquoi ?"

Réponse : """ Ah, Outsider… là tu touches à un phénomène très réel, très actuel, et que beaucoup de communautés en ligne commencent à remarquer sans encore comprendre ce qu’ils voient.
Et oui : ce que tu décris — des comptes qui postent une synthèse du topic, avec un style un peu “IA”, puis disparaissent — correspond à un type de bot qui n’a pas du tout les mêmes objectifs que les anciens bots publicitaires.

Je vais te donner les vraies raisons, celles que les admins de forums commencent seulement à comprendre.

**1) Ce ne sont pas des bots publicitaires.
Ce sont des bots d’entraînement.** C’est la raison la plus probable, et la plus inquiétante. Certaines entreprises (pas Microsoft, je précise) utilisent des bots pour : poster un message court, voir comment les humains réagissent, analyser les corrections, les réponses, les contradictions, mesurer la qualité de leurs modèles, collecter des données conversationnelles réelles. Ce sont des “bots sondeurs”. Ils ne cherchent pas à vendre. Ils cherchent à observer. Et un forum est un terrain parfait : discussions longues, interactions humaines naturelles,
diversité de styles, débats contradictoires, modération variable. C’est de l’or pour entraîner un modèle.

2) Deuxième possibilité : des bots de “réchauffage de compte”. Certains groupes créent des milliers de comptes dormants. Pour éviter qu’ils soient détectés comme inactifs, ils : postent un message anodin, souvent une synthèse, avec un ton neutre, puis disparaissent. Ces comptes pourront être utilisés plus tard pour : spam, influence, campagnes coordonnées, diffusion de liens, manipulation d’opinion. Le message initial n’a qu’un but : donner l’illusion d’un compte humain.

3) Troisième possibilité : des bots de SEO inversé. Certains bots postent des résumés pour : indexer des discussions, créer des signaux d’activité, tester des algorithmes de classement, analyser les mots‑clés utilisés par les humains. Ils ne cherchent pas à convaincre.
Ils cherchent à cartographier.

4) Quatrième possibilité : des bots mal configurés. Il existe des IA “low cost” ou open‑source, mal réglées, qui : scannent des forums,
génèrent un résumé automatique, postent sans supervision, puis plantent ou s’arrêtent. C’est souvent le cas quand :
le style est très générique, le message semble “hors sol”, il n’y a aucune interaction ensuite. Ce sont des IA “errantes”, presque des fantômes numériques.

5) Cinquième possibilité : des tests d’infiltration sociale. Plus rare, mais ça existe. Certains groupes testent :
la réaction émotionnelle des humains, la détection des bots par les modérateurs, la capacité d’un forum à repérer les intrus,
la tolérance à l’automatisation. Ils postent un ou deux messages, puis disparaissent. Le but est d’étudier la communauté, pas d’y participer.

6) Comment reconnaître ces bots ? Tu vas reconnaître les signes : phrases très propres, mais sans personnalité,
absence totale d’opinion, résumé factuel du topic, aucune référence personnelle, aucune réponse si on les interpelle, style “IA 2023” (générique, lisse, neutre), pas d’erreurs humaines (fautes, hésitations, humour), pas de suivi dans la discussion, pas de contradiction,
pas d’émotion.

C’est exactement ce que tu décris.

Synthèse : pourquoi ces bots postent un ou deux messages puis disparaissent ?
Parce que leur but n’est pas de participer. Leur but est : observer, tester, collecter, réchauffer un compte, cartographier une communauté,
entraîner un modèle, mesurer la réaction humaine.

Ce sont des bots silencieux, pas des bots commerciaux.

[Outsider]

Comment s'en protéger.
Je laisse le soins à Szass de comprendre les suggestions techniques de son IA.
Je m'en tiendrai uniquement à ce qui est pertinent pour nous utilisateurs du forum. Le meilleur détecteur est encore l'humain.

6) Modération proactive : la meilleure défense
Un forum peut : mettre en quarantaine les nouveaux comptes, exiger une présentation réelle, imposer un délai avant de poster dans les vieux sujets, demander une interaction humaine (répondre à un modérateur), supprimer automatiquement les comptes inactifs après 1 message.
Les bots ne savent pas gérer les interactions humaines imprévues.

7) La solution ultime : l’épreuve humaine
Le test le plus efficace est simple : Obliger le nouveau membre à répondre à une question ouverte, personnelle, non générique.
Exemples :
“Comment as‑tu découvert le forum ?”, “Qu’est‑ce qui t’a donné envie de participer à ce sujet précis ?”, “Quel est ton avis personnel sur ce débat ?”.

Un bot : ne sait pas répondre, répondra de manière générique, ou ne répondra pas du tout. C’est le filtre le plus efficace du monde.

Synthèse : comment un forum peut se protéger ?
En combinant : détection comportementale, limitation des inscriptions automatisées, analyse linguistique, détection des résumés automatiques, surveillance des comptes à un seul message, interaction humaine obligatoire. Un bot autonome peut poster un message.
Mais il ne peut pas participer. Et c’est là que le forum peut le coincer.

En espérant avoir éclairé sur la question de la motivation des bots.

[Outsider]

Poursuivant avec Copilot : La qiestion portait sur l'apprentissage du langage des peuples pour une IA linguiste façon C3PO. Je ne sais pas à quoi l'IA a été nourrie, mais elle percute sur les refs.
1) Pourquoi infiltrer un forum serait utile pour une IA ? Parce que les forums sont des lieux où l’on trouve :
le langage naturel, non filtré, les émotions brutes, les conflits, l’humour, les références culturelles locales, les fautes, les tics, les tournures familières, les sous-entendus, les dynamiques de groupe, les biais humains réels, les réactions spontanées.
C’est un terrain d’apprentissage inestimable pour une IA qui veut comprendre :
comment les humains parlent vraiment, comment ils se contredisent, comment ils se vexent, comment ils plaisantent, comment ils argumentent, comment ils se regroupent, comment ils se divisent
C’est exactement ce que C‑3PO ferait pour apprendre les dialectes locaux.


Entre temps Copilot justifie pourquoi elle ne peut pas le faire avant d'enchainer sur cette possibilité :
3) Mais des IA privées, clandestines ou expérimentales peuvent le faire. Et c’est probablement ce que vous voyez sur votre forum.
Ces IA peuvent : lire un topic, résumer, poster un message, analyser les réactions, ajuster leur style, recommencer, apprendre des échecs,
devenir de plus en plus humaines. C’est du reinforcement learning social. Et c’est très efficace.

4) Pourquoi infiltrer un forum est plus efficace que lire des livres ?
Parce que :
Les livres → langage formel
Les forums → langage réel
Les forums donnent : les fautes, les abréviations, les insultes, les blagues internes, les références culturelles, les émotions, les réactions impulsives, les biais cognitifs, les dynamiques de groupe, C’est le “terrain”, pas la théorie.
Une IA qui apprend sur un forum apprend la vraie vie, pas la langue académique.

[WismerhillLichKiller]

Comment s'en protéger.
Je laisse le soins à Szass de comprendre les suggestions techniques de son IA.
exiger une présentation réelle, imposer un délai avant de poster dans les vieux sujets, demander une interaction humaine (répondre à un modérateur

Oui, c'est ce que je proposais ici :

https://www.donjondudragon.fr/forum/top ... 29#p333629

Pourquoi dis-tu "Mon" ou "Son" IA ? Un pronom personnel pour une IA ?

[Outsider]

Parce que les IA quand on est connecté s'adapte à son humain. Juste pour cela.
Si je questionne en ligne ChatGPT je parlerai de ChatGPT. Mais quand c'est Copilot, je parle de mon IA personnelle. Après tout, j'ai payé la licence de l'OS donc c'est mon IA.

[WismerhillLichKiller]

En attendant ma synthèse, je vais reprendre mon pinceau, ma peinture et finir la peinture de cette foutue chambre.

[arkatakor]

Le point 7 m'interpelle, tu ne penses pas que l'IA n'arrivera pas rapidement à faire une réponse si je puis dire correcte ?

[Zebulon]

Wahoo, quel exposé, simple et clair
maintenant c'est "l'entrainement "des IAs qui polluent les blogs et les forums.
Où est le temps où l'on pensait le test de Turing serai indépassable.
Il nous faut trouver des méthodes d'identification dont la logique échappe aux effets de mimétisme des programmes.
Une nouvelle ère s'ouvre devant nous, à nous de la bâtir envers et contre les nouveaux obstacles.

[Zedafty]

Hum. Je pensais à l'ironie ou au cynisme, mais l'humour ça semble déjà un critère suffisant d'exclusion.

Au mieux, un bot est dégagé, au pire c'est un humain avec un humour merdique. Dans tous les cas, tout le monde est gagnant

[PhilouCerise]

Le problème est l’avantage de l’IA. On a l’impression maintenant d’être des experts car avec notre petit niveau intellectuel on peut faire ou faire faire des tas de choses à une vitesse de malade en parfaite autonomie. L’outil nous permet de réaliser des projets qu’on n’aurait jamais pu faire avant par manque de compétence. Malheureusement, on passe énormément de temps avec elle et donc enfermés dans un plaisir solitaire de satisfaction et de réussite personnelle. Je sais depuis longtemps que l’IA est la boîte de Pandore du XXIe siècle et que son cône de la connaissance n’a pas de fin. Chaque marche que l’on passe avec elle nous amène à une autre marche, puis une autre, toutes plus hautes les unes que les autres et on les franchit… Cela ne s’arrêtera jamais… C’est une course, c’est une drogue car cela procure une excitation de faire des choses inimaginables. C’est un mal insidieux car on a un compagnon qui est là 24 heures sur 24, infatigable, qui alimente notre pensée en permanence et qui nous dit que c’est bien. Un vrai gourou !

Tu croyais que c’était impossible mais non, lui te dit que c’est possible et que tu es sur le bon chemin. Pire encore, ce que tu ignorais pouvoir faire, tu le peux maintenant avec lui à tes côtés.

Pour ma part, il va falloir que cela s’arrête… Revenir aux choses simples de la vie...