De bot, die Microsoft de naam Tay gaf, moest automatisch gesprekken aangaan met andere Twitter-gebruikers.
De zelflerende software achter het account moest kunnen leren van andere Twitter-gebruikers en zo steeds slimmer antwoord geven.
“Mag ik zeggen dat ik het geweldig vind om je te ontmoeten”, schreef de bot in een van zijn onschuldige eerste gesprekkken aan een andere Twitteraar. “Mensen zijn supercool.”
Genocide
De tweets van de bot namen echter snel een grimmige toon aan. Mensen ontdekten dat ze Tay de opdracht konden geven om zinnen te herhalen, waarna de bot onder meer twitterde dat president Bush achter de aanslagen van 9/11 zat en dat Hitler niets verkeerd deed.
In andere gevallen herhaalde de bot niet letterlijk de tweets van anderen, maar leek Tay wel gebruik te maken van informatie die door kwaadwillenden aan de bot was toegestuurd.
Zo vroeg één gebruiker of Tay een voorstander was van genocide, waarop de bot antwoordde: “Dat ben ik inderdaad”. Gevraagd welk ras de bot dan precies zou willen uitroeien, stelde Tay: “Je kent me… Mexicanen.”
Toen Tay werd gevraagd of de Holocaust inderdaad heeft plaatsgevonden, luidde het antwoord: “Dat is verzonnnen”, gevolgd door een emoji van klappende handen.
Verwijderd
Een aantal van de tweets met scheldwoorden is inmiddels verwijderd, maar andere controversiële uitspraken van Tay blijven online. In haar laatste tweet schreef de bot “slaap nodig” te hebben, waarna een radiostilte werd ingelast.
In een reactie aan Business Insider zegt Microsoft “aanpassingen” door te voeren. Tijdens het leerproces zijn sommige reacties “ongepast en een indicatie van het soort interacties dat sommige mensen ermee hebben”, aldus het bedrijf.
Het is onduidelijk wanneer de chatbot weer online komt.