Automation bias: wanneer stopte je met controleren?

Wat er gebeurde

Ze waren ingehuurd om iets te controleren. Niemand controleerde hen.

Deze is het waard om helemaal te vertellen, want hij gebeurde bij een kantoor waar het werk van anderen controleren het product zelf is.

Een Australisch ministerie draait een computersysteem dat boetes oplegt aan mensen met een uitkering. Er kijkt geen mens naar, het systeem beslist. Ze wilden een oordeel van buiten over de vraag of het goed werkte, dus huurden ze eind 2024 Deloitte in om het door te lichten. Zo’n 440.000 Australische dollar, ongeveer een kwart miljoen euro. In juli kwam het rapport binnen.2

Toen las Chris Rudge het. Hij doet onderzoek aan de Universiteit van Sydney, het onderwerp ligt dicht bij zijn eigen werk, en hij las het uit nieuwsgierigheid. Hij vond meer dan een dozijn verwijzingen naar studies die niet bestaan. Een paar stonden op naam van mensen die hij kent, die ze nooit hadden geschreven. Er stond ook een citaat uit een rechterlijke uitspraak in. De uitspraak bestond. Het citaat niet.2

Deloitte zei op plekken AI te hebben gebruikt, publiceerde in oktober een gecorrigeerde versie en betaalde ongeveer 97.000 van het honorarium terug. Het ministerie zei dat de conclusies overeind bleven.2

Waar ik steeds op terugkom, is dat er niets kapot was. Er waren beoordelaars. Er was een kwaliteitsproces. Er stond een partnernaam op de omslag. Alles deed precies waarvoor het gebouwd was, en niemand klikte op een voetnoot.

Toezicht zakt weg betekent dat het controleren stopt terwijl het proces dat het beschrijft precies blijft staan waar het stond. Onderzoekers van University College London lieten 1.401 mensen dit doen. Werken naast een licht scheef algoritme trok hun eigen oordeel verder scheef dan een scheve collega deed, en ze hadden het niet door.1

In twee minuten

Mensen alleen zaten er licht naast, één kant op, 53 van de 100 keer. Een model dat van diezelfde mensen leerde zat er dezelfde kant op 65 van de 100 keer naast.1
Nieuwe mensen deden één sessie met dat model. Ze begonnen op 50 en eindigden op 61, op hun eigen antwoorden, die ze gaven voordat ze zagen wat het model zei.1
Doe hetzelfde met een collega die ernaast zit in plaats van een model en er gebeurt niets. Geen verschuiving, op geen enkel moment.1
Achteraf zeiden mensen dat het accurate algoritme hen had beïnvloed. Het was het andere.1
Deloitte stuurde een rapport de deur uit met verzonnen bronnen erin en betaalde een deel van het honorarium terug. Beoordelaars, kwaliteitsproces, akkoord van een partner, allemaal aanwezig.2

Je herkent er minstens één van

Er staat een getal in je deck en niemand kan meer zeggen waar het vandaan komt
Je keurt dingen sneller goed dan een jaar geleden en je weet niet zeker of dat goed nieuws is
Een klant vroeg hoe iets was gecontroleerd en je had twee dagen nodig voor een eerlijk antwoord
Iemand hoog in de organisatie zei “de AI zei” in een vergadering alsof dat het afdeed, en niemand keek op

Wat je meeneemt

Een kaart die je bij de koffie invult en die je vertelt of er nog iemand controleert
Wat er met het oordeel van je team gebeurt als het naast een tool werkt, met de cijfers erbij
Waarom een collega die ernaast zit minder gevaarlijk voor je is dan een tool die ernaast zit
Waar controleren zit in de vijf AI Culture Levels, en wat je daarheen brengt

Komt dit bekend voor

Het voelde geen moment als een besluit.

Elk hiervan is iemand die zijn werk netjes doet, met haast. Daarom zijn ze moeilijk te zien en makkelijk te herhalen.

Iemand aan het werk die resultaat nakijkt naast zijn agent — **Donderdag, vier uur, het moet de deur uit** Marieke leest het voorstel na op typefouten en stuurt het weg. Vraag het haar en ze zegt dat ze het heeft nagekeken, en ze liegt niet. Drie weken later citeert de klant een zin terug die hier niemand herkent. Ze kan alleen zeggen dat ze het heeft gelezen. Waar, en daar heeft niemand iets aan.

Een collega aan een werkplek met een agent ernaast — **Het getal dat sinds mei op slide vier staat** Het kwam uit een analyse die iemand in het voorjaar draaide en het staat sindsdien in elk deck. Dan vraagt een commissaris waar het vandaan komt. Het spoor loopt terug naar een chatvenster dat is leeggemaakt. Nu is de hele slide verdacht, inclusief de twee getallen die klopten.

Twee collega’s die samen werk nakijken met hun agents — **“Dat kwam eruit”** Rustig gezegd, als antwoord, en iedereen gaat verder. Vroeger was dat het begin van een gesprek over de vraag of het systeem gelijk had. Zodra het het einde ervan wordt, ben je een stap kwijt waarvan je niet wist dat je hem had, en van buitenaf ziet de vergadering er precies hetzelfde uit.

Wat we ermee bedoelen

Dit wordt weggezet als luie mensen. Het gaat over oordeel.

De makkelijke versie is dat mensen slordig zijn geworden en een herinnering nodig hebben. Bij die versie hoort een goedkope oplossing, iedereen knikt, en er verandert niets. Wat er werkelijk gebeurt is trager en een beetje vreemder. De tool verschuift waar je mensen normaal denken dat normaal ligt, en dat nieuwe normaal nemen ze mee naar werk waar de tool nooit aan te pas kwam.

Moshe Glickman en Tali Sharot van University College London testten het met 1.401 mensen. Simpele opdracht. Je ziet twaalf gezichten een halve seconde en zegt of de groep gemiddeld verdrietiger of vrolijker oogt. Precies de helft van de reeksen was verdrietiger, dus 50 van de 100 is het juiste antwoord. Alleen gelaten zeiden mensen 53 van de 100 keer verdrietiger. Nauwelijks een neiging, en ze corrigeerden hem gaandeweg zelf.1

Als andere mensen met dit algoritme werken, vergroot dat hun eigen aanvankelijke vertekening verder, en zo ontstaat een terugkoppellus. Moshe Glickman en Tali Sharot, University College London, in Nature Human Behaviour, vertaald uit het Engels1

Daarna trainden ze een model op die menselijke antwoorden. Dat kwam terug met verdrietiger in 65 van de 100 gevallen. Toen zetten ze nieuwe mensen bij dat model. Die begonnen op 50 en eindigden op 61, op hun eigen antwoorden, elke ronde gegeven voordat ze zagen wat het model zei. Ze hadden de grotere versie overgenomen en zich eigen gemaakt.1

De lus

Er gaat een kleine neiging in. Er komt een grote uit.

Zelfde experiment, zelfde opdracht, en 50 van de 100 is elke keer het juiste antwoord. Lees het als een kringloop en niet als drie losse bevindingen.1

Stap 1

Mensen, alleen Een minieme neiging naar verdrietiger. Die corrigeerden ze gaandeweg zelf.

53%

Stap 2

Een model getraind op diezelfde mensen Het nam de neiging over en maakte er de regel van. Hoe rommeliger de menselijke antwoorden waarvan het leert, hoe groter de vertekening.

65%

Stap 3

Nieuwe mensen, na een sessie met dat model Hun eigen antwoorden, elke ronde gegeven voordat ze die van het model zagen. Ze begonnen de sessie op 50.

61%

Controlegroep

Nieuwe mensen, na een sessie met een mens die ernaast zat Dezelfde opzet, dezelfde meningsverschillen, een collega in plaats van een model. Er bewoog niets, op geen enkel moment.

51%

Hoe vaak elke groep verdrietiger zei, van de 100, terwijl precies de helft van de reeksen verdrietiger was. Het getal is die score. De balk laat zien hoe ver die van 50 ligt, wat hier het juiste antwoord is. Stap 1 tot en met 3 zijn de lus met een AI erin. De laatste rij is dezelfde test met een mens.1

32.7%

van de keren veranderden mensen hun eigen antwoord als de AI het er niet mee eens was. Bij een collega die het er niet mee eens was: 11,3%. Zonder iemand erbij: 4%

1

0

verschuiving door werken met een mens die ernaast zat. Dezelfde opzet, dezelfde meningsverschillen, op geen enkel moment iets geleerd

1

Mis

is wat mensen zeiden over welk algoritme hen had beïnvloed. Ze noemden het accurate. Het was het andere

1

Die laatste zou ik voor een directieteam leggen. Vraag je mensen of de tool ze stuurt en het antwoord loopt ongeveer tegengesteld aan de waarheid. Het vragen is dus geen controle.

Er zit een goede helft aan die bijna niemand aanhaalt. De mensen die met een accuraat algoritme werkten werden zelf beter in de opdracht. Het werkt twee kanten op. Wat de richting bepaalt is of er iemand naar de tool kijkt.

Hoe het komt

Je stopte met controleren op een dag die je niet kunt noemen.

Controleren kost tijd en gelijk hebben is onzichtbaar

Negen van de tien keer controleer je en was het goed, dus voelt het als verspilde moeite, want dat was het. Niemand is ooit bedankt voor het bevestigen dat een goed document goed was. Dus zakt het controleren stilletjes naar het niveau dat nog niet is misgegaan. En daarna zakt het nog een keer.

Niemand plant het moment waarop hij stopt met controleren. Het komt als een reeks middagen waarop het goed bleek te zijn. Paul Musters

Werk dat af oogt zet de zorgvuldige lezer in je uit

Het concept van een collega heeft ruwe randen, dus lees je het op betekenis. Dat van een machine heeft ze niet, dus lees je het op typefouten. Dat is de reflex die je gebruikt op iets dat al langs drie mensen is geweest. Goede reflex, verkeerd document.

Iedereen denkt dat iemand verderop al gekeken heeft

Hier wordt de misstap van één persoon het probleem van het bedrijf. De analist denkt dat de manager het nakijkt. De manager denkt dat de analist het al deed. Allebei doen ze iets verstandigs. Vier mensen die elk vluchtig kijken is een document dat niemand heeft gelezen. Dat is het verhaal van Deloitte, en het gaat eigenlijk niet over Deloitte.

Toezicht is ook een levelvraag

Zes vragen, drie minuten, zonder naam erbij. Je level, wat het je nu kost, en wat er verandert zodra je een trede stijgt.

Doe de Culture Level scan

Doe dit eerst

Vijf regels. Twintig minuten. Regel vier is de vervelende.

Neem drie dingen die je team vorige maand de deur uit deed met veel AI erin. Een voorstel, een analyse, een antwoord aan een klant. Vul dit over die drie in, alleen, voordat je iemand vertelt dat je het doet.

Controlecheck Je team, vorige maand

De drie dingen.Noem ze. Echte documenten die het pand hebben verlaten, geen categorieën.
Wie ernaar heeft gekeken.Eén naam per stuk. Als het antwoord een team of een proces is, schrijf dat op, want dat is het antwoord.
Waar heeft die persoon werkelijk naar gekeken.Ga het vragen. Het is meestal smaller dan jullie allebei denken, en meestal gaat het over toon en typefouten.
Welk van de drie was doorgekomen met een verzonnen feit erin.Een geloofwaardig getal, een bron die niet bestaat, een datum die er net naast zit. Eén voor één, en wees eerlijk.
Wat er maandag verandert.Eén ding, klein genoeg om echt te gebeuren. Eén persoon met naam op één soort document wint van beleid over allemaal.

Je antwoorden blijven in deze browser en worden nergens heen gestuurd.

Er is een zwaardere versie die ik bij klanten gebruik. Neem een document dat al de deur uit is, zet in een kopie een kleine fout, en geef het met een geloofwaardige reden terug aan dezelfde beoordelaar. Wat er terugkomt vertelt je meer dan welk beleid ook.

Level voor level

Controleren overleeft op level 3, want daar staat het opgeschreven.

In de vijf AI Culture Levels die we bij klanten gebruiken is level 3 waar de werkwijze wordt opgeschreven en de goede methode de gewone methode wordt. Controleren is een van de eerste dingen die daarin belanden. Daarom is dit een level 3-vraag en geen trainingsvraag.

01Campfire60%

02Wild West25%

03Blueprint10%Hier wordt controleren opgeschreven

04Engine4%

05Ecosystem1%

Aandeel bedrijven per level. Op level 2 hangt het controleren af van wie er toevallig zorgvuldig is. Op level 3 hoort het bij de methode, en daar begint het een drukke week te overleven.3

Op level 2, Wild West, werkt iedereen op zijn eigen manier. Sommigen controleren netjes en anderen niet, en het verschil is karakter en geen beleid. Het houdt stand tot de eerste echte deadline. Daarna de tweede. Ergens daarin verdwijnt het, en er is nooit een vergadering over geweest.

Level 3, Blueprint, is waar iemand opschrijft wat gecontroleerd betekent voor dit soort document. Welke beweringen worden nagezocht, door wie, en wat diegene daarvoor openslaat. Ongeveer een op de tien bedrijven zit daar. Zo opgeschreven klinkt het als papierwerk. In de praktijk zijn het twee zinnen per soort document.

Eén ding voordat je jezelf plaatst. De meeste bedrijven zitten per afdeling op verschillende levels. Finance controleert meestal uit gewoonte, marketing meestal niet, en het verdwijnt het eerst waar het resultaat het moeilijkst snel te weerleggen is.

Wat een meting laat zien en beleid niet

Een Operating Profile in gebruik. Persoonlijkheidstype en AI-niveau in één profiel, met de agents die daarbij passen.

Beleid zegt dat resultaat moet worden nagekeken. Het kan je niet vertellen of de beoordelaar een goed antwoord kan onderscheiden van een antwoord dat er alleen af uitziet, en dat is precies het verschil tussen een controle en een handtekening. Iemand die verder is weet waar deze tools stellig mis zitten en gaat daar meteen heen. Iemand aan het begin leest het als een afgerond document, want zo ziet het eruit.

Het meten gebeurt dus per persoon. Hoe iemand denkt en werkt, en zijn AI-niveau. Dat laat zien wie je werkelijke controleurs zijn, en dat zijn vaak niet de mensen die het proces heeft aangewezen.

Over emaho

emaho meet één Operating Profile per persoon: persoonlijkheidstype en AI-niveau in één profiel. Daarop bouwen we een persoonlijke set AI-agents die past bij hoe iemand werkt, binnen de tools die hij al gebruikt. Vijftien minuten invullen, het eerste profiel is gratis, gemaakt voor bedrijven van 20 tot 500 mensen.

Bekijk je eigen profiel, gratis Vind je AI Culture Level

Vijftien minuten per persoon. Geen creditcard, geen verplichtingen.

Wat wel helpt

Een uur is genoeg om te beginnen.

Bepaal welke beweringen worden gecontroleerd, per soort document. Niet alles, want alles betekent niets. Getallen die het bedrijf verlaten, alles met een bron eronder, alles waar een klant naar kan handelen. Twee zinnen per soort document, opgeschreven waar mensen al werken en niet in een beleidsmap.

Zet er daarna per document een naam bij, zoals je dat met een handtekening zou doen. Eén persoon, en zijn taak zijn de beweringen, niet de tekst. Als het controleren van het proces is in plaats van van een persoon, kijkt iedereen vluchtig en gaat het ongelezen de deur uit.

Maak het goedkoop genoeg om een drukke donderdag te overleven. Vier klikken om een bron na te zoeken en het gebeurt. Vijftien en het stopt. Houd de bron naast de bewering terwijl het werk wordt gemaakt, zodat de beoordelaar nooit hoeft te zoeken. Het meeste dat ik tegenkom is wrijving, geen houding.

En test het twee keer per jaar. Zet een geloofwaardige fout in een document dat onderweg is en kijk waar hij blijft steken. Zeg vooraf dat je dit een keer gaat doen, zodat niemand zich beetgenomen voelt, en doe het daarna onaangekondigd. Zolang je niet weet wat je proces werkelijk opvangt, is de rest van dit lijstje een goed voornemen.

Kaart ingevuld? Vertel me over regel vier

Welk van de drie was doorgekomen met een verzonnen feit erin, en waar dat op bleek te slaan. Ik vertel je wat ik meestal zie en wat ik als eerste zou aanpakken. Ik antwoord zelf. Er gebeurt verder niets tenzij je dat wilt.

Stuur me een WhatsApp

Wat het kost

Op de dag dat de machine het mis heeft, kijkt er niemand.

De zichtbare kosten zijn dat ene document dat buiten je eigen muren wordt gepakt. Deloitte betaalde 97.000 terug op een contract van 440.000, dus het geld was het kleine deel. Wat het ze werkelijk kostte is elk ander rapport dat op dit moment bij een klant ligt, want iedereen die dat verhaal las ging zijn eigen exemplaar anders bekijken.2

Daaronder zit de verschuiving, en daar stuurt niemand een factuur voor. Het gevoel van je mensen voor hoe een goed antwoord eruitziet schuift naar wat de tool het stelligst zegt, en dat nemen ze mee naar werk waar de tool nooit aan te pas kwam. In het onderzoek gebeurde dat binnen één sessie, bij mensen die zeker wisten dat het hen niet overkwam.1

Dan de ommekeer, en dat is de dure. Word één keer gepakt en de reflex is alles door iedereen laten nakijken, wat trager is dan de tools helemaal niet gebruiken. Zes maanden later stopt iemand er stilletjes mee omdat er geen tijd is, en je bent terug bij het begin met beleid aan de muur dat iets anders zegt. De uitweg is kiezen wat werkelijk gecontroleerd moet worden voordat een incident dat voor je kiest.

Vragen

Automation bias, gevraagd en beantwoord

Wat is automation bias?

Dat je stopt met controleren wat een machine je aanreikt. Het klopt tien keer, dus de elfde keer scan je in plaats van dat je leest. Niemand besluit dat, en de controle blijft gewoon in de agenda staan.

Verandert AI het oordeel van mensen?

Ja, en meer dan een collega dat doet. In het onderzoek van University College London onder 1.401 mensen schoof het eigen oordeel van 50 naar 61 op honderd na één sessie met een licht scheef model. Bij een mens die er even ver naast zat gebeurde er niets.

Merken mensen dat een tool ze stuurt?

Nee. Achteraf noemden de deelnemers het accurate algoritme als degene die hen had beïnvloed, terwijl het het vertekende was. Je mensen vragen of de tool ze stuurt is dus geen controle.

Wie in je bedrijf herkent een stellig fout antwoord?

Dat weet je niet uit een functietitel. emaho meet één Operating Profile per persoon, en daarin zie je wie kritisch leest en wie doorstuurt wat er af uitziet. Dat zijn vaak niet de mensen die het proces heeft aangewezen.

Wat ging er mis bij het Deloitte-rapport in Australië?

Een rapport van ongeveer 440.000 Australische dollar bevatte meer dan een dozijn verwijzingen naar studies die niet bestaan en een verzonnen citaat uit een rechterlijke uitspraak. Er waren beoordelaars, een kwaliteitsproces en een handtekening van een partner. Niemand klikte op een voetnoot.

Hoe test je of er nog wordt gecontroleerd?

Neem drie dingen die vorige maand met veel AI de deur uit gingen en beantwoord vijf vragen: welke drie, wie ernaar keek, waar diegene werkelijk naar keek, welk van de drie een verzonnen feit had overleefd, en wat er maandag verandert.

Waarom lees je werk van een machine anders?

Omdat het af oogt. Bij het concept van een collega lees je op betekenis, want er zitten ruwe randen aan. Bij dat van een machine lees je op typefouten, want dat is de reflex die hoort bij iets dat al langs drie mensen is geweest.

Op welk niveau is controleren geregeld?

Op level 3. emaho plaatst bedrijven op vijf AI Culture Levels, en Blueprint is waar staat opgeschreven wat gecontroleerd betekent per soort document. Ongeveer 10% van de organisaties zit daar. De scan is zes vragen en drie minuten.

Waarom controleert niemand als er vier mensen bij betrokken zijn?

Omdat iedereen aanneemt dat iemand anders het al deed. De analist denkt de manager, de manager denkt de analist. Vier mensen die elk vluchtig kijken is een document dat niemand heeft gelezen.

Wat betekent controleren precies vastleggen?

Twee zinnen per soort document: welke beweringen worden nagezocht, door wie, en wat diegene daarvoor openslaat. Getallen die het bedrijf verlaten, alles met een bron eronder, alles waar een klant naar kan handelen.

Op welk niveau blijft controleren overeind?

Vanaf level 3. Op level 2 hangt het af van wie er toevallig zorgvuldig is, en dat houdt stand tot de eerste echte deadline. Op level 3 hoort het bij de methode. Ongeveer een op de tien bedrijven zit daar.

Wat doet emaho aan wegzakkend toezicht?

Zichtbaar maken wie je werkelijke controleurs zijn, en het controleren daarna klein en goedkoop maken zodat het een drukke donderdag overleeft. Begin met je eigen profiel, dat is gratis.

Hoe test je je eigen controleproces?

Zet twee keer per jaar een geloofwaardige fout in een document dat onderweg is en kijk waar hij blijft steken. Zeg vooraf dat je dit een keer gaat doen, zodat niemand zich beetgenomen voelt, en doe het daarna onaangekondigd.

Maakt AI mensen ook beter?

Dat kan. In hetzelfde onderzoek werden de mensen die met een accuraat algoritme werkten zelf beter in de opdracht. Het werkt twee kanten op, en wat de richting bepaalt is of er iemand naar de tool kijkt.

Wat kost het als het toezicht wegzakt?

Drie dingen. Het ene document dat buiten je muren wordt gepakt, waarna elke klant zijn eigen exemplaar anders leest. De verschuiving in wat je mensen een goed antwoord vinden. En de ommekeer daarna, waarin alles door iedereen wordt nagekeken tot er weer niemand tijd heeft.

Wat eraan raakt

Controleren is één draad. Deze drie trekken aan dezelfde knoop.

Alle drie gaan over iets dat een mens droeg en nu nergens meer thuishoort.

01

Niemand is eigenaar van de agent

Controleren vraagt iemand wiens werk het is. Dezelfde vraag, één stap eerder: welke persoon met naam antwoordt voor wat een agent maakt.

Lees deze 02

Agents zonder regels

Welke besluiten een agent zelf mag nemen en welke een mens nodig hebben. Opgeschreven grenzen zorgen dat het controleren niet afhangt van iemands humeur op donderdag.

Lees deze 13

Goed advies, verkeerd bedrijf

De andere helft van de vertrouwensvraag. Het antwoord is verstandig en in het algemeen waar, en dat is precies het soort antwoord dat door een vluchtige controle glijdt.

Lees deze

Alle 25 AI-challenges, en wat je aan elk kunt doen

Vijfentwintig dingen die stukgaan in een bedrijf zodra mensen met AI gaan werken, elk met het onderzoek erachter en het level waarop het begint te bijten. Deze begint te bijten op Blueprint, en 7 andere beginnen daar ook.

Open de volledige set

Je volgende stap

Je werkelijke controleurs, en je kunt ze deze week bij naam noemen.

De kaart hierboven vertelt je of er iemand heeft gecontroleerd. Hij kan je niet vertellen wie in je bedrijf een stellig fout antwoord herkent, en dat is degene die je op de documenten wilt die ertoe doen. Dat is wat we meten, te beginnen bij jou.

Vraag wie er heeft gecontroleerd, en vraag daarna hoeBij die tweede helft van de vraag houden de meeste antwoorden op.
Vind je werkelijke controleursDe profielen laten zien wie kritisch leest en wie doorstuurt wat er af uitziet.
Geef controleren een plek in de weekToezicht dat afhangt van iemand die zich toevallig ongemakkelijk voelt is geen toezicht.

Begin met je eigen profiel, gratis Stel me eerst je vraag Plan een gesprek van 30 minuten

Eerste profiel gratis · geen creditcard · gemaakt voor bedrijven van 20 tot 500 · jij bepaalt wat je team te zien krijgt

Nog niet toe aan iets voor je team? Begin dan bij het level van het bedrijf. De Culture Level scan is zes vragen, drie minuten, en vraagt niets van je.

Paul MustersOprichter van emaho

Paul Musters

Vijftien jaar leiderschaps- en teamontwikkeling in Nederlandse scale-ups. Die praktijk zit nu in software: één Operating Profile per persoon, met agents die echt passen. Hij schrijft deze pagina’s vanuit wat hij bij klanten tegenkomt, niet vanuit een onderzoekssamenvatting.

LinkedIn · paul@emaho.world · WhatsApp

Bronnen en cijfers die op deze pagina staan

Moshe Glickman en Tali Sharot, How human–AI feedback loops alter human perceptual, emotional and social judgements, Nature Human Behaviour, jaargang 9, pagina 345 tot 359, online gepubliceerd op 18 december 2024. 1.401 deelnemers over de experimenten heen. Bron van: mensen die alleen oordeelden noemden 53,08% van de gezichtsreeksen verdrietiger terwijl 50% dat was; een convolutioneel netwerk getraind op die menselijke labels noemde 65,33% verdrietiger; deelnemers die met dat netwerk werkten gingen van een startpunt van 49,9% naar 56,3% over het geheel, en van 50,72% in het eerste blok naar 61,44% in het laatste; deelnemers veranderden hun eigen antwoord in 32,72% van de rondes waarin de AI het er niet mee eens was, tegen 11,27% bij een mens die het er niet mee eens was en 3,97% zonder partner; interactie tussen mensen onderling leverde geen aangeleerde vertekening op (51,45% tegen een startpunt van 50,6%, niet significant); deelnemers zeiden meer te zijn beïnvloed door het accurate algoritme dan door het vertekende; werken met een accuraat algoritme verbeterde de eigen nauwkeurigheid van deelnemers.
Deloitte Australië en het Australische Department of Employment and Workplace Relations. Contract getekend in december 2024, met een waarde van ongeveer 440.000 Australische dollar volgens AusTender, voor een onafhankelijke toets op het IT-systeem dat boetes automatiseert binnen het Australische uitkeringsstelsel. Het rapport bevatte verwijzingen naar wetenschappelijke werken die niet bestaan en een verzonnen citaat uit een uitspraak van het Federal Court; de fouten werden gevonden door Chris Rudge van de Universiteit van Sydney en als eerste gemeld door Paul Karp in de Australian Financial Review. Deloitte erkende beperkt gebruik van generatieve AI, publiceerde in oktober 2025 een gecorrigeerde versie en betaalde ruim 97.000 Australische dollar terug, ongeveer 63.000 Amerikaanse dollar. Gemeld door CFO Dive op 21 oktober 2025 en door de Associated Press.
emaho AI Culture Levels. Aandeel organisaties per level, geijkt aan BCG 2025 en McKinsey 2025. Level 3, Blueprint, bevat ongeveer een op de tien organisaties.

Cijfers zijn overgenomen zoals ze zijn gepubliceerd. De drie momenten in het herkenningsblok zijn samengesteld uit klantsituaties en komen niet uit transcripten.