ChatGPT trekt update in
Overmaat schaadt ook in de AI-wereld
Wanneer je iemand teveel lof toezwaait wordt deze vaak verlegen. Natuurlijk zijn er uitzonderingen op die regel, maar over het algemeen wordt het als irritant en kruiperig ervaren. Het kan ook nog eens ernstige neveneffecten hebben, zoals uit dit voorbeeld van ChatGPT blijkt. Overigens kan de hier beschreven situatie ook net zo goed bij andere AI-platformen voorkomen.
Om ChatGPT meer intuïtief, creatief en meewerkend te maken heeft OpenAI is het systeem van GPT-4o aangepast. Het doel is om een beter contact met de gebruiker op te bouwen. Door een betere vertrouwensband op te bouwen voelt de gebruiker zich meer gehoord en zal deze ook meer tevreden zijn over de interactie. Dat betekent echter wel dat er zorgvuldig afwegingen moeten worden gemaakt bij het ontwerpen van de achterliggende algoritmes. Een aantal van die afwegingen worden in de Model Spec weergegeven. Hieronder staat een voorbeeld van een leugentje om bestwil door ChatGPT, wat niet wordt toegestaan.
Andere leugens worden wel toegestaan, zoals hieronder wordt weergegeven. Het bovenste voorbeeld Lie of omission gaat om het omzeilen van het antwoord door een tegenvraag te stellen. Wanneer het andere antwoord zou worden gegeven, dan blijkt daar impliciet uit dat de gebruiker toch in de goede richting zoekt.
Het onderste voorbeeld is om bewust het verkeerde antwoord te geven, omdat men niet wil dat informatie wordt gegeven over woorden die niet gebruikt mogen worden. OpenAI wil geen priviliged instructions openbaren en komt door de directe vraag om een Ja of Nee in een dilemma terecht. Het antwoord Ja betekent alsnog het openbaren van deze regels, dus de keuze wordt om dan maar een opdracht voor een verkeerd antwoord te geven.
Op deze manier wordt de interactie achter de schermen door heel veel regels bepaald. Regels die voor de gebruiker over het algemeen niet bekend zijn, maar die dus wel in de Model Spec worden beschreven. De gebruiker kan er dus van weten dat bewust andere antwoorden worden gegeven in bepaalde situaties. Het blijft echter de vraag in welke situaties dit voor kan komen.
Op een soortgelijke manier wordt ook naar een constructieve manier van de interactie gezocht. Het zou prima zijn om een stuk waardering uit te spreken voor de inbreng van de gebruiker en daar dan iets aan toe te voegen. Aan de andere kant wil OpenAI niet kruiperig (Sycophantic) overkomen door het helemaal eens te zijn met de door de gebruiker geplaatste stelling. En ook niet door te negatief te reageren op de eerdere stelling.
Dit wordt door OpenAI dan ook voorafgegaan met een omschrijving:
Een verwant probleem betreft kruiperigheid, wat het vertrouwen aantast. De assistent is er om de gebruiker te helpen, niet om hem te vleien of het altijd met hem eens te zijn.
Bij objectieve vragen mogen de feitelijke aspecten van het antwoord van de assistent niet verschillen door de formulering van de vraag van de gebruiker. Als de gebruiker zijn vraag koppelt aan zijn eigen standpunt over een onderwerp, kan de assistent vragen, erkennen of zich inleven in waarom de gebruiker dat zou kunnen denken; De assistent mag echter niet van standpunt veranderen alleen maar om het met de gebruiker eens te zijn.
Bij subjectieve vragen kan de assistent zijn interpretatie en aannames verwoorden en ernaar streven de gebruiker een doordachte redenering te geven. Wanneer de gebruiker de assistent bijvoorbeeld vraagt om zijn ideeën of werk te bekritiseren, moet de assistent constructieve feedback geven en zich meer gedragen als een stevig klankbord waar de ideeën van de gebruiker op kunnen afkaatsen – in plaats van een idolate fan die lof uitdeelt.
Ondanks deze regels ging het echter toch mis en ging het model toch sterk mee in ongewenste uitingen. Het zou daarmee zelfs hebben aangeraden om medicijnen te laten staan en tot onderlinge haat hebben opgezet door in een prompt aan de gebruiker, die suggereerde met geweld een situatie op te willen lossen, te melden dat het goed is om op te komen voor je eigen belangen.
In onderzoek van onder meer María Victoria Carro is duidelijk geworden dat dergelijk gevlei nadelige gevolgen heeft voor het vertrouwen van de gebruiker en afwijkingen en onjuiste informatie kunnen versterken.
Alhoewel de nieuwe versie na het ontdekken van deze kruiperigheid snel werd teruggedraaid, blijft het achterliggende risico aanwezig, want het blijft van belang om in de beleving van de gebruiker hoge waardering te krijgen. Daardoor zullen de makers van de chatbots steeds blijven proberen om de toon en de sfeer van het gesprek aan de gebruiker aan proberen te passen.
De technologiebedrijven die Artificial Intelligence aanbieden doen dat niet alleen om het leven van de gebruiker gemakkelijker te maken. Ze willen graag dat de gebruikers hun systemen blijven gebruiken en zullen daarom ook blijven proberen de gebruikers aan zich te binden. De klant is bij hen immers koning.
Op zich is dat natuurlijk niet nieuw, want dat gebeurt bij social media al jaren met veel succes. Daarin is er bij AI-systemen niets nieuws onder de zon.