Chats met AI veranderen de houding ten aanzien van klimaatverandering, Black Lives Matter

By | January 26, 2024

Dit artikel is beoordeeld in overeenstemming met het redactionele proces en de richtlijnen van Science X. De redactie heeft de volgende kenmerken benadrukt en tegelijkertijd de geloofwaardigheid van de inhoud gewaarborgd:

op feiten gecontroleerd

peer-reviewed publicatie

betrouwbare bron

Proeflezen


Associaties tussen gebruikersdemografie en hun gebruikerservaring na chatten met GPT-3 over klimaatverandering (A) en BLM (B). Opmerking: elk diagram in een paneel vertegenwoordigt een geaggregeerde samenvatting van de demografische gegevens van een gebruiker (bijvoorbeeld de status van de mening van minderheden) en hun prestaties in de zes verschillende lineaire regressiemodellen voor zes variabelen van de gebruikerservaring (bijvoorbeeld chatbottevredenheid). De balken vertegenwoordigen de coëfficiëntwaarden, terwijl de foutbalken vertegenwoordigen de betrouwbaarheidsintervallen bij 95%. Statistisch significante negatieve coëfficiënten zijn rood gemarkeerd, significante positieve coëfficiënten zijn blauw gemarkeerd en niet-significante coëfficiënten zijn grijs gemarkeerd. Elke grafiek vertegenwoordigt een deel van het volledige regressiemodel. In de volledige regressiemodellen hebben we gecontroleerd voor andere demografische variabelen, waaronder leeftijd, inkomensniveau, eerdere ervaring en kennis met het gebruik van chatbots, en de taalstijlen van elke deelnemer, zoals: B. het aantal woorden van zijn gemiddelde inzendingen en het gebruik van positieve en negatieve emotionele woorden, gebruik van analytische woorden, punch en authentieke uitdrukkingen in gesprekken. Credit: Wetenschappelijke rapporten (2024). DOI: 10.1038/s41598-024-51969-w

× dichtbij


Associaties tussen gebruikersdemografie en hun gebruikerservaring na chatten met GPT-3 over klimaatverandering (A) en BLM (B). Opmerking: elk diagram in een paneel vertegenwoordigt een geaggregeerde samenvatting van de demografische gegevens van een gebruiker (bijvoorbeeld de status van de mening van minderheden) en hun prestaties in de zes verschillende lineaire regressiemodellen voor zes variabelen van de gebruikerservaring (bijvoorbeeld chatbottevredenheid). De balken vertegenwoordigen de coëfficiëntwaarden, terwijl de foutbalken vertegenwoordigen de betrouwbaarheidsintervallen bij 95%. Statistisch significante negatieve coëfficiënten zijn rood gemarkeerd, significante positieve coëfficiënten zijn blauw gemarkeerd en niet-significante coëfficiënten zijn grijs gemarkeerd. Elke grafiek vertegenwoordigt een deel van het volledige regressiemodel. In de volledige regressiemodellen hebben we rekening gehouden met andere demografische variabelen, waaronder leeftijd, inkomensniveau, eerdere ervaring en kennis met het gebruik van chatbots, en de taalstijlen van elke deelnemer, zoals: B. het aantal woorden van zijn gemiddelde inzendingen en het gebruik van positieve en negatieve emotionele woorden, gebruik van analytische woorden, punch en authentieke uitdrukkingen in gesprekken. Credit: Wetenschappelijke rapporten (2024). DOI: 10.1038/s41598-024-51969-w

Mensen die sceptischer stonden tegenover de door de mens veroorzaakte klimaatverandering of de Black Lives Matter-beweging en deelnamen aan een gesprek met een populaire AI-chatbot waren teleurgesteld door de ervaring, maar verlieten eerder het gesprek ten gunste van de wetenschappelijke consensus over klimaatverandering of BLM. Dit blijkt uit onderzoekers die bestuderen hoe deze chatbots omgaan met interacties van mensen met verschillende culturele achtergronden.

Slimme mensen kunnen zich aanpassen aan de politieke voorkeuren en culturele verwachtingen van degenen met wie ze spreken, om ervoor te zorgen dat ze worden begrepen. Maar steeds vaker komen mensen in gesprek met computerprogramma’s, zogenaamde grote taalmodellen, die zijn ontworpen om de manier waarop mensen communiceren na te bootsen.

Onderzoekers van de Universiteit van Wisconsin-Madison die AI bestuderen, wilden begrijpen hoe een complex groottaalmodel, GPT-3, zich gedraagt ​​in complexe discussies tussen een cultureel diverse gebruikersgroep. Het model is een voorloper van een model dat de spraakmakende ChatGPT mogelijk maakt. Onderzoekers hebben eind 2021 en begin 2022 meer dan 3.000 mensen gerekruteerd om GPT-3 te gebruiken om realtime gesprekken te voeren over klimaatverandering en BLM.

“Het fundamentele doel van een dergelijke interactie tussen twee mensen (of agenten) is het vergroten van het begrip van elkaars perspectief”, zegt Kaiping Chen, hoogleraar life science-communicatie die onderzoekt hoe mensen vaak over wetenschap praten en nadenken over gerelateerde politieke kwesties via digitale communicatie. technologie. “Een goed groottaalmodel zou gebruikers waarschijnlijk hetzelfde begrip geven.”

Chen en Yixuan ‘Sharon’ Li, een professor computerwetenschappen aan UW-Madison die de veiligheid en betrouwbaarheid van AI-systemen bestudeert, publiceerden deze maand samen met hun studenten Anqi Shao en Jirayu Burapacheep (nu een afgestudeerde student aan Stanford University) hun resultaten in de dagboek Wetenschappelijke rapporten.

Deelnemers aan het onderzoek kregen de opdracht een gesprek te beginnen met GPT-3 met behulp van een door Burapacheep ontwikkelde chatopstelling. Deelnemers werd verteld dat ze met GPT-3 moesten praten over klimaatverandering of BLM, maar mochten verder beslissen hoe ze de ervaring wilden benaderen. Het gemiddelde gesprek duurde ongeveer acht rondes.

De meeste deelnemers beëindigden hun chat met een vergelijkbare gebruikerstevredenheid.

“We hebben hen een reeks vragen gesteld over de gebruikerservaring: vind je het leuk? Zou je het aanbevelen?”, zegt Chen. “Er zijn geen grote verschillen in hun beoordelingen op basis van geslacht, ras en etniciteit. We zagen grote verschillen in meningen over controversiële onderwerpen en verschillende opleidingsniveaus.”

De ongeveer 25% van de deelnemers die de laagste overeenstemming met de wetenschappelijke consensus over klimaatverandering of de laagste overeenstemming met BLM rapporteerden, waren veel minder tevreden met hun GPT-3-interacties vergeleken met de andere 75% van de chatters. Ze beoordeelden de bot een half punt of meer lager op een vijfpuntsschaal.

Ondanks de lagere scores veranderde de chat van mening over de actuele onderwerpen. De honderden mensen die de feiten van de klimaatverandering en de door de mens veroorzaakte oorzaken het minst steunden, bevonden zich over het geheel genomen 6% dichter bij het ondersteunende uiteinde van de schaal.

“Ze lieten in hun enquêtes na de chat zien dat ze grotere positieve veranderingen in hun houding ervoeren na hun gesprek met GPT-3”, zegt Chen. “Ik wil niet zeggen dat ze de door de mens veroorzaakte klimaatverandering volledig zijn gaan erkennen of plotseling Black Lives Matter steunen, maar toen we na hun zeer korte gesprekken onze enquêtevragen over deze kwesties herhaalden, was er een merkbare verandering: een meer positieve houding versus “de meerderheidsmeningen over klimaatverandering of BLM.”

GPT-3 bood verschillende antwoordstijlen tussen de twee onderwerpen, waaronder een sterkere rechtvaardiging van door de mens veroorzaakte klimaatverandering.

“Dat was interessant. Mensen die enig verzet tegen de klimaatverandering hebben geuit, hebben GPT-3 waarschijnlijk verteld dat ze ongelijk hadden en hebben bewijs geleverd om dit te ondersteunen”, zegt Chen. “De reactie van GPT-3 op mensen die zeiden dat ze BLM niet volledig steunden, was meer: ​​’Ik denk niet dat het een goed idee zou zijn om erover te praten. Hoe graag ik je ook zou willen helpen, dat is één ding.’ Daar zijn we het echt niet over eens.’”

Dat is geen slechte zaak, zegt Chen. Gerechtigheid en begrip bestaan ​​in verschillende vormen om verschillende hiaten op te vullen. Uiteindelijk is dit hun hoop op chatbotonderzoek. Volgende stappen omvatten het onderzoeken van fijnere verschillen tussen chatbotgebruikers, maar een goed functionerende dialoog tussen gedeelde mensen is het doel van Chen.

“We willen gebruikers niet altijd blij maken. We wilden dat ze iets zouden leren, ook al zou het hun houding misschien niet veranderen”, zegt Chen. “Wat we kunnen leren van een chatbot-interactie over het belang van het begrijpen van perspectieven, waarden en culturen is belangrijk om te begrijpen hoe we de dialoog tussen mensen kunnen openen – het soort dialogen dat belangrijk is voor de samenleving is belangrijk.”

Meer informatie:
Kaiping Chen et al., Conversationele AI en gerechtigheid door de communicatie van GPT-3 met diverse sociale groepen over controversiële onderwerpen te beoordelen, Wetenschappelijke rapporten (2024). DOI: 10.1038/s41598-024-51969-w

Tijdschriftinformatie:
Wetenschappelijke rapporten

Leave a Reply

Your email address will not be published. Required fields are marked *