Språkliga och epistemologiska perspektiv på vittnesmål
Vittnesbörd är en väsentlig och oumbärlig metod för att förvärva kunskap. Ändå är det ett av de mest grundläggande filosofiska problemen att förstå semantiken och pragmatiken hos yttranden som ger vittnesbörd, och att utforska de villkor under vilka sådana är tillförlitliga – och därigenom kunskapsgenererande. Detta problem har både epistemologiska och språkliga särdrag. Men även om problemet måste undersökas utifrån båda dessa perspektiv, adresserar kunskapsteoretiker och språkfilosofer ofta det i relativ isolering. Vårt huvudmål i detta projekt är att integrera den senaste banbrytande forskningen om de kunskapsteoretiska och språkfilosofiska grunderna för vittnesmål. Vi vill reflektera över/undersöka (a) hur aktuell forskning inom språkfilosofi och vittnesmålsepistemologi kan komplettera varandra och (b) hur dessa forskningsprogram kan tillämpas på praktiska samhällsfrågor. Vi kommer främst intressera oss för offentliggjorda vetenskapliga vittnesmål och vilken roll vetenskapligt vittnesmål bör ges i samhället. Detta inkluderar till exempel vetenskapliga vittnesmål om effekterna av klimatförändringar. Vi kommer också att jämföra vetenskaplig vittnesbörd med andra fall som vittnesbörd om normativa frågor, t.ex. politiskt vittnesbörd. I synnerhet de senare fallen väcker också frågor om skadlig vittnesbörd och så kallad 'testimonial injustice' som kommer att vara ett centralt fokus i de senare stadierna av projektet.
Slutredovisning
Syftet med detta projekt var att undersöka i vilken utsträckning teorier inom språkfilosofi och semantik kunde användas för att belysa grundläggande frågor inom epistemologi, främst inom vittnesmålets epistemologi. Mer generellt ville vi överväga hur dessa forskningsprogram kunde tillämpas på praktiska samhällsfrågor med ett primärt fokus på fall av offentliga vetenskapliga vittnesmål och den korrekta rollen för vetenskapliga vittnesmål i samhället. Detta skulle till exempel inkludera vetenskapliga vittnesmål om klimatförändringarnas inverkan. Vi ville dock också jämföra fall av vetenskapliga vittnesmål med andra fall som rör vittnesmålens natur och inverkan på normativa frågor. De senare fallen i synnerhet väckte också frågor om skadliga vittnesmål och orättvisa vittnesmål, vilket skulle vara en fokuspunkt i projektets sena skeden. Många av dessa frågor behandlades under projektets gång, både i projektets workshops och konferenser, samt i akademiska publikationer och presentationer på konferenser på andra ställen. Dessutom presenterades projektforskning om några av dessa frågor offentligt genom offentliga föredrag, paneldebatter och poddsändningar.
Bortsett från dessa planerade aktiviteter uppstod en oväntad vändning i projektet på grund av den extremt snabba och oväntade framväxten av AI-chattrobotar körda på stora språkmodeller (LLM), vilket plötsligt introducerade en outforskad och potentiellt problematisk dimension vad gäller tillförlitligheten hos vetenskapliga vittnesmål. Särskilt från den språkliga sidan av saken uppstod snabbt frågor om huruvida resultaten från LLM ens kan ses som i grunden meningsfulla. Och från den epistemologiska sidan blev det tydligt att LLM-drivna chattrobotar har framträtt som en konkurrent till standardkällor till vetenskapliga vittnesmål och därmed som en metod för att kringgå experter. Även om det verkar som att detta, kanske i allmänhet, är extremt fördelaktigt, för utvecklingen med sig ett antal epistemiska risker som plötsligt blev mycket relevanta för vårt projekt. Som ett resultat började några av projektmedlemmarna omedelbart integrera dessa frågor i sin forskning. Men med tanke på tidsfördröjningen inom akademisk publicering kommer många av resultaten att komma under de kommande åren. I tillägg ger många av projektets bidrag en viktig grund för vidare forskning om AI-vittnesmål. Projektet exemplifierar således hur grundläggande forskning kan visa sig vara viktig för att hantera snabbt föränderliga tekniska utvecklingar med stor samhällspåverkan.
När det gäller projektets viktigaste resultat, på språkfilosofi/semantik sidan, kom dessa mot slutet av projektet (med ytterligare resultat i arbete). Inledningsvis försökte vi fastställa i vilken utsträckning befintliga teorier om indirekt tal och indirekta talrapporter kunde användas för att belysa faktiska praktiska problem inom vittnesmålets epistemologi. Dessa frågor tematiserades i projektets workshops och konferenser. Generellt sett var interaktionerna fruktbara i den mån både epistemologer och språkfilosofer fick möjlighet att ställa nya forskningsfrågor. Med tanke på den grundläggande forskningens långsamma natur pågår mycket av denna forskning fortfarande, men som nämnts kunde denna forskning utvidgas till att ta itu med framväxten av AI, eftersom vi insåg att chatbotar som drivs av stora språkmodeller redan har blivit ett slags vetenskapligt vittnesmål som är betrott både av allmänheten men också av relevanta individer med betydligt inflytande på samhällspolitiskt beslutsfattande. Vi lade därför ner avsevärd tid på att undersöka hur dessa LLM:er faktiskt fungerar och sedan diskutera i vilken utsträckning resultaten från dessa LLM:er kan betraktas som faktiskt meningsfulla och/eller tillförlitliga. Detta resulterade i publikationen "The Outputs of LLMs are Meaningless" (av projektledaren Anders Schoubye, tillsammans med Anandi Hattiangadi, kommande) där det argumenteras för att utdata från LLM:er endast är meningsfullt i den utsträckning som användaren förser det med mening. Detta har också givit upphov till ett antal nya forskningsfrågor som vi för närvarande undersöker, såsom om (och i så fall, hur) man kan få kunskap från chatbots-"vittnesmål" och vad, om något, man faktiskt kan lära sig om mänsklig kognition från dessa modeller.
På projektets epistemologiska sida har arbetet, särskilt med vetenskapskommunikation, resulterat i ett antal begreppsliga frågor som inte förväntades. Till exempel kräver vissa hypoteser om kommunikation av vetenskaplig osäkerhet empirisk testning och följaktligen utvecklar projektmedlemmarna nu studiedesigner i internationellt samarbete. Dessutom har frågor om icke-faktiska vetenskapliga vittnesmål – t.ex. vetenskapliga rekommendationer från vetenskapliga rådgivande nämnder – uppstått och utforskas för närvarande, och två artiklar om detta ämne närmar sig nu inlämning för publicering. Slutligen har tillämpningen av forskningsresultat inom vetenskapsjournalistik under covid-19 väckt oförutsedda frågor gällande vetenskapskommunikation under en krissituation. Dessa har både behandlats i akademiska publikationer och i den offentliga världen. Till exempel fungerade professor Gerken som vetenskaplig rådgivare för en guide till att kommunicera vetenskap som utvecklades under covid-19 och distribuerades till 11 000 journalister och kommunikationsexperter under pandemin.
Ett något intressant men inte särskilt överraskande resultat som projektet har bragt i dagen är hur
svårt det är att slå samman och kombinera insikter från områden som är nära besläktade men har betydligt olika mål. Som nämnts var den huvudsakliga ambitionen för den språkliga sidan av projektet att tillämpa observationer och teorier från språkfilosofi och språklig semantik rörande indirekt tal på praktiska epistemologiska problem. Vi insåg dock att rapporter om indirekt tal fortfarande är ganska dåligt förstådda och att det fortfarande finns betydliga meningsskiljaktigheter vad gäller den korrekta analysen av dessa språkliga konstruktioner. Forskningen inom språkfilosofi och lingvistik tenderar att vara ganska snäv i sitt fokus och full av idealiseringar. I faktiska praktiska situationer är det ett stort antal ytterligare pragmatiska och extraspråkliga faktorer som spelar in, vilket gör tillämpningen av idealiserad teori långt ifrån perfekt. Kort sagt verkar det som att vi behöver en bättre förståelse av de språkliga grunderna innan det kan bli fruktbart att göra tillämpningar. Så, medan ett resultat helt enkelt är ett erkännande av uppgiftens komplexitet, har samarbetena under workshops och konferenser lett till några framsteg när det gäller att omkonceptualisera ett antal forskningsfrågor i en gemensam terminologi.
Vår forskning var disseminerad på en mängd olika sätt. Artiklar publicerades i ett brett spektrum av topprankade akademiska tidskrifter och förlag, och forskningsföredrag hölls på flera internationella platser. Anders Schoubye (projektledare) presenterade projektrelaterad forskning vid City University New York, Göteborgs universitet, Uppsala universitet, Institutet för framtidsstudier i Stockholm, Birkbeck College i London och det interna forskningsseminariet CLLAM vid Stockholms universitet. Gerken har presenterat projektrelaterat material vid bland annat Stanford University, Münchens center för matematisk filosofi, New York University, University of Milan, Glasgow University och Queen’s University Belfast. Gerken har också hållit ett antal offentliga föredrag för en bredare publik om vetenskapliga experters roll i samhället. Slutligen har Anna-Sara Malmgren workshoppat projektrelaterat material vid University of Texas i Austin. Hon har också organiserat offentliga föredrag och kollokvier vid sin heminstitution (Universitetet i Innlandet) om kommunikation med AI och AI-vittnesmål. Flera artiklar är på gång och några är också under granskning.
Bortsett från dessa planerade aktiviteter uppstod en oväntad vändning i projektet på grund av den extremt snabba och oväntade framväxten av AI-chattrobotar körda på stora språkmodeller (LLM), vilket plötsligt introducerade en outforskad och potentiellt problematisk dimension vad gäller tillförlitligheten hos vetenskapliga vittnesmål. Särskilt från den språkliga sidan av saken uppstod snabbt frågor om huruvida resultaten från LLM ens kan ses som i grunden meningsfulla. Och från den epistemologiska sidan blev det tydligt att LLM-drivna chattrobotar har framträtt som en konkurrent till standardkällor till vetenskapliga vittnesmål och därmed som en metod för att kringgå experter. Även om det verkar som att detta, kanske i allmänhet, är extremt fördelaktigt, för utvecklingen med sig ett antal epistemiska risker som plötsligt blev mycket relevanta för vårt projekt. Som ett resultat började några av projektmedlemmarna omedelbart integrera dessa frågor i sin forskning. Men med tanke på tidsfördröjningen inom akademisk publicering kommer många av resultaten att komma under de kommande åren. I tillägg ger många av projektets bidrag en viktig grund för vidare forskning om AI-vittnesmål. Projektet exemplifierar således hur grundläggande forskning kan visa sig vara viktig för att hantera snabbt föränderliga tekniska utvecklingar med stor samhällspåverkan.
När det gäller projektets viktigaste resultat, på språkfilosofi/semantik sidan, kom dessa mot slutet av projektet (med ytterligare resultat i arbete). Inledningsvis försökte vi fastställa i vilken utsträckning befintliga teorier om indirekt tal och indirekta talrapporter kunde användas för att belysa faktiska praktiska problem inom vittnesmålets epistemologi. Dessa frågor tematiserades i projektets workshops och konferenser. Generellt sett var interaktionerna fruktbara i den mån både epistemologer och språkfilosofer fick möjlighet att ställa nya forskningsfrågor. Med tanke på den grundläggande forskningens långsamma natur pågår mycket av denna forskning fortfarande, men som nämnts kunde denna forskning utvidgas till att ta itu med framväxten av AI, eftersom vi insåg att chatbotar som drivs av stora språkmodeller redan har blivit ett slags vetenskapligt vittnesmål som är betrott både av allmänheten men också av relevanta individer med betydligt inflytande på samhällspolitiskt beslutsfattande. Vi lade därför ner avsevärd tid på att undersöka hur dessa LLM:er faktiskt fungerar och sedan diskutera i vilken utsträckning resultaten från dessa LLM:er kan betraktas som faktiskt meningsfulla och/eller tillförlitliga. Detta resulterade i publikationen "The Outputs of LLMs are Meaningless" (av projektledaren Anders Schoubye, tillsammans med Anandi Hattiangadi, kommande) där det argumenteras för att utdata från LLM:er endast är meningsfullt i den utsträckning som användaren förser det med mening. Detta har också givit upphov till ett antal nya forskningsfrågor som vi för närvarande undersöker, såsom om (och i så fall, hur) man kan få kunskap från chatbots-"vittnesmål" och vad, om något, man faktiskt kan lära sig om mänsklig kognition från dessa modeller.
På projektets epistemologiska sida har arbetet, särskilt med vetenskapskommunikation, resulterat i ett antal begreppsliga frågor som inte förväntades. Till exempel kräver vissa hypoteser om kommunikation av vetenskaplig osäkerhet empirisk testning och följaktligen utvecklar projektmedlemmarna nu studiedesigner i internationellt samarbete. Dessutom har frågor om icke-faktiska vetenskapliga vittnesmål – t.ex. vetenskapliga rekommendationer från vetenskapliga rådgivande nämnder – uppstått och utforskas för närvarande, och två artiklar om detta ämne närmar sig nu inlämning för publicering. Slutligen har tillämpningen av forskningsresultat inom vetenskapsjournalistik under covid-19 väckt oförutsedda frågor gällande vetenskapskommunikation under en krissituation. Dessa har både behandlats i akademiska publikationer och i den offentliga världen. Till exempel fungerade professor Gerken som vetenskaplig rådgivare för en guide till att kommunicera vetenskap som utvecklades under covid-19 och distribuerades till 11 000 journalister och kommunikationsexperter under pandemin.
Ett något intressant men inte särskilt överraskande resultat som projektet har bragt i dagen är hur
svårt det är att slå samman och kombinera insikter från områden som är nära besläktade men har betydligt olika mål. Som nämnts var den huvudsakliga ambitionen för den språkliga sidan av projektet att tillämpa observationer och teorier från språkfilosofi och språklig semantik rörande indirekt tal på praktiska epistemologiska problem. Vi insåg dock att rapporter om indirekt tal fortfarande är ganska dåligt förstådda och att det fortfarande finns betydliga meningsskiljaktigheter vad gäller den korrekta analysen av dessa språkliga konstruktioner. Forskningen inom språkfilosofi och lingvistik tenderar att vara ganska snäv i sitt fokus och full av idealiseringar. I faktiska praktiska situationer är det ett stort antal ytterligare pragmatiska och extraspråkliga faktorer som spelar in, vilket gör tillämpningen av idealiserad teori långt ifrån perfekt. Kort sagt verkar det som att vi behöver en bättre förståelse av de språkliga grunderna innan det kan bli fruktbart att göra tillämpningar. Så, medan ett resultat helt enkelt är ett erkännande av uppgiftens komplexitet, har samarbetena under workshops och konferenser lett till några framsteg när det gäller att omkonceptualisera ett antal forskningsfrågor i en gemensam terminologi.
Vår forskning var disseminerad på en mängd olika sätt. Artiklar publicerades i ett brett spektrum av topprankade akademiska tidskrifter och förlag, och forskningsföredrag hölls på flera internationella platser. Anders Schoubye (projektledare) presenterade projektrelaterad forskning vid City University New York, Göteborgs universitet, Uppsala universitet, Institutet för framtidsstudier i Stockholm, Birkbeck College i London och det interna forskningsseminariet CLLAM vid Stockholms universitet. Gerken har presenterat projektrelaterat material vid bland annat Stanford University, Münchens center för matematisk filosofi, New York University, University of Milan, Glasgow University och Queen’s University Belfast. Gerken har också hållit ett antal offentliga föredrag för en bredare publik om vetenskapliga experters roll i samhället. Slutligen har Anna-Sara Malmgren workshoppat projektrelaterat material vid University of Texas i Austin. Hon har också organiserat offentliga föredrag och kollokvier vid sin heminstitution (Universitetet i Innlandet) om kommunikation med AI och AI-vittnesmål. Flera artiklar är på gång och några är också under granskning.