Algoritmų įtikinimas su AI stumtelėjimu

Faktų tikrinimas gali sumažinti nepatikimų naujienų sklaidą. Tai gali padaryti ir priešingai.

(šis įrašas iš pradžių pasirodė civilservant.io)

„Reddit“ r / worldnews skaitytojai savanoriams moderatoriams dažnai praneša naujienas apie bulvarinius leidinius, prašydami uždrausti bulvarinius leidinius sensacingiems straipsniams. Šios pagražintos istorijos patraukia žmonių žvilgsnius, pritraukia ginčus ir yra pastebimos „reddit“ reitingavimo algoritmo, kuris juos paskleidžia dar toliau.

Uždraudus bulvarines naujienas, ši grįžtamojo ryšio kilpa gali būti nutraukta, tačiau bendruomenės moderatoriai priešinasi visuotiniams draudimams. Kad išspręstų šį galvosūkį, moderatoriams reikėjo atsakyti į klausimą, pagrindinį diskusijų dėl vadinamųjų „netikrų naujienų“ klausimą: kaip mes galime išsaugoti bendraautorių laisvę ir kartu paveikti žmonių tarpusavio elgesį bei algoritmus bendruomenės labui?

Šią žiemą moderatoriai dirbo su „CivilServant“, norėdami išbandyti idėją: koks yra paskatinimas tikrinti faktus reaguojant į nepatikimas naujienas? Norėjome pamatyti, kaip reaguos r / worldnews bendruomenė. Mes taip pat stebėjome poveikį „reddit“ reitingams. Jei „reddit“ algoritmai faktų tikrinimą aiškino kaip populiarumą, nepatikimi straipsniai gali plisti dar toliau.

Bulvių naujienos sudaro maždaug 2,3% visų pranešimų, pateiktų šiai 15 milijonų abonentų bendruomenei, kuri aptaria naujienas už JAV ribų. „R / worldnews“ leidinyje 70 moderatorių peržiūri maždaug 450 straipsnių per dieną ir leidžia 68% tų straipsnių likti. Kadangi tai yra numatytasis subredditas, dauguma reddit skaitytojų per šią bendruomenę gauna pasaulio naujienas. Nors „Facebook“ nyksta bendruomenės pasiekiamumas, „r / worldnews“ gali būti didžiausia grupė, aptarianti pasaulio naujienas bet kurioje angliškai kalbančio interneto vietoje. Net nedideli šios bendruomenės padariniai gali padaryti didelę įtaką tam, kaip milijonai žmonių supranta potencialiai nepatikimą informaciją apie pasaulį.

Savo tyrime nuo lapkričio 27 iki sausio 20 dienos mes A / B išbandėme žinutes, raginančias bendruomenę tikrinti faktus ir balsuoti dėl bulvarinių naujienų. Štai ką radome:

Faktų tikrinimo skatinimo poveikis bendruomenės elgesiui

Diskusijose dėl bulvarinių leidinių pateikimo apie r / worldnews, skatinant faktų patikrinimą, vidutiniškai 2x padidėja komentarų su nuorodomis dažnis, o skatinant faktų tikrinimą + balsavimą, pasiekiamas panašus efektas.

Faktų tikrinimo skatinimo poveikis „Reddit“ algoritmams

Stebėdami daugiau nei 24 valandas, mes taip pat nustatėme, kad vidutiniškai lipnūs komentarai, skatinantys tikrinti faktus, du kartus sumažino bulvarinių leidinių paraiškų skaičių „reddit“ - tai buvo statistiškai reikšmingas poveikis, kuris greičiausiai turėjo įtakos reitinguose antrajame skelbime. Kai mes taip pat paskatinome skaitytojus balsuoti, šis poveikis išnyko.

AI norai: įtikinami algoritmai išsaugant laisvę

Mūsų klausimai apie bulvarines naujienas pridėjo algoritminį aspektą prie klasikinio valdymo klausimo: kaip galią turintys žmonės gali siekti bendrojo gėrio, kartu sumažindami asmens laisvės suvaržymus?

galime įtikinti algoritmus elgtis skirtingai, įtikindami žmones elgtis skirtingai.

Internete žmonės mokosi gyventi su AI sistemomis, kurių jie negali valdyti. Pavyzdžiui, „Uber“ vairuotojai keičia savo vairavimą, kad padidintų savo pajamas. Mūsų kolektyvinis elgesys jau daro įtaką PG sistemoms visą laiką, tačiau kol kas visuomenei trūksta informacijos apie tai, kokia ta įtaka iš tikrųjų yra. Šie neaiškūs rezultatai gali sukelti problemų, kai algoritmai atlieka pagrindinius visuomenės vaidmenis, tokius kaip sveikata, sauga ir sąžiningumas. Kai kurie tyrinėtojai, norėdami išspręsti šią problemą, kuria „visuomenės į liniją“ sistemas [4]. Kiti kuria algoritmų audito metodus [5] [6]. Tačiau nė vienas iš būdų nėra būdas valdyti kasdienį sistemų, kurių kodo mes negalime valdyti, elgesį. Mūsų tyrimas su r / worldnews siūlo trečiąją kryptį; galime įtikinti algoritmus elgtis skirtingai, įtikindami žmones elgtis skirtingai.

Kai kuriems žmonėms gali kilti klausimas, ar šis eksperimentas yra manipuliavimas balsavimu, o tai prieštarauja „reddit“ politikai. Mūsų lipnūs užrašai nepažeidžia nė vienos iš „reddit“ asmeninės naudos taisyklių (mes taip pat nesukūrėme netikrų paskyrų, nesakėme žmonėms, kaip balsuoti, ar neorganizavome balsavimo bloko). Tačiau mes parodėme, kad žmonių skatinimas tikrinti faktus sistemingai paveikė „reddit“ algoritmus.

„AI nudges“ idėja suteikia mums galimybę galvoti apie socialines pastangas paveikti žmonių ir mašinų elgesį išsaugant asmens laisvę. Richardas Thaleris ir Cassas Sunsteinas pirmiausia pasiūlė „nuogąstavimus“ kaip būdą, kaip institucijos gali naudotis savo galia išsaugant asmens laisvę [7]. Palyginti su bulvarinių naujienų uždraudimu, AI noras skatinti faktų tikrinimą yra lengviausias veiksmas, kurio galėtų imtis moderatoriai. Neatmetama nė vieno asmens galimybė dalytis naujienomis, komentuoti ar balsuoti, tačiau AI žinia vis tiek slopina nepatikimų naujienų sklaidą.

Kaip pabrėžia Sunsteinas ir Thaleris, ne visada akivaizdu, ar šios lengvos prisilietimo intervencijos duos norimą rezultatą. Štai kodėl turėtume sistemingai tikrinti jų poveikį, ypač todėl, kad neišbandytos sistemos gali turėti netikėtų rezultatų.

AI svirtelių valdymas ir etika

Vyriausybių potraukiai ir socialiniai internetinių platformų eksperimentai dažnai sulaukia panašios kritikos. Aš manau, kad žmonės teisūs tikisi atskaitomybės iš tų, kurie naudojasi slegiančia galia. Dirbdamas su modeliuotojais savanoriais, aš sugebėjau dirbti skaidriau ir atskaitingiau, nei būdinga socialinėje kompiuterijoje. Visi „CivilServant“ tyrimai yra sukurti kartu su modernavimo komandomis ir jų pagalba, o visi rezultatai pirmiausia atskleidžiami bendruomenei apžvelgiant subreddit. Mūsų studijų planai prieš pradedant yra viešai išvardyti Atvirame mokslo plane, o visas mūsų kodas yra atvirojo kodo. Visa išsami analizės informacija taip pat yra vieša, todėl kiekvienas gali patikrinti mūsų išvadas. Vienintelis dalykas, kurį mes sulaikome, yra tikri duomenys, nes gerbiame visų susijusių asmenų privatumą.

Apskritai tikiuosi, kad PG potraukiai, ypač kai jiems vadovauja pačios bendruomenės, siūlo įdomią visuomenei nurodymą valdyti algoritmų vaidmenį visuomenėje ir kartu išsaugoti asmens laisvę.

Kaip vyko tyrimas

Atlikdami šį testą, moderatoriai pradėjo nuo naujienų šaltinių, kurie dažnai gauna skundus, sąrašo. Nuo lapkričio 27 d. Iki sausio 20 d. Kiekvienam naujam bulvariniam saitui atsitiktine tvarka priskyrėme vieną iš trijų sąlygų: a) nėra lipnaus komentaro, b) skeptišką požiūrį skatinančio lipnaus komentaro, c) lipnaus skepticizmą skatinančio komentaro + balsavimo (išsamią informaciją rasite čia) ).

Mes paskelbėme šią žinią bulvarinių naujienų diskusijų viršuje

Antrasis skatina žmones tikrinti straipsnį ir apsvarstyti galimybę atsisakyti nuorodos, jei jie neranda patvirtinančių įrodymų dėl šio teiginio:

Ši antroji žinia paskatino žmones apsvarstyti balsų atmetimą

Ar faktų tikrinimas gali paveikti elgesį, kaip „reddit“ algoritmai mato nepatikimas naujienas?

Nors buvome tikri, kad r / worldnews skaitytojai padės, jei moderatoriai paprašys, mes taip pat susimąstėme: jei mes daugiau komentuosime bulvarinių žinių naujienas, galbūt netyčia sukeltume „reddit“ algoritmus, skirtus reklamuoti šias bulvarinės nuorodos?

Jei faktų patikrinimas padidino nepatikimų naujienų šaltinių populiarumą, bendruomenei gali tekti pergalvoti, kur dėti savo pastangas. Štai kodėl moderatoriai išbandė antrą lipnų komentarą, kuris skatina skaitytojus apsvarstyti galimybę balsuoti mažiau.

Norėdami patikrinti „lipnių“ komentarų poveikį „reddit“ algoritmams, „CivilServant“ programinė įranga kas keturias minutes rinko duomenis apie įrašų skaičių. Platforma neskelbia nei to, kas patenka į partitūrą, nei to, kaip veikia jos reitingai (paklausiau). Tačiau mes sugebėjome patikimai nuspėti, koks yra skelbimo „HOT“ reitingas pagal jo amžių ir reitingą (išsamią informaciją rasite čia). Iš esmės, jei fakto tikrinimas turėjo didelę įtaką straipsnio rezultatui, tai tikriausiai turėjo įtakos straipsnio reitingavimui laikui bėgant antrinio redagavimo pagrindiniame puslapyje. Aš tai išbandžiau dviem būdais: palygindamas balus po 24 valandų ir modeliuodamas balų pokyčius laikui bėgant.

Aš panaudojau neigiamą binominį modelį, norėdamas išbandyti poveikį rezultatams po 24 valandų. Kadangi „reddit“ algoritmai stovėjo mūsų eksperimento metu, paskatinę fakto tikrinimą bulvariniai leidiniai vidutiniškai po 24 valandų gavo 49,1% (2,04 x mažesnis) pateiktų balų skaičius be jokių lipnių komentarų r / worldnews. Poveikis yra statistiškai reikšmingas. Šiame modelyje nepavyko rasti efekto iš įklijuotų komentarų, kurie paskatino skaitytojus apsvarstyti galimybę balsuoti žemai.

Taip pat išbandžiau faktų tikrinimo įtaką laikraščio balų augimo greičiui. Norėdami užduoti šį klausimą, kiekvienam įrašui kas keturias minutes pridedu atsitiktinio perėmimo linijinės regresijos modelį prie žurnalo transformuoto balo. Radau, kad skatinant tikrinti faktus mažėja balų augimo tempai. Čia aš pastebėjau, kad balsavimo skatinimas iš tikrųjų daro nedidelį teigiamą poveikį balų augimo tempui laikui bėgant. Kadangi 2016 m. Gruodžio mėn. Pradžioje vykdėme eksperimentą keičiant „reddit“ algoritmus, aš taip pat pastebėjau, kad šių įstrigusių komentarų poveikis „reddit“ algoritmams galėjo pasikeisti, kai „reddit“ pakoregavo savo algoritmus (išsami informacija).

Kas padėjo tikrinti naujienų straipsnius?

Iš 930 komentarų be robotų su nuorodomis, kurias moderatoriams leido likti, 737 vartotojų abonementai pateikė nuorodas į papildomus įrodymus. Iš jų 133 sąskaitose buvo daugiau nei vienas komentaras su nuorodomis. Daugelis žmonių patikrino savo pateiktus duomenis. Pateikėjai pateikė 81 komentarą, kad gautų daugiau informacijos.

Ką mes negalime žinoti iš šio tyrimo?

Šiame teste nagrinėjami diskusijų rezultatai, o ne atskiros sąskaitos, todėl negalime žinoti, ar atskiri žmonės buvo įsitikinę skeptiškiau, ar dėl lipnių komentarų jau skeptiškai nusiteikę žmonės paskatino juos ištirti ir pasidalyti. Aš taip pat neturiu įrodymų apie faktų tikrinimo poveikį skaitytojams, nors kiti tyrimai rodo, kad faktų tikrinimas daro įtaką skaitytojų įsitikinimams [2] [3].

Šis tyrimas negali mums pasakyti daug apie tai, kodėl mes matome tokį didelį algoritminių efektų pasikeitimą, kai keičiame pranešimą skatindami skaitytojus apsvarstyti balso persiuntimą. Šis skirtumas gali būti pavyzdys to, ką psichologai vadina „reagavimu“, pasipriešinimu autoritetų pasiūlymams. Arba, jei naujienų teikėjai nerimauja, kad jų nuorodos gali būti atmestos, jie gali paprašyti pagalbos, kuri subalansuoja skaitytojų elgesį.

Ar tai veiktų su kitokio pobūdžio nuorodomis, kituose subdreduose ar kitose svetainėse? Šis tyrimas apsiriboja konkrečia bendruomene ir svetainių sąrašu. Nors įtariu, kad daugelis didelių internetinių skaitytojų bendruomenių padėtų tikrinti nuorodas, jei moderatoriai paprašytų, mūsų išvados apie „reddit“ algoritmą yra daug labiau išdėstytos.

Mes galėtume atsakyti į šiuos klausimus, jei daugiau subdomenų atstovų nuspręstų išbandyti panašius eksperimentus. Jei jus domina, susisiekite su manimi dėl reddit ir aptarkite panašaus eksperimento vykdymą ir prisiregistruokite gauti el. Pašto atnaujinimus.

Sužinokite daugiau apie šį eksperimentą

Mano daktaro laipsnis apima paramą bendruomenėms, kad jos išbandytų savo nuosaikios praktikos poveikį. Šį eksperimentą sukūriau kartu su „r / worldnews“ moderatoriais. Jį patvirtino MIT komitetas apie žmonių naudojimą kaip eksperimentinius subjektus. Jei turite klausimų ar abejonių, susisiekite su „natematias“ redditmail.

Šis eksperimentas, kaip ir visi mano „reddit“ tyrimai iki šiol, buvo atliktas nepriklausomai nuo „reddit“ platformos, kuri neturėjo jokio vaidmens planuojant ar projektuojant eksperimentą. Eksperimentas dar nebuvo recenzuotas. Visi „CivilServant“ rezultatai bus viešai paskelbti dalyvaujančioms bendruomenėms, kai tik rezultatai bus paruošti, o akademinės publikacijos bus pateiktos vėliau.

Visa eksperimento informacija buvo iš anksto paskelbta išankstinės analizės plane osf.io/hmq5m/. Jei jus domina statistika, aš paskelbiau visą analizės informaciją.

Nuorodos

[1] Salganik, M. J., & Watts, D. J. (2008). Bandos klaidinimas: eksperimentinis savarankiškų pranašysčių tyrimas dirbtinėje kultūros rinkoje. Socialinė psichologija kas ketvirtį, 71 (4), 338–355.

[2] Stephanas Lewandowskis, Ullrichas K. H. Eckeris, „Colleen M. Seifert“, Norbertas Schwarzas ir Johnas Cookas. Klaidinga informacija ir jos taisymas ir toliau daro įtaką ir sėkmingai trina. Visuomenės interesų psichologijos mokslas, 13 (3): 106–131, 2012 m. Gruodžio mėn.

[3] Thomasas Woodas ir Ethanas Porteris. Nepaprastas priešgaisrinis efektas: tvirtas faktinių aplinkybių laikymasis masinių požiūrių. SSRN „Scholarly Paper ID“ 2819073, socialinių mokslų tyrimų tinklas, Ročesteris, NY, 2016 m. Rugpjūtis.

[4] Rahwan, Iyad (2016 m.) „Visuomenės žvilgsnis: algoritminės socialinės sutarties programavimas“. Vidutinis

[5] Christianas Sandvigas, Kevinas Hamiltonas, Karrie Karahalios ir Cedricas Langbortas. 2014. Audito algoritmai: Tyrimo metodai aptikti diskriminaciją interneto platformose. Duomenys ir diskriminacija: Kritinių problemų pavertimas produktyviu tyrimu, Tarptautinės komunikacijos asociacijos metinis susirinkimas, 2014 m

[6] Diakopoulos, N., & Koliska, M. (2016). Algoritminis skaidrumas žiniasklaidoje. Skaitmeninė žurnalistika, 1–20.

[7] Thaler, R. H., ir Sunstein, C. R. (2003). Libertarų paternizmas. Amerikos ekonomikos apžvalga, 93 (2), 175–179.