Žmogaus ir mašinos bendradarbiavimas

Vadimas Tschernezki, „Moin Nabi“ ir Tassilo Klein („ML Research Berlin“)

Įžengėme į naują erą, kurioje mes nuolat ir stipriai tobuliname skaičiavimo galią, saugojimą ir didžiųjų duomenų prieinamumą. Gilus mokymasis parodė, kad yra ideali priemonė panaudoti šias tendencijas ir tapti de facto prižiūrimo mokymosi standartu. Tačiau tokio tipo mokymuisi duomenys turi būti paženklinti etiketėmis, o tai paprastai reikalauja didelių išlaidų kuriant duomenis. Todėl atsiranda alternatyvių paradigmų, leidžiančių naujais ir aiškiais būdais maksimaliai išnaudoti didžiulį informacijos kiekį. Šiame tinklaraščio įraše pristatome koncepciją, kurioje bendradarbiaujant sujungiamos žmonių ir mašinų stipriosios pusės. Prieš pradėdami detaliau, pradėkime nuo pasakojimo, parodančio šio požiūrio pranašumus.

1997 m. Pagal turnyro nuostatus Garry Kasparovas buvo nugalėtas superkompiuteriu („Deep Blue“) šachmatų varžybose. Tai buvo išskirtinis įvykis, kai valdantis pasaulio šachmatų čempionas buvo nugalėtas mašina. Kol Kasparovas vis dar atsigavo po šios patirties, jis taip pat įkvėpė „Deep Blue“. Jis paklausė savęs: „O kas, jei galėčiau žaisti prieš kompiuterį - su kitu kompiuteriu, kuris yra mano pusėje - sujungti mūsų stipriąsias puses, žmogaus intuiciją ir mašinos skaičiavimus, žmogaus strategiją, mašinos taktiką, žmogaus patirtį, mašinos atmintį?“

Kasparovo idėja apie žmogaus ir mašinos bendradarbiavimą šachmatuose buvo sėkmingai įgyvendinta 2005 m. Vykstant kompiuteriniam internetiniam šachmatų turnyrui, kuriame močiutės subūrė komandą su superkompiuteriais. Rezultatas buvo gana netikėtas: nugalėtojais tapo pora mėgėjų amerikiečių šachmatininkų, vienu metu valdantys tris paprastus asmeninius kompiuterius. Atrodo, kad šiuo atveju labai svarbų vaidmenį vaidino žaidėjų sugebėjimas valdyti kompiuterius. Todėl kyla klausimas, ar tokį bendradarbiavimą galima panaudoti ir atliekant kitas užduotis. Tolesniuose punktuose bus paaiškinti atsirandantys požiūriai šiame kontekste.

Požiūriai ir tendencijos

Mašinos kaip ne tik įrankiai, bet ir bendradarbiai

Palyginus žmones ir mašinas, akivaizdu, kad abi pusės turi labai unikalias savybes ir stipriąsias puses. Žmonės puikiai priima intuityvius ir kūrybingus sprendimus, pagrįstus jų žiniomis. Kompiuteriai moka apdoroti didžiulį duomenų kiekį, kad gautų sutrumpintą prasmingą informaciją, reikalingą naujoms žinioms gauti ir geresniems sprendimams priimti. Panašu, kad šių išskirtinių pranašumų sinergija yra natūralus kitas žingsnis.

Tyrimų metu tokie deriniai buvo giliau ištirti per pastaruosius metus ir pamažu įgauna vis daugiau impulsų. Vieną požiūrį pasiūlė Mintz ir kt. nepaženklintų duomenų panaudojimas santykio ekstrahavimo modeliams patobulinti atliekant nuotolinę priežiūrą. Visų pirma, jie naudoja žmogaus kuruojamą duomenų bazę, kad suprojektuotų euristinę ženklinimo funkciją ir įtrauktų ją į klasifikatoriaus mokymo procedūrą. Tada klasifikatorius gali išgauti aukšto tikslumo modelius, pagrįstus gana dideliu skaičiumi ryšių. Kadangi tyrėjai suprojektavo ženklinimo funkciją, apytiksliai apibūdinančią žmogaus anotatoriaus elgseną etiketėse, priežiūra tampa „tolima“.

Kita technika, kurią sukūrė Wang et al. kompiuterinio matymo srityje, pagerina objektų aptikimą iš nepaženklintų vaizdų, naudojant savikontrolės funkciją „Mining Mining“. Svarbi šio metodo dalis yra pagrįsta automatiniu patikimų regionų pasiūlymų radimu ir pseudoetiketavimu, siekiant patobulinti objektų detektorių. Tai pasiekiama įklijavus šiuos pasiūlymus į skirtingus etikečių paveikslėlius, kad būtų galima išsamiai įvertinti jų nuoseklumo vertes skirtinguose įvaizdžio kontekstuose. Nors šie vaizdai yra paženklinti pseudo etiketėmis, jie veiksmingai padeda pagerinti aptikimo tikslumą ir patikimumą prieš triukšmingus mėginius. Galų gale abu aprašyti metodai automatiškai anuliuoja nepaženklintus duomenis ir taip sumažina žmogaus priežiūrą mokymo procese.

Žmogaus orientavimo įtraukimas į aktyvų mokymąsi

Palyginus su ankstesne koncepcija, kai duomenų rinkinį praplečia mašininės anotacijos, mes taip pat galime leisti besimokančiajam atrinkti sunkius pavyzdžius ir paprašyti žmogaus trenerio juos komentuoti, vadinasi, aktyvaus mokymosi pavadinimas. Metodas pasirodė esąs labai efektyvus, ypač tais atvejais, kai mėginių mokymui nėra pakankamai lėšų - ekspertai gali sutelkti dėmesį į sudėtingas situacijas, o aparatas perima didžiąją dalį mėginių, kuriuos paprastai lengva išspręsti.

Norėdami paaiškinti aktyvaus mokymosi intuiciją, apsvarstykite paprastą šunų vaizdų ženklinimo veislėmis užduotį. Mes pradedame nuo bazinio duomenų rinkinio, kuriame yra pažymėti šunų vaizdai. Šis duomenų rinkinys gali kelti sunkumų mokant keliais būdais: daugiausia jame gali būti šunų, nukreiptų į fotoaparatą, atvaizdų, todėl išmokytas modelis tampa šunų, rodomų iš šono, variantu. Jame taip pat gali būti nesubalansuotas kiekvienos veislės mėginių kiekis. Arba jame gali būti panašių veislių, tokių kaip Belgijos malinui ir vokiečių aviganis. Tokiais atvejais žmonėms ir mašinoms prireiks daugiau kiekvienos veislės pavyzdžių, norint išmokti teisingai klasifikuoti šunis. Aktyvus mokymasis padeda išspręsti tokio pobūdžio problemas.

Įsivaizduokite, kad mums pavyktų pasiekti 80% tikslumą, naudojant tam tikro bazinio duomenų rinkinio parengtą modelį. Mums yra skirtas biudžetas, skirtas žymėti iki 100 naujų vaizdų iš 1000 nepaženklintų etikečių. Siekiame šį biudžetą naudoti protingai, nes ekspertų parama ženklinimui yra brangi. Todėl, užuot pasirinkę 100 pavyzdžių atsitiktine tvarka, mes turėtume leisti savo kompiuterio besimokančiajam pasirinkti pačius sunkiausius pavyzdžius arba tuos, kurie geriausiai atspindi pagrindinius duomenis ir mažina perteklių. Mes leidome modeliui pasiūlyti ekspertui ženklinti tuos 100 pavyzdžių, kuriems jis priskirtų etiketes, kurių patikimumas yra mažas arba kurios yra labai neapibrėžtos. Tokiu būdu mūsų besimokančiojo tikslumas po treniruotės gali padidėti iki 95%, o ne 90%, kai sąranka buvo naudojama atsitiktine etikete. Arba mes taip pat galime tiesiog sumažinti paženklintų duomenų kiekį ir tokiu būdu išmokyti modelį tuo pačiu 90% tikslumu, bet mažesnėmis sąnaudomis.

Konkurencijos treniruotės: derinant geriausius iš abiejų

Norint suderinti aktyvų mokymąsi ir laipsnišką automatinio ženklinimo tobulinimą, mums reikia dviejų modelių, besimokančiųjų mašinas. Pirma, diskriminuojantis tam tikrų mėginių numatymo tikslumo netikrumo matavimo modelis (aktyvus mokymasis) ir, antra, generacinis pavyzdžių pseudo pagrindinės tiesos numatymo modelis (automatinis ženklinimas). Norėdami padidinti besimokančiojo mokymo efektyvumą, siekiame kartu optimizuoti abu modelius, naudodamiesi konkurenciniu mokymu. Tokiu būdu diskriminacinis modelis taip pat gali būti naudojamas priskiriant neaiškumus generatyvinio modelio prognozėms ir savo ruožtu padidinant prognozių tikslumą. Šiuolaikinis modelis, įgavęs didelę reputaciją mokslinių tyrimų bendruomenėje ir tenkinantis nurodytus reikalavimus, vadinamas Generative Adversarial Network (GAN).

Žmogaus ir mašinos bendradarbiavimas su GAN

Atsižvelgdami į aukščiau esančiame paveiksle pavaizduotą sistemą, pirmiausia mes naudojame generatorių (G), kad nuspėtume pseudo pagrindinę tiesą neanotuotiems duomenims. Kadangi diskriminatorius (D) geba priskirti ne tik neaiškumus tikrajai pagrindinei tiesai, bet ir tą, kurį numatė G, mes galime rūšiuoti nepaženklintus pavyzdžius pagal D. sunkumą ar neapibrėžtumą. Mes apibrėžiame pavyzdžius, kurių pasiskirstymas nebuvo visiškai užfiksuotas modeliu, tačiau dar sunkiu ir leisk D pasiūlyti juos žmogaus anotatoriui. Mes naudojame kitus nesudėtingus nesudėtingus pavyzdžius, kad automatiškai anotuotų duomenų su G formavimas. Žmogaus orientacija lemia stipresnį D, pritaikytą mokytojo nurodytoms užduotims (aktyvus mokymasis). Savo ruožtu patobulintas D paskatins G nuspėti aukštesnės kokybės pseudo žemės tiesą (automatinis komentaras). Dėl šio pasikartojančio patobulinimo GAN yra natūralus pagrindas sujungti žmogų ir mašiną į vieną kartu optimizuotą mokymo procedūrą.

Nors mokslinėje fantastikoje pilna mašinų ir robotų, keliančių pavojų žmonijai ir tokiu būdu sukuriančių įtarimo atmosferą, mokymosi bendradarbiaujant su žmonėmis koncepcija rodo, kaip mašinos gali pagrįstai papildyti mūsų darbą ir gyvenimą teigiamai. Iš tikrųjų aprašytas požiūris turi didelę galimybę pakeisti daugybę programų, pavyzdžiui, sveikatos sektoriuje. Ypač šiuo metu mūsų komanda kuria 3D širdies ir kraujagyslių magnetinio rezonanso (MR) vaizdų segmentavimo metodą, kuris yra svarbi sąlyga kuriant pacientui būdingus širdies modelius ir tokiu būdu gydant sudėtingas širdies ligas. Mūsų tikslas yra sukurti modelį, kuris mokosi iš pačių sugeneruotų segmentų ir ekspertams siūlo rankiniu būdu segmentuoti sudėtingus MR vaizdus. Tai galėtų žymiai sumažinti išlaidas ir laiką, skiriamą šiai sudėtingai procedūrai, kad radiologai galėtų skirti daugiau laiko paciento priežiūrai. Nors šis konkretus pavyzdys puikiai parodo teigiamą idėjos poveikį visuomenei, yra daugybė taikymo sričių, ne tik sveikatos apsaugos srityje, kuriai bus naudingi šios srities tyrimų rezultatai.

Visą „MIDL 2019“ tyrimo dokumentą rasite čia: Neapibrėžtumo sąlygotas semantinis segmentacija mokantis žmogaus ir mašinos bendradarbiaujant