Geriausi iki šiol giluminio mokymosi tyrimai 2019 m

Mes ką tik baigėme 2019 m. Pirmąjį ketvirtį, o giluminio mokymosi technologijos tyrimų pusė yra labai gera. Aš reguliariai stebiu AI tyrėjų pastangas, kad suprastum, kur nukreipta ši technologija. Ši įžvalga leidžia man geriau optimizuoti savo laiką įsitikinant, kad žinau tai, ko nežinau. Todėl aš stengiuosi suvartoti bent vieną tiriamąjį darbą per savaitę srityje, kurioje yra šimtai, o gal tūkstančiai.

Šiame straipsnyje padėsiu jums sutaupyti šiek tiek laiko, kuratoriaudamas dabartinį tyrimų procesą, paskelbtą iki šiol 2019 m., Iki toliau pateikto valdomo trumpojo sąrašo. Aš filtravau savo pasirinkimą įtraukti dokumentus, kuriuose taip pat yra susijęs „GitHub“ atpirkimas. Mėgautis!

Greitas grafiko vaizdavimo mokymasis naudojant „PyTorch Geometric“

Šis tyrimas pristato „PyTorch Geometric“, biblioteką, skirtą giliam mokymuisi apie netaisyklingai struktūruotus įvesties duomenis, tokius kaip grafikai, taškiniai debesys ir kolektoriai, pastatytą ant „PyTorch“. Be bendrųjų grafiko duomenų struktūrų ir apdorojimo metodų, jame yra ir daugybė neseniai paskelbtų metodų iš reliacinio mokymosi ir 3D duomenų apdorojimo sričių. „PyTorch Geometrics“ pasiekia aukštą duomenų pralaidumą, pasinaudodamas nedideliu GPU pagreičiu, pateikdamas tam skirtus CUDA branduolius ir įvesdamas efektyvų mini paketų tvarkymą įvairaus dydžio įvesties pavyzdžiams. Kodas galimas „GitHub“.

[Susijęs straipsnis: „2018 metų įtakingiausi duomenų mokslo tiriamieji darbai“]

Kaukė SCORING R-CNN

Atliekant egzempliorių segmentavimo užduotį, egzempliorių klasifikacija yra naudojama kaip kaukės kokybės balas daugelyje instancijų segmentavimo schemų. Šiame darbe nagrinėjama ši problema ir siūloma kaukių įvertinimo R-CNN, kurioje yra tinklo blokas, siekiant sužinoti numatytų egzempliorių kaukių kokybę. Kaukės įvertinimo strategija nustato kaukės kokybės ir kaukės balų neatitikimą ir pagerina egzempliorių segmentų našumą, teikdama pirmenybę tikslesnėms kaukės prognozėms, atliekant COCO AP vertinimą. Kodas galimas „GitHub“.

Didelio tikslumo vaizdų generavimas su mažiau etikečių

Giluminiai generaciniai modeliai tampa šiuolaikinio mašininio mokymosi kertiniu akmeniu. Neseniai atliktas sąlyginių generatyvių prieštaravimų tinklų (GAN) darbas parodė, kad sudėtingas, aukšto matmenų pasiskirstymas natūralių vaizdų srityje yra pasiekiamas. Nors naujausi modeliai gali sukurti labai tikslius ir įvairius gamtos vaizdus aukšta skiriamąja geba, jie pasikliauja dideliu kiekiu etikečių. Šis straipsnis parodo, kaip gali būti naudingas neseniai atliktas savarankiško ir pusiau prižiūrimo mokymosi darbas, siekiant pralenkti pažangiausias technologijas (SOTA) tiek neprižiūrimo ImageNet sintezės, tiek sąlyginės padėties srityje. Kodas galimas „GitHub“.

„GCNv2“: efektyvus korespondencijos numatymas realaus laiko SLAM

Šiame darbe pateikiamas giliai mokymu pagrįstas tinklas GCNv2, skirtas generuoti pagrindinius taškus ir aprašus. „GCNv2“ yra sukurtas remiantis ankstesniu metodu - GCN, tinklu, apmokytu 3D projekcinei geometrijai. „GCNv2“ suprojektuotas naudojant dvejetainį deskriptorių vektorių kaip ORB funkciją, kad jis galėtų lengvai pakeisti ORB tokiose sistemose kaip ORB-SLAM. Kodas galimas „GitHub“.

[Susijęs straipsnis: Gilus mokymasis klasifikuojant tekstą]

ALiPy: aktyvus mokymasis Python'e

Prižiūrimiems mašinų mokymosi metodams paprastai reikalingas didelis etikečių pavyzdžių rinkinys. Tačiau daugelyje realių programų yra daugybė nepaženklintų duomenų, tačiau ribota etikečių dalis; ir etikečių įsigijimas kainuoja brangiai. Aktyvus mokymasis (AL) sumažina ženklinimo kainą, nes pakartotinai pasirenkami patys vertingiausi duomenys, norint paklausti jų etikečių iš komentatoriaus. Šis straipsnis pristato „Python toobox ALiPy“ aktyviam mokymuisi. Kodas galimas „GitHub“.

„DeepFashion2“: įvairiapusis aprangos vaizdų aptikimo, pozų įvertinimo, segmentavimo ir pakartotinio identifikavimo etalonas.

Suprasti mados įvaizdžius pažengė gairės su gausiomis pastabomis, tokiomis kaip „DeepFashion“, kurių etiketėse yra drabužių kategorijos, orientyrai ir vartotojų bei komercinių įvaizdžių poros. Tačiau „DeepFashion“ turi tokių svarbių problemų kaip pavieniai drabužių elementai kiekviename atvaizde, nedaug orientyrų (tik 4 ~ 8) ir nėra kaukių už pikselį, todėl žymiai skiriasi nuo realaus pasaulio scenarijų. Šis dokumentas užpildo spragą pristatydamas „DeepFashion2“, kad išspręstų šias problemas. Tai yra universalus keturių užduočių etalonas, apimantis drabužių aptikimą, įvertinimą pozavimą, segmentavimą ir gavimą. Kodas galimas „GitHub“.

„StarCraft“ kelių agentų iššūkis

Per pastaruosius kelerius metus giluminis kelių veiksnių sustiprinimo mokymasis (RL) tapo labai aktyvia tyrimų sritimi. Ypač sudėtinga šios srities problemų klasė yra iš dalies stebimas, bendradarbiaujantis ir daugelio agentų mokymasis, kurio metu agentų komandos turi išmokti koordinuoti savo elgesį, o remtis tik savo asmeniniais pastebėjimais. Tai yra patraukli tyrimų sritis, nes tokios problemos yra svarbios daugeliui realaus pasaulio sistemų ir jas taip pat galima labiau įvertinti, nei bendrąsias problemas. Standartizuota aplinka, tokia kaip ALE ir „MuJoCo“, leido vienam agentui RL peržengti žaislų sritis, tokias kaip tinklelio pasauliai. Tačiau palyginamojo etalono kooperatyviniam kelių agentų RL nėra. Dėl to daugumoje šios srities dokumentų naudojamos vienkartinės žaislų problemos, todėl sunku įvertinti realią pažangą. Šiame dokumente siūlomas „StarCraft Multi-Agent Challenge“ (SMAC) uždavinys, kaip užpildyti šią spragą. Kodas galimas „GitHub“.

Atmetimas yra ypatingas stochastinės delta taisyklės atvejis: greitesnis ir tikslesnis gilus mokymasis

Daugiasluoksniai neuroniniai tinklai atnešė puikų įvairių tipų etaloninių užduočių atlikimą teksto, kalbos ir vaizdo apdorojimo srityje. Netiesinis parametrų vertinimas hierarchiniuose modeliuose yra susijęs su netinkamu pritaikymu ir netinkama specifikacija. Vienas požiūris į šiuos įvertinimus ir su tuo susijusias problemas (vietiniai minimumai, ko-tiesiškumas, bruožų atradimas ir kt.) Vadinamas „metimu“. „Nutraukimo“ algoritmas pašalina paslėptus vienetus pagal „Bernulio“ atsitiktinį kintamąjį su tikimybe p prieš kiekvieną atnaujinimą, sukurdamas atsitiktinius tinklo „sukrėtimus“, kurių vidurkis yra atnaujinamas. Šis dokumentas rodo, kad metimas yra specialus atvejis, susijęs su bendresniu modeliu, išleistu 1990 m., Vadinamu stochastinės deltos taisykle (SDR). Kodas galimas „GitHub“.

„Lingvo“: modulinė ir keičiamo dydžio sekų modeliavimo sistema

„Lingvo“ yra „Tensorflow“ sistema, siūlanti išsamų bendro giluminio mokymosi tyrimo sprendimą, ypatingą dėmesį skiriant sekos-sekos modeliams. „Lingvo“ modelius sudaro moduliniai konstrukciniai blokai, kurie yra lankstūs ir lengvai išplečiami, o eksperimentų konfigūracija yra centralizuota ir lengvai pritaikoma. Paskirstyti mokymai ir kiekybiniai išvados yra palaikomi tiesiogiai sistemoje, ir jame yra daugybė komunalinių paslaugų, pagalbinių funkcijų ir naujausių tyrimų idėjų įgyvendinimai. „Lingvo“ per pastaruosius dvejus metus buvo panaudota bendradarbiaujant kelioms dešimtims tyrėjų daugiau nei 20 straipsnių. Šis dokumentas apibūdina pagrindinį „Lingvo“ dizainą ir yra įvadas į įvairius rėmo elementus, kartu pateikiant pažangių funkcijų, parodančių rėmo galimybes, pavyzdžius. Kodas galimas „GitHub“.

Adaptyviniai gradiento metodai su dinamine mokymosi greičio riba

Buvo pasiūlyti adaptyvūs optimizavimo metodai, tokie kaip „AdaGrad“, „RMSProp“ ir „Adam“, kad būtų pasiektas greitas mokymo procesas su elementais pagrįstu mokymosi greičio įvertinimo terminu. Pastebėta, kad nors jie vyrauja, palyginti su SGD, yra menkai apibendrinti ar net nesugeba suartėti dėl nestabilių ir kraštutinių mokymosi rodiklių. Šis dokumentas parodo, kad nepaprastas mokymosi lygis gali lemti blogus rezultatus. Pateikiami nauji „Adam“ ir „AMSGrad“ variantai, vadinami atitinkamai „AdaBound“ ir „AMSBound“, kuriuose naudojamos dinamiškos mokymosi greičio ribos, siekiant laipsniško ir sklandaus perėjimo nuo adaptyvių metodų prie SGD ir pateikiant teorinį konvergencijos įrodymą. Tolesni eksperimentai buvo atlikti su įvairiomis populiariomis užduotimis ir modeliais. Eksperimento rezultatai rodo, kad nauji variantai gali pašalinti apibendrinamąjį skirtumą tarp adaptacinių metodų ir SGD bei išlaikyti didesnį mokymosi greitį ankstyvame treniruotėje tuo pačiu metu. Kodas galimas „GitHub“.

Redaktoriaus pastaba: norite sužinoti daugiau apie gilų mokymąsi asmeniškai? Dalyvaukite „ODSC East 2019“ šių metų balandžio 30 – gegužės 3 dienomis Bostone ir gaukite patarimų tiesiai iš ekspertų!

Perskaitykite daugiau duomenų mokslo straipsnių „OpenDataScience.com“ tinklalapyje, įskaitant vadovus ir vadovus nuo pradedančiųjų iki aukštesniųjų lygių! Prenumeruokite mūsų savaitinį informacinį biuletenį čia ir kiekvieną ketvirtadienį gaukite naujausias naujienas.