Kvietimai atlikti tyrimus

Dirbdami „Octavian“, mes susidūrėme su daugybe problemų, kurioms norėtume pamatyti daugiau dėmesio. Dalijamės šiuo sąrašu čia, kad tikimės padėti nukreipti tuos, kurie ieško įdomių problemų.

Džiaugiamės galėdami padėti žmonėms, dirbantiems su šiomis problemomis, taip pat paskelbti jūsų sprendimus per mūsų „Medium“ ir „Twitter“ kanalus.

  • QA pagrindimas dėl žinių grafikų: tai mums artima tema. Mes tikime, kad RNN pagrįstas požiūris, į kurį įtrauktas grafiko dėmesys ir konvoliucijos, gali būti labai galingas, ir norėdami tai įrodyti, išsprendėme savo duomenų rinkinio iššūkį. Tinkama vieta pradėti yra „MacGraph“, mūsų bendras CLEVR-Graph duomenų rinkinio sprendimas.
  • Transformatorių algoritminės galimybės: Transformatorių architektūra greitai tapo de facto sekų apdorojimo tinklu. Nors jis yra neįtikėtinai galingas kasybos sekų koreliacijoms ir atrodo, kad naudos iš didesnio mastelio padidinimo turės daugiau naudos, mes manome, kad transformatoriai nėra veiksmingi ir jų nepakanka atlikti daugelio rūšių pagrįstumo / algoritmines operacijas, kurių reikalauja AGI. Tikėtina, kad jų reikės papildyti kitomis priemonėmis. Tai įrodykite sugeneravę formulių ir algoritmų vertimo poras ir jų išvestis, išmokykite jose „Transformerio“ vertimo modelį ir pažiūrėkite, kada vertimai nepavyksta.
  • Kaip rašyti ant diagramos: Naudojimasis dėmesiu yra paprastas būdas skaityti iš nervų tinklo grafiko, tačiau tai, kaip rašyti, nėra taip akivaizdu. Sukurkite tinklą (prižiūrimą arba pagrįstą mokymosi pagrindu), kuris jo vykdymo metu skaito ir rašo iš diagramos, kad pasiektų ką nors naudingo. Pvz., Paimkite vieną iš išspręstų „MacGraph“ užduočių ir sukurkite versiją, kurioje kai kurie svarbūs grafiko faktai pateikiami kaip įvestis atskirai nuo diagramos.
  • Geresnis GAN kokybės balas: populiariausia GAN metrika yra pagrįsta tuo, kad naudojamasi apmokytu pradžios tinklu, kuris padeda įvertinti, ar gerai suformuoti sukurti vaizdai. Tai turi esminį trūkumą: jis yra toks galingas kaip „Inception“ tinklas, ir atrodo, kad konvoliuciniai tinklai daugiausia priklauso nuo vietinių faktūrų. Dabartinis technikos lygis GAN blogai koordinuoja detalę (žr. Nuotrauką priede). Mūsų dabartinė kokybės metrika greičiausiai to nenustatys. Šis tyrimas susideda iš dviejų dalių: (1) įrodyti esamų kokybės rodiklių trūkumus, (2) pasiūlyti geresnę metriką
  • Automatinės mokymo programos: algoritmų mokymosi tinklams paprastai reikia mokymosi programų (pvz., Iš pradžių lengvesnių mokymo pavyzdžių, kurie palaipsniui tampa vis sudėtingesni, kai tinklas treniruojasi), kad galėtų išmokti savo užduotis. Šios mokymo programos dažnai kuriamos rankomis. Sukurkite schemą, kaip automatiškai diegti mokymo programą (pvz., DNC, kad išmoktumėte rūšiuoti). Įkvėpimui kartiniai prieštaravimų tinklai naudoja antrą tinklą, kuris mokosi, kai pagrindinis tinklas mokosi pateikti įvairių rūšių mokymo programą. Be to, tinklo praradimas gali būti geras signalas, kai treniruočių komplektas gali būti sunkesnis.
  • Kalba kaip kontrolės samprotavimo struktūra: Balsavimas mūsų galvoje yra esminė dalis to, kaip mes samprotaujame ir siekiame savo tikslų. Ar galite sukurti „Transformerio“ modelį, kuris imtųsi klausimų, kurį laiką kalbėtų su savimi, tada pateiktų atsakymą?
  • Interneto masto GAN mokymai: „OpenAI“ parodė, kad nuskaitymas internete, norint sukurti didžiulį mokymo duomenų rinkinį, tada treniruoti „Transformerio“ modelį, gali duoti vertingų rezultatų. Tą patį padarykite ir su GAN. Tai turi keletą svarbių iššūkių: (1) skaičiavimo ištekliai, skirti pakankamai dideliam modeliui apmokyti, kad būtų galima rinkti duomenų rinkinį; (2) Ar galite pateikti naudingą sąlyginį signalą GAN iš vaizdų konteksto?
  • Teiginys apie žinių grafiko automatinį kodavimo įrenginį: Grafikai yra puikus būdas pateikti susijusias sąvokas. Grafikai atveria daugybę būdų, kaip pereiti ir išgauti žinias. Tekstas buvo naudojamas vaizduoti didelę dalį žmogaus žinių. Sukurkite tam tikros formos automatinio kodavimo struktūrą, kuri paima įvestų sakinių rinkinį, paverčia juos grafiku, tada tą diagramą paverčia aibės sakiniais, turinčiais tam tikrą lygiavertiškumą įvesties rinkiniui. Atminkite, kad tarpinis grafikas nebūtinai turi būti formatas, kurį žmonės gali suprasti (kaip įprasta žodžių, paveikslėlių ir sakinių įterpimuose).
  • Auganti architektūra treniruočių metu: progresyvūs GAN parodė, kad laikui bėgant neuronų prijungimas prie tinklo, kol jis traukiasi, gali būti sėkmingas. Šio mokymo metodo pranašumas yra tas, kad ankstesni tinklai greičiau treniruojasi, nes jie turi mažiau parametrų. Be to, tai suteikia galimybę pridėti tik tiek neuronų, kol bus pasiektas norimas darbas. Tai netgi leidžia dalintis skirtingų architektūrų bandymus lygiagrečiai (pvz., Mokymai populiacijos pagrindu). Pabandykite pasirinkti laipsniškai augantį požiūrį kitoje aplinkoje (pirmyn, seka, vaizdo klasifikacija) ir pažiūrėkite, ar jis veikia.

Jei jus tai domina, kalbėkitės su mūsų bendruomene!

Priedas

„BigGAN“ kovoja su tekstūrų derinimu

Sukurtas naudojant „Google BigGAN“ demonstracinę versiją