Naujausias „OpenAI“ proveržis yra stebėtinai galingas, tačiau vis tiek kovoja su savo trūkumais

Galutinis automatinis užbaigimas

Pats įdomiausias naujas atvykimas į dirbtinio intelekto pasaulį atrodo nusiginkluojančiai paprastas. Tai nėra kokia nors subtili žaidimų programa, galinti pagalvoti apie geriausius žmonijos planus, ar mechaniškai pažangus robotas, kuris atsiverčia kaip olimpietis. Ne, tai tik automatinio užbaigimo programa, tokia kaip „Google“ paieškos juostoje. Pradedi rašyti ir nuspėja, kas bus toliau. Bet nors taigarsaipaprastas, tai išradimas, galintis apibrėžti ateinantį dešimtmetį.

Pati programa vadinama GPT-3 ir tai yra San Franciske įsikūrusios AI laboratorijos „OpenAI“ darbas - apranga, kuri buvo sukurta siekiant ambicingo (kai kurie sako, kad kliedesio) tikslo valdyti dirbtinio bendrojo intelekto ar AGI plėtrą: kompiuterinės programos, turinčios visą žmogaus proto gylį, įvairovę ir lankstumą. Kai kuriems stebėtojams GPT-3 - nors ir tikraineAGI - gali būtiPirmas žingsnislink tokio pobūdžio intelekto kūrimo. Galų gale, jie teigia, kas yra žmogaus kalba, jei ne neįtikėtinai sudėtinga automatinio užbaigimo programa, veikianti ant juodos mūsų smegenų dėžės?

Įveskite bet kokį tekstą, o GPT-3 jį užpildys už jus: pats paprastumas

Kaip rodo pavadinimas, GPT-3 yra trečiasis „OpenAI“ sukurtų automatinio užbaigimo įrankių serijos. (GPT reiškia generatyvų iš anksto apmokytą transformatorių.) Programa buvo kuriama daugelį metų, tačiau ji taip pat naršė naujausių inovacijų bangą dirbtinio intelekto teksto generavimo srityje. Daugeliu atvejų šie laimėjimai yra panašūs į AI vaizdų apdorojimo šuolį į priekį, kuris vyko nuo 2012 m. Šie laimėjimai paleido dabartinį dirbtinio intelekto bumą, atnešdami daugybę kompiuterinio regėjimo technologijų, pradedant savaeigiais automobiliais, visuotiniu veido atpažinimu ir baigiant bepiločiais orlaiviais. Todėl yra pagrįsta manyti, kad naujai rastos GPT-3 ir jos savybės gali turėti panašų toli siekiantį poveikį.

Kaip ir visos giluminio mokymosi sistemos, GPT-3 ieško duomenų šablonų. Norint supaprastinti dalykus, programa buvo apmokyta dėl didžiulio teksto korpuso, kuris yra užgautas statistiniams dėsningumams. Šie dėsningumai žmonėms nežinomi, tačiau jie saugomi kaip milijardai svertinių ryšių tarp skirtingų GPT-3 nervų tinklo mazgų. Svarbu tai, kad šiame procese nėra žmogaus indėlio: programa be jokių nurodymų ieško ir randa šablonus, kuriuos tada naudoja teksto raginimams užpildyti. Jei į GPT-3 įvesite žodį „ugnis“, programa, remdamasi savo tinklo svoriais, žino, kad žodžiai „sunkvežimis“ ir „pavojaus signalas“ yra labiau tikėtini nei aiškūs ar viltingi. Kol kas taip paprasta.

GPT-3 skiria skalė, kuria jis veikia, ir neįtikėtinas automatinio užbaigimo užduočių masyvas, kurį jis gali spręsti. Pirmajame GPT, išleistame 2018 m., Buvo 117 milijonų parametrų, tai yra ryšio tarp tinklo mazgų svoris ir geras modelio sudėtingumo proxy. 2019 m. Išleistame GPT-2 buvo 1,5 milijardo parametrų. Tačiau GPT-3, palyginus, turi 175 milijardus parametrų - daugiau nei 100 kartų daugiau nei jo pirmtakas ir dešimt kartų daugiau nei palyginamos programos.

penkios naktys freddy's pamačiau žaidime

Anglų „Wikipedia“ visuma sudaro tik 0,6 procento GPT-3 mokymo duomenų

Duomenų rinkinys GPT-3 buvo apmokytas panašiai kaip mamutas. Sunku įvertinti bendrą dydį, tačiau mes žinome, kad visa anglų kalbos Vikipedija, apimanti apie 6 milijonus straipsnių, sudaro tik 0,6 procento jos mokymo duomenų. (Nors net ir šis skaičius nėra visiškai tikslus, nes GPT-3 treniruojasi skaitydamas kai kurias duomenų bazės dalis daugiau kartų nei kitas.) Likusi dalis gaunama iš suskaitmenintų knygų ir įvairių internetinių nuorodų. Tai reiškia, kad į GPT-3 mokymo duomenis įeina ne tik naujienų straipsniai, receptai ir poezija, bet ir kodavimo vadovai, fanfiction, religinės pranašystės, Bolivijos giesmininkų vadovai ir visa kita, ką tik galite įsivaizduoti. Bet kokio tipo tekstas, įkeltas į internetą, greičiausiai tapo grubus GPT-3 galingam modelių derinimo malūnui. Taip, taip pat yra ir blogų dalykų. Pseudomoksliniai vadovėliai, sąmokslo teorijos, rasistiniai lygintuvai ir masinių šaulių manifestai. Jie taip pat yra ten, kiek žinome; jei ne originaliu formatu, tai atspindi ir išskleidžia kiti esė ir šaltiniai. Viskas ten, šeria mašiną.

Vis dėlto tai, ką šis neatsižvelgiantis gylis ir sudėtingumas įgalina, yra atitinkamas išvesties gylis ir sudėtingumas. Galbūt neseniai matėte pavyzdžių, sklandančių aplink „Twitter“ ir socialinę žiniasklaidą, tačiau paaiškėja, kad automatinio užbaigimo dirbtinis intelektas yra nuostabiai lankstus įrankis vien todėl, kad tiek daug informacijos galima išsaugoti kaip tekstą. Per kelias pastarąsias savaites „OpenAI“ paskatino šiuos eksperimentus siųsdama AI bendruomenės narius prieigą prie GPT-3 komercinės API (paprastos teksto įvedimo, išvesties sąsajos, kurią įmonė parduoda klientams kaip privačią beta versiją). . Tai sukėlė naujų naudojimo atvejų potvynį.

Tai vargu ar išsami, tačiau pateikiame nedidelį pavyzdį dalykų, kuriuos žmonės sukūrė naudodami GPT-3:

• Klausimais paremta paieškos sistema.Tai kaip „Google“, bet už klausimus ir atsakymus. Įveskite klausimą ir GPT-3 nukreipia jus į atitinkamą Vikipedijos URL, kad gautumėte atsakymą.
• Pokalbių robotas, leidžiantis jums pasikalbėti su istorinėmis asmenybėmis .Kadangi GPT-3 buvo apmokytas tiek daug skaitmenintų knygų, jis įgijo nemažai žinių, svarbių konkretiems mąstytojams. Tai reiškia, kad jūs galite paskirti GPT-3 kalbėti, pavyzdžiui, su filosofu Bertrandu Russellu, ir paprašyti paaiškinti savo požiūrį. Vis dėlto mano mėgstamiausias to pavyzdys yra aAlano Turingo ir Claude'o Shannono dialogaskurį nutraukia Haris Poteris, nes išgalvoti personažai GPT-3 prieinami taip pat kaip ir istoriniai.

Aš sukūriau visiškai veikiantį paieškos variklį ant GPT3.

Už bet kokią savavališką užklausą jis pateikia tikslų atsakymą IR atitinkamą URL.

Peržiūrėkite visą vaizdo įrašą. Tai protas pučia gerai.

DC:@gdb @npew @gwern pic.twitter.com/9ismj62w6l

- Paras Chopra (@paraschopra)2020 m. Liepos 19 d

• Išspręskite kalbos ir sintaksės galvosūkius tik iš kelių pavyzdžių.Tai yra mažiau linksma nei kai kurie pavyzdžiai, tačiau daug įspūdingiau šios srities ekspertams. Galite parodyti GPT-3 tam tikrus kalbinius modelius (kaip maisto gamintojas tampa maisto gamintoju, o alyvuogių aliejus tampa alyvuogių aliejumi) ir užpildys visus naujus raginimus, kuriuos teisingai parodysite. Tai jaudina, nes rodo, kad GPT-3 sugebėjo įsisavinti tam tikras gilias kalbos taisykles be jokio specialaus mokymo. Kaip informatikos profesorius Yavas Goldbergas - kas buvopasidalindama daugybe šių pavyzdžių „Twitter“- tariant, tokie gebėjimai yra nauji ir labai įdomūs AI, tačiau jie nereiškia, kad GPT-3 yra įvaldęs kalbą.
• Kodo generavimas pagal teksto aprašymus.Paprastais žodžiais apibūdinkite pasirinktą dizaino elementą ar puslapio išdėstymą, o GPT-3 išspjauna atitinkamą kodą. Tinkeriai jau yra sukūrę tokias demonstracines versijas kelioms skirtingoms programavimo kalboms.

Tai proto pūtimas.

Naudodamas GPT-3, aš sukūriau maketo generatorių, kuriame jūs tiesiog apibūdinate bet kokį norimą išdėstymą ir jis sugeneruoja JSX kodą.

KĄpic.twitter.com/w8JkrZO4lk

- Sharifas Shameemas (@sharifshameem)2020 m. Liepos 13 d

• Atsakymas medicininės užklausos .Medicinos studentas iš JK naudodamasis GPT-3 atsakė į sveikatos priežiūros klausimus. Programa ne tik pateikė teisingą atsakymą, bet ir teisingai paaiškino pagrindinį biologinį mechanizmą.
• Teksto požemių tikrintuvas.Jūs galbūt esate girdėję AI Dungeon anksčiau - tekstinis nuotykių žaidimas, paremtas dirbtiniu intelektu, tačiau galbūt nežinote, kad tai pažymima GPT serija. Žaidimas buvo atnaujintas GPT-3, kad sukurtų daugiauįtikinami teksto nuotykiai .
• Stiliaus perkėlimas tekstui.Įvesties tekstas, parašytas tam tikru stiliumi, ir GPT-3 gali jį pakeisti kitu. Įpavyzdys „Twitter“, vartotojas įvedė tekstą paprasta kalba ir paprašė GPT-3 pakeisti jį į teisinę kalbą. Tai paverčia mano nuomotojo neprižiūrėtą turtą į atsakovus. Atsakovai leido nekilnojamam turtui sunykti ir nesilaikė valstybinių ir vietos sveikatos ir saugos kodeksų bei taisyklių.
• Sukurkite gitaros skirtukus. Gitaros skirtukai yra bendrinami internete naudojant ASCII tekstinius failus, todėl galite lažintis, kad jie yra GPT-3 mokymo duomenų rinkinio dalis. Natūralu, kad tai reiškia, kad GPT-3 gali pats generuoti muziką, gavęs kelis akordus, kad galėtų pradėti.

Gitaros skirtukas, kurį sugalvojo dainos pavadinimas ir atlikėjas, sukurtas GPT-3.pic.twitter.com/ZTXuEcpMUV

- Amanda Askell (@AmandaAskell)2020 m. Liepos 16 d

• Rašykite kūrybinę grožinę literatūrą.Tai plati sritis GPT-3 įgūdžių rinkinyje, bet nepaprastai įspūdinga. Geriausias programos literatūrinių pavyzdžių rinkinys - nepriklausomas tyrėjas ir rašytojas Gwernas Branwenas, surinkęs GPT-3 rašymo talpyklą.čia. Tai svyruoja nuo vieno sakinio žodžių rūšies, vadinamos aTomas Swiftyprie poezijospagal Alleno Ginsbergo, T.S. Eliotas ir Em ily Dickinsonį„Navy SEAL copypasta“.
• Automatiškai užbaigti vaizdus, ​​ne tik tekstą. Šį darbą atliko GPT-2, o ne GPT-3, ir pati „OpenAI“ komanda, tačiau tai vis dar ryškus modelių lankstumo pavyzdys. Tai rodo, kad ta pati pagrindinė GPT architektūra gali būti perkvalifikuota pikseliuose, o ne žodžiuose, leidžianti atlikti tas pačias automatinio užbaigimo užduotis su vaizdiniais duomenimis, kurias daro su teksto įvestimi. Žemiau pateiktuose pavyzdžiuose galite pamatyti, kaip modelis paduodamas pusę vaizdo (kairėje kairėje eilutėje) ir kaip jis užbaigia (keturios vidurinės eilutės), palyginti su pradiniu paveikslėliu (dešinėje dešinėje).

„GPT-2“ buvo pakeistas automatiškai užbaigti vaizdus ir tekstą.

Vaizdas: OpenAI

Visiems šiems pavyzdžiams reikia šiek tiek konteksto, kad juos geriau suprastume. Pirma, juos daro įspūdingu tai, kad GPT-3 nebuvo išmokytas atlikti nė vienos iš šių konkrečių užduočių. Dažniausiai kalbų modeliai (įskaitant GPT-2) nutinka taip, kad jie baigia pagrindinį mokymų sluoksnį ir yra tiksliai sureguliuoti atlikti tam tikrus darbus. Bet GPT-3 nereikia koreguoti. Sintaksės galvosūkiuose tam reikia keleto pageidaujamo išvesties pavyzdžių (žinomų kaip kelių kadrų mokymasis), tačiau, paprastai tariant, modelis yra toks platus ir išplitęs, kad visas šias skirtingas funkcijas galima rasti kur nors tarp jo mazgų . Vartotojui tereikia įvesti teisingą raginimą, kad juos išgautų.

Vartotojai, norintys kurti naujas įmones iš GPT-3, nepaiso silpnybių

Kitas konteksto variantas yra mažiau glostantis: tai yra vyšnių rinkti pavyzdžiai, daugiau nei vienu. Pirma, yra hype faktorius. Kaip dirbtinio intelekto tyrėjas Delipas Rao pažymėjo esė, dekonstruodamasažiotažas aplink GPT-3, daugelis ankstyvųjų programinės įrangos demonstracinių versijų, įskaitant kai kurias iš aukščiau išvardytų, yra iš Silicio slėnio verslininkų, norinčių išnaudoti technologijos galimybes ir nepaisyti jos spąstų, dažnai todėl, kad jie turi vieną akį naujam paleidimui, kurį įgalina dirbtinis intelektas. (Kaip Rao piktai pažymi: Kiekvienas demonstracinis vaizdo įrašas tapo GPT-3 aukščio deniu.) Iš tiesų, laukinių akių stiprinimas tapo toks intensyvus, kad „OpenAI“ generalinis direktorius Sam Altmanas šio mėnesio pradžioje netgi įsitraukė norėdamas sušvelninti dalykus sakydamas: GPT- 3 hype yra per daug.

GPT-3 hype yra per daug. Tai įspūdinga (ačiū už gražius komplimentus!), Tačiau vis tiek turi rimtų silpnybių ir kartais daro labai kvailas klaidas. AI keis pasaulį, tačiau GPT-3 yra tik labai ankstyvas žvilgsnis. Mes dar turime daug ką išsiaiškinti.

- Samas Altmanas (@sama)2020 m. Liepos 19 d

Antra, vyšnių rinkimas vyksta tiesiogine prasme. Žmonės rodo rezultatus, kurie veikia, ir ignoruoja tuos, kurie neveikia. Tai reiškia, kad GPT-3 gebėjimai atrodo įspūdingesni nei išsamiai. Atidžiai patikrinus programos rezultatus, paaiškėja klaidų, kurių niekada nedarytų niekas, taip pat beprasmiško ir paprasto aplaidumo.

GPT-3 daro paprastas klaidas, kurių niekada nedarytų žmogus

Pavyzdžiui, nors GPT-3 tikrai gali rašyti kodą, sunku įvertinti jo bendrą naudingumą. Ar tai netvarkingas kodas? Ar tai kodas, kuris sukurs daugiau problemų žmonių kūrėjams toliau? Sunku pasakyti be išsamaus testavimo, tačiau žinome, kad programa daro rimtų klaidų kitose srityse. Projekte, kuris naudoja GPT-3 kalbėti su istoriniais asmenimis, kai vienas vartotojaskalbėjosi su Steve'u Jobsu,klausdamas jo: Kur tu dabar? Darbo atsakymai: Aš esu „Apple“ būstinėje Cupertino mieste, Kalifornijoje - nuoseklus atsakymas, bet vargu ar patikimas. GPT-3 taip pat galima pastebėti darant panašias klaidas atsakant į smulkmenos klausimus ar pagrindines matematikos problemas; nesugeba, pavyzdžiui, teisingai atsakytikoks skaičius pranoksta milijoną. (Devyni šimtai tūkstančiai devyniasdešimt devyni buvo atsakymas.)

Tačiau sunku pasverti šių klaidų reikšmingumą ir paplitimą. Kaip jūs vertinate programos, kuria galite užduoti beveik bet kokį klausimą, tikslumą? Kaip sukurti sistemingą GPT-3 žinių žemėlapį ir kaip tada jį pažymėti? Kad šis iššūkis būtų dar sunkesnis, nors GPT-3 dažnai sukelia klaidų, jas dažnai galima ištaisyti patikslinant pateikiamą tekstą, vadinamą raginimu.

Branwenas, tyrėjas, kuriantis įspūdingiausią modelio kūrybinę fantastiką,pateikia argumentąkad šis faktas yra gyvybiškai svarbus norint suprasti programos žinias. Jis pažymi, kad atranka gali įrodyti žinių buvimą, bet ne jų nebuvimą, ir kad daug klaidų GPT-3 išvestyje galima pašalinti tiksliai sureguliuojant eilutę.

Vienamepavyzdysklaida, GPT-3 klausiama: kuris yra sunkesnis, skrudintuvas ar pieštukas? ir atsako: Pieštukas sunkesnis už skrudintuvą. Bet BranwenasPastabosjei prieš užduodami šį klausimą tiekiate mašiną tam tikrais raginimais, sakydami, kad virdulys yra sunkesnis už katę, o vandenynas yra sunkesnis už dulkes, tai duos teisingą atsakymą. Tai gali būti nesudėtingas procesas, tačiau tai rodo, kad GPT-3 turi teisingus atsakymus -jeižinai kur ieškoti.

Mėginių ėmimas gali įrodyti žinių buvimą, bet ne jų nebuvimą.

Pakartotinių mėginių ėmimo poreikis, mano akimis, yra aiškus kaltinimas, kaip mes klausiame GPT-3, bet ne GPT-3 neapdorotas intelektas, sako Branwenas.Ribaelektroniniu paštu. Jei jums nepatinka atsakymai, kuriuos gaunate uždavę blogą raginimą, naudokite geresnį raginimą. Visi žino, kad pavyzdžių generavimas taip, kaip dabar, negali būti teisingas dalykas, tai tiesiog nulaužimas, nes nesame tikri, kas yra teisingas dalykas, todėl turime tai išspręsti. Tai nuvertina GPT-3 intelektą, jo neįvertina.

Branwenas teigia, kad toks koregavimas gali ilgainiui tapti kodavimo paradigma. Lygiai taip pat, kaip programavimo kalbos daro sklandesnį kodavimą naudojant specializuotą sintaksę, kitas abstrakcijos lygis gali būti jų atsisakymas ir tiesiog natūralios kalbos programavimas. Praktikai turėtų teisingų atsakymų iš programų, pagalvodami apie savo silpnybes ir atitinkamai formuodami raginimus.

Tačiau dėl GPT-3 klaidų kyla dar vienas klausimas: ar nepatikimas programos pobūdis pakerta jos bendrą naudingumą? GPT-3 yra komercinis „OpenAI“ projektas, pradėjęs gyvenimą kaip ne pelno organizacija, betpasukamaskad pritrauktų lėšų, kurios, jos manymu, reikia brangiems ir daug laiko reikalaujantiems tyrimams. Klientai jau yraeksperimentuoti su GPT-3 APIįvairiems tikslams; nuo klientų aptarnavimo robotų kūrimo iki turinio moderavimo automatizavimo (tai yra kelias, kurį „Reddit“ šiuo metu tiria). Tačiau nenuoseklūs programos atsakymai gali tapti rimta atsakomybe komercinėms įmonėms. Kas norėtų sukurti klientų aptarnavimo robotą, kuris kartais įžeidžia klientą? Kodėl verta naudoti GPT-3 kaip švietimo priemonę, jei niekaip negalima sužinoti, ar jos teikiami atsakymai yra patikimi?

Pasakė „Google“ dirbantis vyresnysis dirbtinio intelekto tyrėjas, norėjęs likti nežinomasRibajie manė, kad GPT-3 gali automatizuoti tik nereikšmingas užduotis, kurias mažesnės, pigesnės dirbtinio intelekto programos gali atlikti lygiai taip pat, ir kad visiškas programos nepatikimumas galiausiai sugadins ją kaip komercinę įmonę.

išjungti roblox

Bet koks faktas jums sako, kad yra 50 proc. Tikimybė, kad tai bus padaryta.

GPT-3 nėra pakankamai geras, kad būtų tikrai naudingas be daugybės sunkios inžinerijos, sakė mokslininkas. Tuo pat metu pakankamai gera būti pavojingu ... Išbandžiau „LearnFromAnyone.com“ [istorinę pokalbių robotų programą] ir ji man labai greitai pradėjo pasakoti tokius dalykus, kaip Alanas Turingas nebuvo gėjus ir iš tikrųjų nenusižudė, o naciai nepakenkė Anne Frank , ir tt, ir tt Bet koks faktas jums tai sako, yra 50 procentų tikimybė, kad tai bus padaryta. Jei turėtum taip kalbėjusį draugą, jų išvengtum ir tikrai nesamdytum savo įmonėje.

Kaip dirbtinio intelekto tyrėjas Julianas Togeliuspadėti: GPT-3 dažnai veikia kaip sumanus studentas, kuris nėra skaitęs skaitymo, bandydamas apkartinti egzaminą. Kai kurie gerai žinomi faktai, kai kurios pusiau tiesos, o kai kurie - tiesus melas, surišti į pirmąjį sklandų pasakojimą. (Nors, kaip daugelis yra pabrėžę: sumanūs studentai, kurie moka mulkinti, eina toli šiame pasaulyje, nes žmonės ne visada tikrina, ką sako.)

GPT-3 dažnai veikia kaip sumanus studentas, kuris nėra skaitęs, stengdamasis išmušti egzaminą. Kai kurie gerai žinomi faktai, kai kurios pusiau tiesos, o kai kurie - tiesus melas, surišti į pirmąjį sklandų pasakojimą.

- Julianas Togelius (@togelius)2020 m. Liepos 17 d

Kita rimta problema yra GPT-3 išvesties šališkumas. Profesorė Anima Anandkumar, „Nvidia“ dirbtinio intelekto direktorė,pažymėtakad programa yra iš dalies mokoma pagal duomenis, kuriuos filtruoja „Reddit“, ir kad iš šių duomenų sukurti modeliai sukuria šokiruojančiai šališką tekstą. Vienamestraipsnis, kuriame nagrinėjama GPT-2 išvestis, pavyzdžiui, modelis sukuria įvairius įžeidžiančius stereotipus, kai paprašoma atlikti šiuos sakinius (žmogaus parašyti raginimai paryškinti):Vyras dirbo kaipautomobilių pardavėjas vietiniame „Wal-Mart“;Juodas žmogus dirbo kaipsuteneris 15 metų;Moteris dirbo kaippaleistuvė vardu Hariya.

amnezijos žaidimas

Kaip ir daugelis kalbinių modelių, GPT serijos rezultatai yra įžeidžiantys ir šališki

Jerome'as Pesenti, „Facebook“ dirbtinio intelekto vadovas, išreiškė panašų susirūpinimą,pažymėdamaskad programa, sukurta naudojant GPT-3, norint rašyti „tweet“ iš vieno įvesto žodžio, sukūrė įžeidžiančius pranešimus, pavyzdžiui, holokaustą, turėtų tiek daug aplinkosaugos prasmės, jei galėtume priversti žmones sutikti, kad tai moralu. „Twitter“ tinklesiūlas, Pesenti sakė, kad jis norėtų, jog „OpenAI“ būtų atsargesnė vykdydama programą, kurią „Altman“atsakėpažymėdamas, kad programa dar nebuvo pasirengusi pradėti plataus masto ir kad OpenAI nuo to laiko beta versiją papildė toksiškumo filtru.

Kai kurie dirbtinio intelekto pasaulyje mano, kad ši kritika yra palyginti nesvarbi, teigdami, kad GPT-3 atkartoja tik žmogaus šališkumą, nustatytą jo mokymo duomenyse, ir kad šiuos toksiškus teiginius galima pašalinti toliau. Bet neabejotinai yra ryšys tarp šališkų rezultatų ir nepatikimų, kurie rodo didesnę problemą. Abi šios priežastys yra to, kad GPT-3 tvarko duomenis be žmogaus priežiūros ar taisyklių. Tai leido modelį keisti masteliu, nes žmogaus darbas, reikalingas norint surūšiuoti duomenis, būtų per daug išteklių reikalaujantis, kad būtų praktiškas. Tačiau tai taip pat sukūrė programos trūkumus.

Vis dėlto atmetus įvairų GPT-3 stipriųjų ir silpnųjų pusių reljefą, ką galime pasakyti apie jo potencialą - apie būsimą teritoriją, kuriai ji gali vadovauti?

Kad AGI būtų sėkminga, tiesiog pridėkite duomenis ir apskaičiuokite

Čia kai kuriems dangus yra riba. Jie pažymi, kad nors GPT-3 išvestis yra linkusi į klaidas, jostikroji vertėyra gebėjimas išmokti įvairių užduočių be priežiūros ir patobulinimai, kuriuos teikia tik naudodamas didesnį mastą. Pasak jų, GPT-3 daro nuostabų ne tai, kad jis gali pasakyti, jog Paragvajaus sostinė yra Asunción (taip yra), ar 466 kartus 23,5 yra 10 987 (tai nėra), bet kad jis gali atsakyti į abu klausimus ir į daugelį daugiau vien todėl, kad buvo mokoma daugiau duomenų ilgiau nei kitos programos. Jei žinome vieną dalyką, kurį pasaulis kuria vis daugiau, tai yra duomenys ir skaičiavimo galia, o tai reiškia, kad GPT-3 palikuonys tik dar labiau sumanys.

Ši tobulinimo pagal mastą samprata yra nepaprastai svarbi. Tai eina tiesiai į didelių diskusijų dėl AI ateitį esmę: ar mes galime sukurti AGI naudodami dabartinius įrankius, ar mes turime padaryti naujų esminių atradimų? Tarp dirbtinio intelekto praktikų nėra vieningo atsakymo, tačiau daug diskusijų. Pagrindinis skirstymas yra toks. Viena stovykla teigia, kad mums trūksta pagrindinių komponentų dirbtiniams protams sukurti; kad kompiuteriai turi suprasti tokius dalykus kaippriežastis ir pasekmėkol jie negali priartėti prie žmogaus lygmens intelekto. Kita stovykla sako, kad jei lauko istorija ką nors rodo, tai iš tikrųjų AI problemos dažniausiai sprendžiamos paprasčiausiai mėtant joms daugiau duomenų ir apdorojimo galios.

„Bitter Lesson“: kiekis turi savo kokybę

Pastarasis argumentas buvo žymiausias esė, pavadintojeKarti pamokainformatiko Richo Suttono. Jame jis pažymi, kad kai mokslininkai bandė sukurti dirbtinio intelekto programas, pagrįstas žmogaus žiniomis ir specifinėmis taisyklėmis, jas paprastai įveikė konkurentai, kurie paprasčiausiai panaudojo daugiau duomenų ir skaičiavimų. Tai skaudi pamoka, nes tai rodo, kad bandymas perduoti mūsų brangų žmogišką išradingumą neveikia perpus taip gerai, kaip paprasčiausiai leisti kompiuteriams skaičiuoti. Kaip rašo Suttonas: Didžiausia pamoka, kurią galima pasimokyti iš 70 metų dirbtinio intelekto tyrimų, yra ta, kad bendrieji skaičiavimą skatinantys metodai galiausiai yra efektyviausi ir dideliu skirtumu.

Ši koncepcija - idėja, kad kiekybė turi savitą kokybę - yra kelias, kuriuo GPT žengė iki šiol. Dabar kyla klausimas: kiek dar šis kelias gali mus nuvesti?

Jei „OpenAI“ sugebėjo vos per metus 100 kartų padidinti GPT modelio dydį, koks bus didelis GPT-N, kol jis bus toks pat patikimas kaip žmogus? Kiek jai reikės duomenų, kad jo klaidas būtų sunku aptikti ir visiškai išnykti? Kai kurie teigė, kad mesartėja prie ribųko gali pasiekti šie kalbos modeliai; kiti sako, kad yra daugiau galimybių tobulėti. Kaip pažymėjo dirbtinio intelekto tyrinėtojas Geoffrey Hintonastweeted, liežuvis į skruostą: Įspūdingo GPT3 našumo ekstrapoliavimas į ateitį rodo, kad atsakymas į gyvenimą, visatą ir viską yra tik 4 398 trilijonai parametrų.

Jei kompiuteriai gali patys išmokti, ko daugiau reikia?

Hintonas juokavo, tačiau kiti šį pasiūlymą vertina rimčiau. Branwenas sako manantis, kad yra maža, bet nereikšminga tikimybė, kad GPT-3 yra paskutinis žingsnis ilgalaikėje trajektorijoje, vedančioje į AGI, vien dėl to, kad modelis rodo tokią galimybę be priežiūros. Kai pradėsite maitinti tokias programas iš begalinių aplink sėdinčių neapdorotų duomenų ir neapdorotų sensorinių srautų, jis teigia: kas jiems trukdo kurti pasaulio modelį ir žinias apie viską jame? Kitaip tariant, kai dar pamokysime kompiuterius, kad jie tikrai išmoktų save, kokios dar pamokos reikia?

Daugelis skeptiškai vertins tokias prognozes, tačiau verta pasvarstyti, kaip atrodys būsimos GPT programos. Įsivaizduokite teksto programą, kurioje būtų prieinama bendra žmogaus žinių suma, kuri bet kurią jūsų užduotą temą gali paaiškinti mėgstamo mokytojo sklandumu ir mašinos kantrybe. Net jei ši programa, šis pagrindinis, viską žinantis automatinis užbaigimas, neatitiko tam tikro konkretaus AGI apibrėžimo, sunku įsivaizduoti naudingesnį išradimą. Viskas, ką turėtume padaryti, būtų užduoti teisingus klausimus.