Datori, kas paši programmējas, vairs nav zinātniskā fantastika. Visi lielie interneta uzņēmumi izmanto mašīnmācīšanās algoritmus, un ir skaidrs, kāpēc: tas palīdz piedāvāt klientam tieši tādas preces un pakalpojumus, kas viņu var interesēt. Praktizējošs zinātnieks Pedro Domingoss savā grāmatā stāsta par universāla mācīšanās algoritma meklējumiem, kā arī jomām, kurās pašlaik tiek izmantota mašīnmācība.
Ar izdevniecības Mann, Ivanov un Ferber atļauju Lenta.ru publicē fragmentu no Pedro Domingosa grāmatas “ Augstākais algoritms. Kā mašīnmācība mainīs mūsu pasauli."
Kāpēc Google ir tik daudz dārgāka nekā Yahoo? Abi uzņēmumi pelna naudu, rādot reklāmas internetā, abiem ir lieliska datplūsma, abi rīko reklāmu pārdošanas izsoles un izmanto mašīnmācīšanos, lai prognozētu, cik liela iespējamība, ka lietotājs uz tās noklikšķinās (jo lielāka iespējamība, jo vērtīgāka būs reklāma) .
Tomēr būtība ir tāda, ka Google mācību algoritmi ir daudz progresīvāki nekā Yahoo. Protams, tas nav vienīgais ļoti nopietnais iemesls kapitalizācijas atšķirībām. Katrs prognozēts, bet nepabeigts klikšķis ir zaudēta iespēja reklāmdevējam un zaudēta peļņa meklētājprogrammai.
Ņemot vērā, ka Google gada ieņēmumi ir 50 miljardi ASV dolāru, prognozēšanas uzlabošana tikai par vienu procentu varētu nozīmēt vēl pusmiljardu dolāru gadā. bankas konts. Nav pārsteigums, ka Google ir liels mašīnmācīšanās cienītājs, un Yahoo un citiem konkurentiem ir grūti sekot līdzi.
Tiešsaistes reklāma ir tikai viens plašākas parādības aspekts. Jebkurā tirgū ražotājiem un patērētājiem ir jāsatiekas pirms darījuma noslēgšanas. Pirms interneta parādīšanās galvenās barjeras starp tām bija fiziskas: grāmatu varēja nopirkt tikai tuvējā grāmatnīcā, un plaukti tur nebija milzīgi. Tomēr tagad, kad grāmatas var lejupielādēt "lasītājam" jebkurā laikā, problēma kļūst par kolosālu iespēju skaitu.
Kā te var meklēt, ja grāmatnīcu plauktos ir miljoniem sējumu? Tas attiecas uz citiem informācijas produktiem: videoklipiem, mūziku, ziņām, tvītiem, emuāriem, vecām labajām vietnēm. Tas attiecas arī uz produktiem un pakalpojumiem, ko var iegūt no attāluma: apaviem, ziediem, ierīcēm, viesnīcas numuriem, izglītību, investīcijām un pat darba un dzīves partnera meklējumiem. Kā atrast vienam otru? Šī ir informācijas laikmeta noteicošā problēma, un mašīnmācīšanās palīdz to atrisināt.
Uzņēmuma attīstības procesu var iedalīt trīs fāzēs. Sākumā viss tiek darīts ar rokām: ģimenes veikala īpašnieki savus klientus pazīst personīgi un attiecīgi pasūta, izliek un iesaka preces. Tas ir jauki, bet tas neļauj jums tuvināt. Otrajā un visnepatīkamākajā posmā uzņēmums aug tik daudz, ka kļūst nepieciešams izmantot datorus. Parādās programmētāji, konsultanti, datu bāzu pārvaldnieki, tiek rakstītas miljoniem koda rindu, lai automatizētu visu iespējamo.
Uzņēmums sāk kalpot daudz vairāk cilvēku, tomēr kvalitāte pasliktinās: lēmumi tiek pieņemti, pamatojoties uz aptuvenām demogrāfiskajām klasifikācijām, un datorprogrammas nav pietiekami elastīgs, lai pielāgotos cilvēces bezgalīgajai mainīgumam. Kādā brīdī programmētāju un konsultantu vienkārši nav pietiekami daudz, un uzņēmums neizbēgami pievēršas mašīnmācībai.
Amazon nevarēja graciozi izstrādāt visu savu klientu gaumi datorprogrammā, un Facebook nevarēja uzrakstīt programmu, lai atlasītu atjauninājumus, kas patiktu katram tā lietotājam. Walmart katru dienu pārdod miljoniem produktu. Ja programmētāji šo tirdzniecības tīkls mēģināja izveidot programmu, kas varētu izdarīt miljoniem izvēļu, tās prasīs uz visiem laikiem. Tā vietā uzņēmumi atbrīvo mācīšanās algoritmus, apmāca tos jau uzkrāto datu kalnos un ļauj prognozēt, ko klienti vēlas.
Mašīnmācīšanās algoritmi izlaužas cauri informācijas gruvešiem un, tāpat kā savedēji, atrod viens otram ražotājus un patērētājus. Ja algoritmi ir pietiekami gudri, tie apvieno labāko no abām pasaulēm: plašo izvēli, lielas korporācijas zemās izmaksas un neliela uzņēmuma personīgo pieskārienu. Mācīšanās algoritmi nav ideāli, un pēdējais solis lēmuma pieņemšanā joprojām ir cilvēka ziņā, taču tie saprātīgi sašaurina izvēles iespējas, lai cilvēks varētu pieņemt lēmumu.
Šodien ir skaidrs, ka pāreja no datoriem uz internetu un pēc tam uz mašīnmācību bija neizbēgama. Datori padarīja iespējamu internetu, kas radīja datu plūdus un neierobežotas izvēles problēmu, un mašīnmācība izmanto datu plūsmas, lai atrisinātu neierobežotas izvēles problēmu. Lai novirzītu pieprasījumu no “viens izmērs der visiem” uz garu, bezgalīgi daudzveidīgu iespēju sarakstu, ar internetu vien nepietiek. Netflix varētu būt simts tūkstoši dažādu DVD, taču, ja klients nezina, kā atrast kaut ko, kas viņam patīk, viņš pēc noklusējuma izmantos hitus. Tikai tad, kad Netflix ieguva mācīšanās algoritmu, kas uzminē jūsu gaumi un iesaka mūziku, mazāk populāro mākslinieku garā aste pacēlās.
Kādreiz notiks neizbēgamais: mācīšanās algoritmi kļūs par neaizstājamiem starpniekiem un tajos tiks koncentrēta vara. Google algoritmi lielā mērā nosaka, kādu informāciju jūs redzat, Amazon nosaka, kādus produktus jūs pērkat, un Match.com nosaka, ar ko jūs randāties. Pēdējais posms - izvēle no algoritma piedāvātajām iespējām - vēl būs jāpārvar jums, taču 99,9 procenti atlases notiks bez jūsu līdzdalības. Uzņēmuma panākumi vai neveiksmes būs atkarīgi no tā, vai mašīnmācīšanās algoritmi dod priekšroku tā produktiem. Ekonomikas panākumi kopumā, tas ir, vai visi spēlētāji saņems nepieciešamos produktus labākā cena, būs atkarīgs no tā, cik labi ir mācību algoritmi.
Labākais veids, kā nodrošināt, ka mašīnmācīšanās algoritmi atbalsta jūsu uzņēmuma produktus, ir tos izmantot. Uzvarēs tas, kuram ir labāki algoritmi un vairāk datu. Šeit parādās jauns tīkla efekts: tas, kuram ir vairāk klientu, savāc vairāk informācijas, labāk apmāca modeļus, iegūst jaunus klientus un tā tālāk spirālē (un no konkurentu viedokļa – apburtā lokā). Pārslēgšanās no Google uz Bing var būt pat vienkāršāka nekā pārslēgšanās no Windows uz Mac OS, taču praksē tā nebūs, jo, pateicoties veiksmīgam sākumam un lielākai tirgus daļai, Google labāk zina, ko vēlaties, pat ja pati tehnoloģija ir Bing. nav sliktāks. Var tikai just līdzi meklētāju tirgus jaunpienācējiem: bez datiem viņi ir spiesti cīnīties ar sistēmām, kuras jau vairāk nekā desmit gadus trenē savus algoritmus.
Varētu domāt, ka kādā brīdī dati vienkārši sāks atkārtoties, taču nav redzams piesātinājuma punkts un garā aste turpina stiepties. Protams, jūs pats varat pārliecināties: Amazon vai Netflix ieteikumi joprojām ir ļoti aptuveni, un Google sniegtie rezultāti atstāj daudz vēlamo. Izmantojot mašīnmācīšanos, varat uzlabot katru produkta funkciju, katru vietnes stūri. Vai labāk ir izveidot saiti lapas apakšā sarkanu vai zilu? Izmēģiniet abas iespējas un noskaidrojiet, kura saņem vairāk klikšķu. Un vēl labāk ir vispār neizslēgt mācību algoritmus un pastāvīgi pielāgot visus vietnes elementus.
Tāda pati dinamika attiecas uz jebkuru tirgu, kur ir daudz iespēju un milzīgs datu apjoms. Sacensības notiek, un uzvar tas, kurš mācās visātrāk. Tas nav tikai labāka klienta izpratne: uzņēmumi var izmantot mašīnmācīšanos visos sava biznesa aspektos, ja ir pieejami dati par šo tēmu un datu avoti ietver datorus, sakaru ierīces un arvien lētākus un visuresošus sensorus. Mūsdienās viņiem patīk atkārtot, ka “dati ir jauna eļļa"un, tāpat kā ar naftu, rafinēšana - liels bizness. IBM, tāpat kā visas citas korporācijas, ir izveidojusi savu izaugsmes stratēģiju, sniedzot uzņēmumiem analītiskos pakalpojumus. Uzņēmējdarbība datus uztver kā stratēģisku resursu: kas mums ir, kā trūkst mūsu konkurentiem? Kā izmantot šo priekšrocību? Kādi dati ir mūsu konkurentiem, bet mums nav?
Tāpat kā banka, kurai nav datu bāzes, nevar konkurēt ar banku, kas to izmanto, uzņēmums, kas neizmanto mašīnmācīšanos, nevar konkurēt ar tiem, kas to izmanto. Kamēr pirmais uzņēmums uzrakstīs tūkstošiem noteikumu, lai paredzētu klientu vēlmes, otrā uzņēmuma algoritmi atradīs miljardiem noteikumu, veselu komplektu katram klientam. Šāda sacensība atgādina uzbrūkšanu ložmetējiem ar šķēpiem. Protams, mašīnmācība ir forša jauna tehnoloģija, bet biznesam tas pat nav galvenais: tas būs jāizmanto, jo vienkārši nav citas izvēles.
Pedro Domingoss
Galvenais algoritms
Kā labākās mācību iekārtas meklējumi pārveidos mūsu pasauli
Zinātniskie redaktori Aleksandrs Sbojevs, Aleksejs Serenko
Publicēts ar atļauju no Pedro Domingos c/o Levine Greenberg Rostan Literary Agency un Synopsis Literary Agency
Juridisko atbalstu izdevniecībai nodrošina advokātu birojs"Vegas-Lex".
© Pedro Domingos, 2015
© Tulkojums krievu valodā, publikācija krievu valodā, dizains. Mann, Ivanov un Ferber LLC, 2016
Šo grāmatu labi papildina:
Niks Bostroms
Alekss Belloss
Avinašs Diksits un Berijs Nalebafs
Mīļā piemiņā par manu māsu Ritu, kura zaudēja cīņu ar vēzi, kamēr es rakstīju šo grāmatu
Zinātnes lielākais uzdevums ir izskaidrot pēc iespējas vairāk eksperimentālu faktu ar loģisku dedukciju, sākot no pēc iespējas mazāk hipotēžu un aksiomu.
Alberts Einšteins
Civilizācijas progress slēpjas svarīgu darbību skaita pieaugumā, kuras mēs veicam nedomājot.
Alfrēds Norts Vaitheds
Mašīnmācība ir jums visapkārt, lai gan jūs, iespējams, par to nezināt. Pateicoties mašīnmācībai, meklētājprogramma saprot, kādus rezultātus (un reklāmas) rādīt, atbildot uz jūsu vaicājumu. Pārbaudot pastu, lielākā daļa surogātpasts iet jums garām, jo tas ir filtrēts, izmantojot mašīnmācīšanos. Neatkarīgi no tā, vai nolemjat kaut ko iegādāties vietnē Amazon.com vai doties uz Netflix, lai noskatītos filmu, mašīnmācīšanās sistēma palīdzēs ieteikt iespējas, kas varētu atbilst jūsu gaumei. Izmantojot mašīnmācīšanos, Facebook izlemj, kādas ziņas jums rādīt, un Twitter atlasa atbilstošos tvītus. Ikreiz, kad izmantojat datoru, pastāv liela iespēja, ka kaut kur ir iesaistīta mašīnmācīšanās.
Vienīgais veids, kā panākt, lai dators kaut ko darītu, sākot no divu skaitļu pievienošanas un beidzot ar lidmašīnu, bija uzrakstīt kaut kādu algoritmu, kas skrupulozi paskaidroja mašīnai, kas tieši no tā tiek prasīts. Tomēr mašīnmācīšanās algoritmi ir pavisam cita lieta: viņi visu uzmin paši, izdarot secinājumus, pamatojoties uz datiem, un, jo vairāk datu, jo labāk tiem izdodas. Tas nozīmē, ka datori nav jāprogrammē: tie programmējas paši.
Tas attiecas ne tikai uz kibertelpu: mašīnmācīšanās caurvij visu mūsu dzīvi, sākot no pamošanās līdz gulētiešanai.
Septiņi no rīta. Modinātājs ieslēdz radio. Skan nepazīstama, bet ļoti patīkama mūzika: pateicoties pakalpojumam Pandora, radio ir iepazinies ar jūsu gaumi un pārtapis par “personīgo dīdžeju”. Iespējams, ka pati dziesma arī tapusi ar mašīnmācības palīdzību. Brokastojot, jūs šķirstat rīta avīzi. Dažas stundas iepriekš tas bija noripojis no iespiedmašīnas, kas bija rūpīgi noregulēta ar mācību algoritmu, lai novērstu drukas defektus. Telpas temperatūra ir īpaši ērta, un jūsu elektrības rēķini nebūs lieli, jo esat uzstādījis Nest viedo termostatu.
Pa ceļam uz darbu automašīna pastāvīgi pielāgo degvielas iesmidzināšanu un izplūdes gāzu recirkulāciju, lai samazinātu gāzes izmaksas. Pīķa stundās satiksmes prognozēšanas sistēma Inrix ietaupa laiku, nemaz nerunājot par nerviem. Darbā mašīnmācīšanās palīdz cīnīties ar informācijas pārslodzi: jūs izmantojat datu kubu, lai apkopotu lielu informācijas daudzumu, aplūkotu to no dažādiem leņķiem un izpētītu svarīgāko. Ja jums jāizlemj, kāds vietnes izkārtojums - A vai IN– piesaistīs daudzsološākus klientus, apmācītā sistēma pārbaudīs abas iespējas un sniegs Jums atskaiti. Jāskatās potenciālā piegādātāja mājaslapa, un viņš ir ieslēgts svešvaloda? Nav problēmu: Google to automātiski iztulkos jūsu vietā. E-pastiērti sakārtoti mapēs, un iesūtnē paliek tikai svarīgākais. Vārdu procesors pārbauda jūsu gramatiku un pareizrakstību jūsu vietā. Jūs esat atradis lidojumu savam gaidāmajam komandējumam, taču vēl nepērkat biļeti, jo Bing Travel prognozē, ka cenas drīzumā pazemināsies. Nemanot, jūs katru stundu darāt daudz. vairāk darba nekā viņi varētu bez mašīnmācības palīdzības.
Brīvajā laikā jūs pārbaudāt, kā klājas jūsu ieguldījumu fondu turēšanai. Lielākā daļa šo fondu izmanto mācību algoritmus, lai atlasītu daudzsološās akcijas, un vienu no tiem pilnībā pārvalda sistēma, kuras pamatā ir mašīnmācīšanās. Pusdienu laikā tu izej ārā un domā, kur paēst. Yelp mācību sistēma viedtālrunī jums palīdzēs. Mobilie telefoni kopumā tie ir līdz galam piepildīti ar mācību algoritmiem, kas nenogurstoši labo drukas kļūdas, atpazīst balss komandas, labo datu pārraides kļūdas, lasa svītrkodus un dara daudzas citas noderīgas lietas. Viedtālrunis pat iemācījās uzminēt jūsu nākamo darbību un dot noderīgi padomi. Piemēram, viņš jums pateiks, ka tikšanās sāksies vēlāk, jo lidmašīna, ar kuru jūsu viesim ir jāierodas, kavējas.
Ja pabeidzat darbu vēlu vakarā, mašīnmācīšanās palīdzēs bez starpgadījumiem nokļūt līdz automašīnai stāvvietā: algoritmi uzrauga video no novērošanas kameras un attālināti brīdina apsardzi, kad viņi pamana kaut ko aizdomīgu. Pieņemsim, ka pa ceļam uz mājām apstājaties pie lielveikala. Produkti plauktos ir sakārtoti pēc mācību algoritmu norādījumiem: viņi ir tie, kas izlemj, kurus produktus vislabāk pasūtīt, ko likt rindas beigās un kur salsa pieder - mērču nodaļā vai blakus tortiljas čipsi. Kasē jūs maksājat ar kredītkarti. Savulaik apmācītais algoritms nolēma, ka jums ir jānosūta piedāvājums tā pabeigšanai, un pēc tam apstiprināja jūsu pieteikumu. Cits algoritms nemitīgi meklē aizdomīgus darījumus un noteikti brīdinās, ja uzskatīs, ka kartes numurs ir nozagts. Trešais algoritms mēģina saprast, cik apmierināts esat. Ja jūs labs klients, bet izskaties neapmierināts, viņi tev nosūtīs “saldinātu” piedāvājumu vēl pirms došanās pie konkurentiem.
Atgriežoties mājās, tu dodies uz pastkastīti un atrodi vēstuli no drauga. Tas tika piegādāts, pateicoties algoritmam, kas iemācījās lasīt ar roku rakstītas adreses. Papildus vēstulei kastītē ir parasta makulatūra, kas arī atlasīta jums pēc algoritmiem ar apmācību (neko nevar izdarīt). Jūs uz brīdi apstājaties, lai ieelpotu svaigo vakara gaisu. Noziedzība pilsētā ir dramatiski samazinājusies, kopš policija sāka izmantot statistikas mācības, lai prognozētu noziegumu iespējamību, un nosūtīja patruļus uz problemātiskajām zonām. Jūs vakariņojat kopā ar ģimeni un skatāties televizoru. Mērs tiek rādīts ziņās. Jūs balsojāt par viņu, jo viņš jums zvanīja personīgi vēlēšanu dienā. Mācību algoritms norādīja uz jums un uzskatīja jūs par galveno neizlēmušo vēlētāju. Pēc vakariņām varat skatīties futbolu. Abas komandas spēlētājus izvēlējās, izmantojot statistikas mācības. Vai arī labāk ir spēlēt Xbox kopā ar bērniem? Šajā gadījumā Kinect mācību algoritms izsekos jūsu ķermeņa stāvokli un kustības. Pirms gulētiešanas jūs lietojat zāles, kas ir izstrādātas un pārbaudītas, izmantojot mācību algoritmus. Iespējams, pat jūsu ārsts izmantoja mašīnmācīšanos, lai noteiktu diagnozi, sākot no rentgenstaru interpretācijas līdz secinājuma izdarīšanai, pamatojoties uz neparastu simptomu kopumu.
Par grāmatu
Pedro Domingoss, viens no vadošajiem pētniekiem šajā jomā, paceļ priekškaru un pirmo reizi runā par...
Lasīt vairākPar grāmatu
Populāra un interesanta grāmata par universāla pašmācības algoritma meklējumiem no praktizējoša zinātnieka.
Algoritmi kontrolē mūsu dzīvi. Viņi atrod mums grāmatas, filmas, darbu un partnerus, pārvalda mūsu ieguldījumus un izstrādā jaunas zāles. Šie algoritmi arvien vairāk tiek apmācīti, pamatojoties uz datiem, ko mēs atstājam mūsdienu digitālajā pasaulē. Kā ziņkārīgi bērni mūs vēro, atdarina un eksperimentē. Un vadošās laboratorijas un universitātes strādā pie galvenā pašmācības algoritma izveides, kas var iegūt no datiem jebkuras zināšanas un atrisināt visas problēmas — pat pirms mēs tās formulējam.
Mašīnmācība ļauj viedajiem robotiem un datoriem programmēt sevi. Šis ir viens no svarīgākajiem modernās tehnoloģijas- un viņa ir viena no noslēpumainākajām.
Pedro Domingoss, viens no vadošajiem pētniekiem šajā jomā, pirmo reizi paceļ vāku šai zināšanu jomai, iepazīstinot lasītājus ar 5 galvenajām mašīnmācības skolām un parādot, kā viņi izmanto idejas no neirozinātnes, evolūcijas bioloģijas, fizikas un statistikas. izveidot algoritmus, kas mums palīdz.
Pa ceļam viņš stāsta par ideju par universālu pašmācības algoritmu un to, kā tas mainīs jūs, biznesu, zinātni un visu sabiedrību.
No autora
Galvenais algoritms no datiem varēs izvilkt visas zināšanas – zināšanas par pagātni, tagadni un nākotni. Šī algoritma izgudrošana būs viens no lielākajiem sasniegumiem zinātnes vēsturē. Tas paātrinās progresu burtiski visā, mainot pasauli tā, kā mēs šodien tik tikko spējam iedomāties. Mašīnmācības galvenais algoritms ir kaut kas līdzīgs standarta modelim daļiņu fizikā un molekulārās bioloģijas centrālajai dogmai: viena teorija, kas izskaidro visu, ko mēs zinām šodien, un liek pamatus gadu desmitiem vai gadsimtiem turpmākam progresam. Augstākais algoritms ir atslēga, lai atrisinātu vissarežģītākās problēmas, ar kurām saskaras cilvēce: no mājas robotu radīšanas līdz vēža ārstēšanai.
Kam šī grāmata ir paredzēta?
Tiem, kurus interesē mašīnmācība un mākslīgais intelekts.
Un ikvienam, kas vēlas uzzināt, kas notiek zinātnes progresīvākos virzienos.
Par autoru
Pedro Domingoss ir Vašingtonas universitātes profesors un vadošais mašīnmācības un mākslīgā intelekta eksperts. Viņš ir vienas grāmatas un daudzu zinātnisku rakstu autors. Domingoss ir vairāku profesionālo balvu saņēmējs.
Kopš tās atklāšanas Heba valdīšana ir bijusi konnekcionisma stūrakmens. Šis zinātniskais virziens ir parādā savu nosaukumu idejai, ka zināšanas tiek glabātas savienojumos starp neironiem. Kanādas psihologs Donalds Hebs savā 1949. gada grāmatā The Organization of Behavior to aprakstīja šādi: “Ja šūnas aksons A atrodas diezgan tuvu būrim B un atkārtoti vai nepārtraukti piedalās tās stimulēšanā, tad vienā vai abās šūnās notiks augšanas procesi vai vielmaiņas izmaiņas, kas palielina šūnas stimulācijas efektivitāti. Ašūnas B" Šo apgalvojumu bieži pārfrāzē kā “neironus, kas sašaurinās kopā”.
Heba noteikums apvieno idejas no psiholoģijas, neirobioloģijas un ievērojamu daudzumu spekulāciju. Asociatīvā mācīšanās ir bijusi britu empīristu iecienītākā tēma kopš Loka, Hjūma un Džona Stjuarta Mila. Psiholoģijas principos Viljams Džeimss formulēja vispārējs princips asociācija, kas ir apbrīnojami līdzīga Heba likumam, taču neironu vietā tajā iesaistīti procesi smadzenēs, bet stimulācijas efektivitātes vietā – ierosmes izplatīšanās. Aptuveni tajā pašā laikā izcilais spāņu neirozinātnieks Santjago Ramons y Cajal veica pirmos detalizētos smadzeņu pētījumus, krāsojot neironus ar jaunizgudroto Golgi metodi, un kataloģizēja savus novērojumus par to, kā botāniķi klasificēja jaunas koku sugas. Līdz Heba laikam neirozinātniekiem bija vispārēja izpratne par neironu darbību, taču viņš bija pirmais, kurš ierosināja mehānismu, ar kura palīdzību neironi varētu kodēt asociācijas.
Simbolisma mācībās pastāv savstarpēja atbilstība starp simboliem un to attēlotajiem jēdzieniem. Konekcionistiskie priekšstati ir sadalīti: katru jēdzienu pārstāv daudzi neironi, un katrs neirons piedalās daudzu jēdzienu reprezentācijā. Neironi, kas ierosina viens otru, hebiešu terminoloģijā veido "šūnu kopumus". Ar šādu mezglu palīdzību smadzenēs tiek pārstāvēti jēdzieni un atmiņas. Katrā ansamblī var būt neironi no dažādām smadzeņu zonām, un ansambļi var pārklāties. Tādējādi šūnu ansamblis jēdzienam “kāja” ietver ansambli jēdzienam “pēda”, kas, savukārt, ietver ansambļus pēdas attēlam un vārda “pēda” skanējumam. Ja simbolisma sistēmai jautāsiet, kur atrodas jēdziens "Ņujorka", tas norādīs precīzu tā uzglabāšanas vietu atmiņā. Konnekcionistiskā sistēmā atbilde ir “nedaudz no visa”.
Vēl viena atšķirība starp simbolistisko un konnekcionistisko mācīšanos ir tā, ka pirmā ir secīga, bet otrā ir paralēla. Reversās atskaitīšanas gadījumā soli pa solim izdomājam, kāds noteikums ir jāievieš, lai no premisām nonāktu pie vēlamajiem secinājumiem. Konnekcionistu modelī visi neironi mācās vienlaicīgi, saskaņā ar Heba likumu. Tas atspoguļo atšķirības starp datoriem un smadzenēm. Datori veic pat ļoti parastas darbības, piemēram, divu skaitļu pievienošanu vai slēdža pārslēgšanu, ar maziem soļiem, tāpēc ir jāveic daudzas darbības. Darbības var būt ļoti ātras, jo tranzistori var ieslēgties un izslēgties miljardiem reižu sekundē. Smadzenes var liels skaits paralēla skaitļošana, pateicoties vienlaicīgai miljardu neironu darbībai. Šajā gadījumā neironus var stimulēt labākajā gadījumā tūkstoš reižu sekundē, un katrs no šiem aprēķiniem ir lēns.
Tranzistoru skaits datorā tuvojas neironu skaitam cilvēka smadzenēs, bet smadzenes noteikti uzvar savienojumu skaitā. Tipisks mikroprocesora tranzistors ir tieši savienots ar dažiem citiem, un izmantotā plakanu pusvadītāju tehnoloģija ievērojami ierobežo datora veiktspējas uzlabošanas iespējas. Un neironam ir tūkstošiem sinapšu. Ja jūs ejat pa ielu un redzat kādu, ko pazīstat, jums būs nepieciešama tikai sekundes desmitdaļa, lai viņu atpazītu. Ņemot vērā neironu pārslēgšanās ātrumu, šis laiks knapi pietiktu simtiem informācijas apstrādes soļu, taču šo simtu soļu laikā smadzenes spēj noskenēt visu atmiņu, atrast tajā piemērotāko un atrasto pielāgot jauns konteksts (atšķirīgs apģērbs, atšķirīgs apgaismojums utt.). Katrs apstrādes posms var būt ļoti sarežģīts un ietvert lielu informācijas daudzumu.
Tas nenozīmē, ka nevar izmantot datoru, lai simulētu smadzenes: galu galā tieši to dara konnekcionisma algoritmi. Tā kā dators ir universāla mašīna Tjūrings, viņš var veikt smadzeņu aprēķinus tāpat kā jebkurš cits, ja viņam ir pietiekami daudz atmiņas un laika. Jo īpaši savienojamības trūkumu var kompensēt ar ātrumu: izmantojot vienu un to pašu savienojumu tūkstoš reižu, lai simulētu tūkstoš savienojumus. Patiesībā šodien galvenais trūkums Datoros ir tas, ka atšķirībā no smadzenēm tie patērē enerģiju: jūsu smadzenes patērē apmēram tikpat daudz enerģijas kā maza spuldze, savukārt elektrība, kas darbina Watson datoru, par kuru mēs runājām iepriekš, var apgaismot visu biznesa centru.
Tomēr, lai imitētu smadzeņu darbību, ar Heba likumu vien nepietiek: vispirms ir jāsaprot smadzeņu struktūra. Katrs neirons atgādina niecīgu koku ar milzīgu dendrītu sakņu sistēmu un plānu viļņainu stumbru - aksonu. Smadzenes kopumā ir kā mežs ar miljardiem šādu koku, taču šis mežs ir neparasts: koku zari ir savienoti ar tūkstošiem citu koku saknēm (šādus savienojumus sauc par sinapsēm), veidojot kolosālu, nebijušu sarežģītību. . Dažiem neironiem ir īsi aksoni, savukārt citiem ir ārkārtīgi gari aksoni, kas stiepjas no viena smadzeņu gala līdz otram. Ja jūs novietojat smadzeņu aksonus vienu aiz otra, tie nosegs attālumu no Zemes līdz Mēnesim.
Šajos džungļos sprakšķ elektrība. Dzirksteles skrien gar stumbriem un rada vēl lielāku dzirksteļu skaitu blakus esošajos kokos. Ik pa laikam mežs nikni uzliesmo, tad atkal norimst. Kad cilvēks kustina kāju pirkstu, virkne elektrisko izlādi, ko sauc par darbības potenciālu, virzās pa muguras smadzenēm, līdz tās sasniedz pirksta muskuļus un liek tai kustēties. Smadzeņu darbs ir kā šādu elektrisko izlāžu simfonija. Ja, lasot šo lapu, būtu iespējams ieskatīties notiekošajā no iekšpuses, šī aina būtu niecīga zinātniskās fantastikas romānu noslogotākajās metropolēs. Šis neticami sarežģītais neironu dzirksteļu modelis galu galā rada cilvēka apziņu.
Heba laikā viņi vēl nezināja, kā izmērīt sinaptisko spēku un tā izmaiņas, nemaz nerunājot par sinaptisko procesu molekulārās bioloģijas izpratni. Šodien mēs zinām, ka sinapses rodas un attīstās, kad postsinaptiskie neironi tiek satraukti drīz pēc presinaptiskajiem neironiem. Tāpat kā visās citās šūnās, jonu koncentrācija neironā un ārpus tā atšķiras, un tāpēc šūnas membrānā rodas elektriskā spriedze. Kad presinaptiskais neirons ir uzbudināts, sinaptiskajā spraugā tiek atbrīvotas sīkas pūslīši, kas satur neirotransmitera molekulas. Tie liek atvērties kanāliem postsinaptiskā neirona membrānā, no kuriem izplūst kālija un nātrija joni, mainot membrānas spriegumu. Ja vienlaikus tiek ierosināts pietiekams skaits cieši izvietotu presinaptisko neironu, spriegums lec un darbības potenciāls pārvietojas pa postsinaptiskā neirona aksonu. Pateicoties tam, jonu kanāli kļūst uztverošāki, parādās jauni sinapses stiprinoši kanāli. Cik mēs zinām, neironi mācās šādi.
Nākamais solis ir to visu pārvērst par algoritmu.
Perceptrona pieaugums un kritums
Pirmo formālo neirona modeli 1943. gadā ierosināja Vorens Makkuloks un Valters Pits. Tas bija līdzīgi loģiskajiem vārtiem, kas veido datorus. VAI vārti tiek ieslēgti, kad ir ieslēgta vismaz viena no tā ieejām, un UN vārti ir ieslēgti, kad visi ir ieslēgti. McCulloch-Pitts neirons ieslēdzas, kad tā aktīvo ieeju skaits pārsniedz noteiktu slieksni. Ja slieksnis ir viens, neirons darbojas kā VAI vārti. Ja slieksnis ir vienāds ar ieeju skaitu, piemēram, UN vārti. Turklāt viens McCulloch-Pitts neirons var novērst cita ieslēgšanos: tas modelē gan inhibējošās sinapses, gan NOT vārtus. Tādējādi neironu tīkli var veikt visas darbības, ko var veikt dators. Sākumā datoru bieži sauca par elektroniskajām smadzenēm, un tā nebija tikai līdzība.
Tomēr McCulloch-Pitts neirons nevar mācīties. Lai to izdarītu, savienojumiem starp neironiem jāpiešķir mainīgs svars, un rezultāts ir tā sauktais perceptrons. Perceptronus 1950. gadu beigās izgudroja Kornela universitātes psihologs Frenks Rozenblats. Rozenblats, harizmātisks runātājs un ļoti dzīvespriecīgs cilvēks, mašīnmācības rašanās labā darīja vairāk nekā jebkurš cits. Perceptrons ieguva savu nosaukumu no viņa intereses piemērot savus modeļus uztveres problēmām, piemēram, runas un rakstzīmju atpazīšanai. Tā vietā, lai ieviestu perceptronus datorprogrammās, kas tajos laikos bija ļoti lēnas, Rozenblats izveidoja savas ierīces: svarus attēloja mainīgi rezistori, piemēram, tie, kas atrodami aptumšojamos slēdžos, un elektromotori tika izmantoti svērtai mācīšanai pogas. (Kā jums patīk tik augstās tehnoloģijas?)
Perceptronā pozitīvais svars apzīmē ierosinošu savienojumu, un negatīvs svars ir inhibējošs savienojums. Ja perceptrona ievades svērtā summa ir virs sliekšņa, tā izvada vienu, un, ja tā ir zemāka, tā izvada nulli. Mainot svarus un sliekšņus, varat mainīt perceptrona aprēķināto funkciju. Protams, tiek ignorētas daudzas neironu darbības detaļas, taču mēs vēlamies visu pēc iespējas vienkāršot, un mūsu mērķis nav izveidot reālistisku smadzeņu modeli, bet gan izstrādāt mācīšanās algoritmu plašam pielietojumam. Ja kāda no ignorētajām detaļām izrādās svarīga, to vienmēr var pievienot. Neskatoties uz visiem vienkāršojumiem un abstraktumu, jūs varat pamanīt, ka katrs šī modeļa elements atbilst neirona elementam:
Jo lielāks ir ievades svars, jo spēcīgāka ir atbilstošā sinapse. Šūnas korpuss saskaita visas svērtās ievades, un aksons rezultātam piemēro soļu funkciju. Attēlā aksona lodziņā ir parādīts soļu funkcijas grafiks: zemām ievades vērtībām nulle pēkšņi pārvēršas par vienu, kad ievade sasniedz sliekšņa vērtību.
Iedomājieties, ka perceptronam ir divas nepārtrauktas ieejas x Un y(tas nozīmē, ka x Un y var ņemt jebkuru skaitlisku vērtību, nevis tikai 0 un 1). Šajā gadījumā katru piemēru var attēlot kā punktu plaknē, un robeža starp pozitīvajiem (kuriem perceptrona izvade 1) un negatīvo (izvade 0) piemēriem būs taisna līnija:
Lieta ir tāda, ka robeža ir punktu virkne, kurā svērtā summa precīzi atbilst sliekšņa vērtībai, un svērtā summa ir lineāra funkcija. Piemēram, ja svars x- 2, svars y- 3, un slieksnis ir 6, robeža tiks noteikta ar vienādojumu 2 x+ 3 = 6. Punkts x = 0, y= 2 atrodas uz robežas, un, lai uz tās paliktu, mums ir jāsper trīs soļi uz priekšu par katriem diviem soļiem uz leju: tad pieaugums x kompensēs samazinājumu y. Iegūtie punkti veido taisnu līniju.
Perceptronu svaru atrašana ietver līnijas virziena maiņu, līdz visi pozitīvie piemēri atrodas vienā pusē un visi negatīvie piemēri ir otrā pusē. Vienā dimensijā robeža ir punkts, divās dimensijās tā ir taisne, trīs dimensijās tā ir plakne, un, ja ir vairāk nekā trīs dimensijas, tā ir hiperplakne. Hipertelpā kaut ko vizualizēt ir grūti, bet matemātika darbojas tāpat: iekšā n mērījumi mums būs n ieejas, un perceptronam ir n svari Lai izlemtu, vai perceptrons iedegas vai ne, jums ir jāreizina katrs svars ar atbilstošā ieejas signāla vērtību un jāsalīdzina to kopējā vērtība ar sliekšņa vērtību.
Ja visu ieeju svari ir vienādi ar vienu un slieksnis ir puse no ievades skaita, perceptrons tiks aktivizēts, ja tiks aktivizēta vairāk nekā puse no ievadiem. Citiem vārdiem sakot, perceptrons ir kā mazs parlaments, kurā uzvar vairākums (lai gan varbūt ne tik mazs, ņemot vērā, ka tajā var būt tūkstošiem deputātu). Bet tajā pašā laikā parlaments nav pilnībā demokrātisks, jo kopumā ne visiem ir vienādas tiesības balsot. Neironu tīkls šajā ziņā vairāk līdzinās Facebook, jo daži tuvi draugi ir tūkstošiem draugu vērti – viņi ir tie, kuriem tu uzticies visvairāk un viņi tevi ietekmē visvairāk. Ja draugs tev iesaka kādu filmu, tu to skaties un iepatiksies, iespējams, nākamreiz atkal sekosi viņa padomam. Savukārt, ja tavs draugs pastāvīgi murgo par filmām, kas tev nesagādā nekādu prieku, tu sāksi ignorēt viņas viedokli (un iespējams, ka draudzība atdzisīs).
Tādā veidā Rosenblatt perceptron algoritms uzzina ievades svaru.
Apskatīsim “vecmāmiņas šūnu” — kognitīvo neirozinātnieku iecienītāko domu eksperimentu. "Vecmāmiņas šūna" ir neirons jūsu smadzenēs, kas uzliesmo tad un tikai tad, kad redzat savu vecmāmiņu. Tas, vai šāda šūna patiešām pastāv, ir atklāts jautājums, taču izgudrosim vienu īpaši mašīnmācībai. Perceptrons mācās atpazīt vecmāmiņu šādā veidā. Šīs šūnas ievades signāli ir vai nu neapstrādāti pikseļi, vai dažādas cietā kodēta attēla īpašības, piem. brūnas acis: ievade būs 1, ja attēlam ir brūnas acis, un 0, ja tā nav. Sākumā visu savienojumu svars, kas ved no īpašībām uz neironiem, ir mazs un nejaušs, piemēram, sinapses jaundzimušā smadzenēs. Pēc tam mēs parādām perceptronam attēlu sēriju, no kuriem daži ir no jūsu vecmāmiņas, daži no kuriem nav. Ja perceptrons izšauj, ieraugot vecmāmiņu, vai nešauj, ieraugot kādu citu, tad apmācība nav nepieciešama (nelabojiet to, kas darbojas). Bet, ja perceptrons neizšauj, skatoties uz vecmāmiņu, tas nozīmē, ka tā ievades vērtību svērtajai summai jābūt lielākai un aktīvo ievades svariem jāpalielina (piemēram, ja vecmāmiņa ir brūnacaina, šīs pazīmes svars palielināsies). Un otrādi, ja perceptrons aktivizējas, kad tam nevajadzētu, aktīvo ieeju svars ir jāsamazina. Kļūdas ir mācīšanās dzinējspēks. Laika gaitā pazīmes, kas norāda uz vecmāmiņu, saņems lielu svaru, bet tās, kas to nedara, saņems mazu svaru. Tiklīdz perceptrons vienmēr iedegas, ieraugot jūsu vecmāmiņu un viltus pozitīvie rezultāti pazūd, apmācība ir pabeigta.
Perceptrons izraisīja satraukumu zinātnieku aprindās. Viņš bija vienkāršs, taču spēja atpazīt drukātus burtus un runas skaņas: tas prasīja tikai apmācību pēc piemēra. Rozenblata kolēģis Kornela universitātē pierādīja, ka, ja pozitīvos un negatīvos piemērus var atdalīt ar hiperplānu, perceptrons atradīs šo plakni. Rozenblatam un citiem zinātniekiem patiesa izpratne par principiem, pēc kuriem smadzenes mācās, un līdz ar to spēcīgs daudzfunkcionāls mācīšanās algoritms šķita sasniedzama.
Bet tad perceptrons atsitās pret sienu. Zināšanu inženierus kaitināja Rozenblata paziņojumi: viņi bija greizsirdīgi par uzmanību un finansējumu, ko piesaistīja neironu tīkli kopumā un jo īpaši perceptroni. Viens no šādiem kritiķiem bija Marvins Minskis, Rozenblata bijušais zinātnes klases biedrs. vidusskola Bronksā, kurš līdz tam laikam vadīja mākslīgā intelekta grupu Masačūsetsas Tehnoloģiju institūtā. (Ziņkārīgā kārtā viņa disertācija bija par neironu tīkliem, bet pēc tam viņš tajos vīlies.) 1969. gadā Minskis un viņa kolēģis Seimūrs Papīrs izdeva grāmatu Perceptrons: an Introduction to Computational Geometry, kur viņi sīki, pa vienam aprakstīja vienkāršu lietas, kurām ir tāds pats nosaukums, algoritms nevar iemācīties. Vienkāršākais un līdz ar to nosodošākais piemērs ir ekskluzīvā VAI funkcija (īsumā XOR), kas ir patiesa, ja ir patiesa viena, bet ne abas ievades. Piemēram, divas lojālākās Nike pircēju grupas, šķiet, ir pusaudžu zēni un pusmūža sievietes. Citiem vārdiem sakot, jūs, visticamāk, iegādāsieties Nike kedas, ja esat jauna XOR sieviete. Jaunība ir piemērota, sieviešu dzimums arī, bet ne abi faktori vienlaikus. Ja vien jūs neesat jauna un sieviete, jūs arī neesat daudzsološs Nike reklāmas mērķis. XOR problēma ir tāda, ka nav taisnas līnijas, kas varētu atdalīt pozitīvos piemērus no negatīvajiem. Attēlā parādīti divi nepiemēroti kandidāti:
Tā kā perceptroni var atrast tikai lineāras robežas, XOR viņiem nav pieejams, un, ja viņi pat to nespēj, tad perceptrons nav labākais modelis par to, kā smadzenes mācās, un nepiemērots kandidāts augstākajiem algoritmiem.
Perceptrons modelē tikai viena neirona mācīšanos. Minskis un Papīrs atzina, ka savstarpēji savienotu neironu slāņiem vajadzētu būt spējīgiem uz vairāk, taču viņi nesaprata, kā šādus slāņus apmācīt. Arī citi zinātnieki to nezināja. Problēma ir tāda, ka nav skaidra veida, kā mainīt neironu svaru "slēptajos" slāņos, lai samazinātu neironu kļūdas izvades slānī. Katrs slēptais neirons ietekmē tā izvadi vairākos veidos, un katrai kļūdai ir tūkstošiem tēvu. Kurš vainīgs? Un otrādi, kam mums būtu jāpateicas par pareizo izeju? Uzticamības koeficientu piešķiršanas problēma parādās katru reizi, kad mēs cenšamies apmācīt sarežģītu modeli, un tā ir viena no galvenajām mašīnmācības problēmām.
Perceptroni bija nepārspējami skaidri, matemātiski nevainojami, un tiem bija katastrofāla ietekme uz mašīnmācību, kas tajā laikā galvenokārt bija saistīta ar neironu tīkliem. Lielākā daļa pētnieku (nemaz nerunājot par finansētājiem) secināja, ka vienīgais veids, kā izveidot inteliģentu sistēmu, ir to skaidri programmēt, tāpēc zināšanu inženierija zinātnē valdīja 15 gadus, un mašīnmācībai, šķiet, bija lemts palikt vēstures atkritumu tvertnē.
Fiziķis smadzenes izgatavo no stikla
Ja mašīnmācības vēsturi padarītu par Holivudas grāvēju, Mārvins Minskis būtu galvenais ļaundaris - ļaunā karaliene, kas iedod Sniegbaltītei saindētu ābolu un pamet viņu mežā (1988. gada esejā Seimūrs Papīrs pat jokojot salīdzināja sevi medniekam, ko karaliene nosūtīja uz mežu nogalināt Sniegbaltīti). Princis uz baltā zirga būtu fiziķis no Kalifornijas Tehnoloģiju institūta vārdā Džons Hopfīlds. 1982. gadā Hopfīlds pamanīja pārsteidzošas līdzības starp smadzenēm un brillēm, kas ir eksotisks materiāls, kuru iecienījuši statistikas fiziķi. Šis atklājums izraisīja konnekcionisma atdzimšanu, kas sasniedza maksimumu dažus gadus vēlāk, kad tika izgudroti pirmie algoritmi, kas spēj atrisināt uzticības koeficientu problēmu. Tas arī ievadīja jaunu ēru, kurā mašīnmācība aizstāja zināšanu inženieriju kā dominējošo paradigmu mākslīgā intelekta zinātnē.
Spin brilles patiesībā nav brilles, lai gan tām ir dažas stiklam līdzīgas īpašības. Drīzāk tie ir magnētiski materiāli. Katrs elektrons ir mazs magnēts, jo tam ir spins, kas var vērst "uz augšu" vai "uz leju". Tādos materiālos kā dzelzs elektronu spini parasti sarindojas vienā virzienā: ja uz leju vērstu elektronu ieskauj pagriežami elektroni, tas, visticamāk, apgāzīsies. Kad lielākā daļa dzelzs gabala griezienu sakrīt, tas pārvēršas par magnētu. Parastos magnētos mijiedarbības spēks starp blakus esošajiem spiniem ir vienāds visiem pāriem, bet griešanās stiklā tas var atšķirties un var būt pat negatīvs, izraisot blakus esošo spinu virzienus pretējos virzienos. Parasta magnēta enerģija ir viszemākā, ja visi spini ir izlīdzināti, bet griešanās stiklā lietas nav tik vienkāršas: vispārīgi runājot, zemākā enerģijas stāvokļa atrašana griešanās stiklam ir NP pilnīga problēma, kas nozīmē gandrīz jebkuru citu cietu. optimizācijas problēmu var reducēt uz to. Rezultātā griežamais stikls ne vienmēr nonāk zemākās enerģijas stāvoklī: tas var iestrēgt lokālā, nevis globālā minimumā, tas ir, zemākas enerģijas stāvoklī nekā visi stāvokļi, uz kuriem tas var nokļūt, mainoties. griešanās. Daudzējādā ziņā tas ir līdzīgs lietus ūdenim, kas ieplūst ezerā, nevis tieši okeānā.
Hopfīlds pamanīja interesantu līdzību starp spin stiklu un neironu tīkliem. Elektrona spins reaģē uz savu kaimiņu uzvedību aptuveni tāpat kā neirons: tas pagriežas uz augšu, ja tā kaimiņu svērtā summa pārsniedz sliekšņa vērtību, un uz leju (vai nemainās), ja tā nav. Iedvesmojoties no šī fakta, Hopfīlds identificēja neironu tīkla veidu, kas laika gaitā attīstās tāpat kā spin stikls, un apgalvoja, ka minimālie enerģijas stāvokļi šim tīklam ir tā atmiņas. Katrs šāds stāvoklis ir “pievilkšanās reģions” sākotnējiem stāvokļiem, kas tajā saplūst, un, pateicoties tam, neironu tīkls spēj atpazīt modeļus: piemēram, ja viena no atmiņām ir melnbalti pikseļi, kas veido skaitli deviņi. , un attēlā redzams izkropļots deviņi, tīkls to samazinās līdz “ideālajam” skaitlim un uzzinās. Pēkšņi mašīnmācībā varēja pielietot plašu fizisko teoriju klāstu, un šajā disciplīnā ienāca statistisko fiziķu plūdi, palīdzot izvilkt to no vietējā minimuma, kurā tā bija iestrēgusi.
Tomēr spin stikls joprojām ir ļoti nereāls smadzeņu modelis. Pirmkārt, spin mijiedarbība ir simetriska, bet savienojumi starp neironiem smadzenēs nav. Otra lielā problēma, kuru Hopfīlda modelis ignorēja, bija tā, ka īstie neironi darbojas saskaņā ar statistikas likumiem: tie neieslēdzas un neizslēdzas deterministiski atkarībā no ievades, bet gan ieslēdzas ar lielāku varbūtību, bet ne pārliecību, kā svērtais. ievades summa palielinās. 1985. gadā pētnieki Deivids Oklijs, Džefrijs Hintons un Terijs Sejnovskis aizstāja deterministiskos neironus Hopfīlda tīklos ar varbūtējiem. Neironu tīkls ieguva varbūtības sadalījumu pa saviem stāvokļiem, un augstas enerģijas stāvokļi kļuva eksponenciāli mazāk ticami nekā zemas enerģijas stāvokļi. Tīkla varbūtību noteiktā stāvoklī noteica Bolcmana sadalījums, kas labi zināms termodinamikā, tāpēc zinātnieki savu tīklu sauca par Bolcmaņa mašīnu.
Boltzmann mašīna sastāv no sensoro un slēpto neironu maisījuma (līdzīgi, piemēram, tīklenei un smadzenēm), un tā mācās, pārmaiņus guļot un pamostoties, tāpat kā cilvēks. Kad tiek pamodināti, sensorie neironi iedegas saskaņā ar datiem, savukārt slēptie neironi attīstās atbilstoši tīkla dinamikai un sensorajām ieejām. Piemēram, ja tīklā tiek parādīts deviņu attēls, ieslēgsies neironi, kas atbilst attēla melnajiem pikseļiem, citi paliks izslēgti, un slēptie neironi tiks nejauši ieslēgti saskaņā ar šo pikseļu vērtību Boltzmann sadalījumu. Miega laikā maņu un slēptie neironi klīst brīvi, un pirms jaunas dienas rītausmas iekārta salīdzina savu stāvokļu statistiku miega un vakardienas aktivitātes laikā un maina savienojumu svarus, lai šos stāvokļus saskaņotu. Ja divi neironi parasti šauj kopā dienas laikā, bet retāk miega laikā, to savienojuma svars palielināsies. Ja tas ir otrādi, tas samazināsies. Katru dienu prognozētās korelācijas starp sensorajiem neironiem attīstās, līdz tās sāk sakrist ar reālajām: šajā brīdī Bolcmana mašīnai ir labs datu modelis, tas ir, ticamības koeficientu piešķiršanas problēma ir efektīvi atrisināta.
Džefs Hintons turpināja pētījumus un nākamajās desmitgadēs izmēģināja daudzas Boltzmann mašīnas variācijas. Hintons, psihologs, kļuvis par datorzinātnieku un visos digitālajos datoros izmantotā loģiskā aprēķina izgudrotāja Džordža Būla mazmazmazdēls, ir pasaulē vadošais konnekcionists. Viņš mēģināja ilgāk un grūtāk nekā citi izdomāt, kā darbojas smadzenes. Hintons stāsta, ka kādu dienu pārnācis mājās no darba un satraukti kliedza: “Jā! Es sapratu, kā darbojas smadzenes!” Uz ko viņa meita atbildēja: "Atkal tēti?!" IN pēdējā laikā viņš sāka interesēties par dziļo mācīšanos, par ko mēs runāsim vēlāk šajā nodaļā, kā arī piedalījās atpakaļpropagācijas metodes izstrādē, kas ir algoritms, kas ir progresīvāks par Boltzmann mašīnām, problēmu risinātājs uzticības kredītu piešķiršana (par to tiks runāts nākamajā nodaļā). Boltzmann mašīnas principā var atrisināt šo problēmu, taču praksē mācīšanās ir ļoti lēna un sarežģīta, tāpēc šī pieeja vairumā gadījumu ir nepraktiska. Nākamais izrāviens prasīja atteikšanos no vēl vienas pārmērīgas vienkāršošanas, kas attiecas uz McCulloch un Pitts.
Vissvarīgākā līkne pasaulē
Saistībā ar kaimiņiem neirons var būt tikai vienā no diviem stāvokļiem - aktīvā un neaktīva. Tomēr šeit trūkst svarīga nianse. Darbības potenciāls nav ilgs: spriegums palielinās tikai uz sekundes daļu un nekavējoties atgriežas miera stāvoklī. Šo lēcienu tikko reģistrē uztverošais neirons: lai pamodinātu šūnu, ir nepieciešama virkne lēcienu ar īsiem intervāliem. Parastie neironi periodiski uzliesmo bez jebkādas stimulācijas. Stimulācijai uzkrājoties, neirons uzliesmo arvien biežāk un pēc tam sasniedz piesātinājumu, augstāko sprieguma lēcienu frekvenci, uz kādu tas ir spējīgs, un pēc tam pieaugošai stimulācijai vairs nav nekādas ietekmes. Neirons ir vairāk kā sprieguma-frekvences pārveidotājs, nevis loģiski vārti. Frekvences un sprieguma līkne izskatās šādi:
Šo iegareno S līkni sauc dažādi: loģistikas, S formas, sigmoīdu. Apskatiet to tuvāk, jo tā ir vissvarīgākā līkne pasaulē. Sākumā izvade pieaug lēni kopā ar ievadi: tik lēni, ka šķiet nemainīga. Tad tas sāk mainīties ātrāk, tad ļoti ātri, un tad lēnāk un lēnāk un beidzot atkal kļūst gandrīz nemainīgs. Tranzistora līkne, kas savieno ieejas un izejas spriegumu, arī ir S-veida, tāpēc datori un smadzenes ir piepildīti ar S-līknēm. Bet tas vēl nav viss. Visām fāzu pārejām ir sigmoīda forma: varbūtība, ka elektrons mainīs spinu atkarībā no pielietotā lauka, dzelzs magnetizācija, atmiņas bita ierakstīšana cietajā diskā, jonu kanāla atvēršana šūnā, kušana. ledus, ūdens iztvaikošana, jaunā Visuma inflācijas paplašināšanās, punktēts līdzsvars evolūcijā, mainīgas zinātniskās paradigmas, jaunu tehnoloģiju izplatība, baltā bēgšana no jauktām teritorijām, baumas, epidēmijas, revolūcijas, impēriju sabrukšana un daudz kas cits. Pagrieziena punkts: kā mazas lietas var radīt lielas atšķirības (lai gan mazāk vilinoši) varētu saukt par sigmoīdu. Zemestrīce ir fāzes maiņa divu blakus esošo tektonisko plātņu relatīvajās pozīcijās, un klauvēšana, ko mēs dažreiz dzirdam naktī, ir vienkārši mikroskopisku "tektonisko plākšņu" nobīde mājas sienās, tāpēc neuztraucieties. Džozefs Šumpēters teica, ka ekonomika attīstās lēkmēs un sākumos: arī radošai iznīcināšanai ir S forma. Finansiālie ieguvumi un zaudējumi arī ietekmē cilvēka laimi saskaņā ar sigmoīdu, tāpēc jums nevajadzētu pārāk daudz uztraukties un uztraukties. Varbūtība, ka būs apmierināma patvaļīga loģiskā formula — NP-pilnīgo problēmu būtība — seko fāzes pārejai no gandrīz viena uz gandrīz nulli, palielinoties formulas garumam. Statistikas fiziķi var pētīt fāzu pārejas visu mūžu.
Hemingveja romānā Saule arī lec Maikam Kempbelam jautā, kā viņš bankrotēja, un viņš atbild: “Divi veidi. Vispirms pakāpeniski un pēc tam visu uzreiz. Lehman Brothers varētu teikt to pašu. Šī ir sigmoīda būtība. Viens no prognozēšanas noteikumiem, ko formulējis futūrists Pols Safo, ir: meklējiet S formas līknes. Ja dušā nevarat “noķert” komfortablu temperatūru - ūdens vispirms ir pārāk auksts, bet pēc tam uzreiz pārāk karsts - vainojiet S-līkni. Attīstība pa S-veida līkni ir skaidri redzama, gatavojot popkornu: sākumā nekas nenotiek, tad pārsprāgst daži kodoli, pēc tam daudz vienā reizē, tad gandrīz visi pārsprāgst uguņošanā, tad vēl nedaudz - un jūs esi gatavs ēst. Muskuļu kustības notiek arī pēc sigmoīdas shēmas: lēni, ātri un vēlreiz lēni: multfilmas kļuva daudz dabiskākas, kad Disneja animatori to saprata un sāka to atdarināt. Acis virzās pa S līkni, kopā ar apziņu fiksējoties uz vienu vai otru objektu. Saskaņā ar fāzes pāreju garastāvoklis mainās. Tas pats ar dzimšanu, pubertāti, iemīlēšanos, laulībām, grūtniecību, iestāšanos un aiziešanu no darba, pārcelšanos uz citu pilsētu, paaugstināšanu amatā, pensionēšanos un nāvi. Visums ir milzīga fāzu pāreju simfonija, no kosmiskas uz mikroskopisku, no visparastākā līdz tām, kas maina mūsu dzīvi.
Sigmoīds ir svarīgs ne tikai kā modelis. Viņa nenogurstoši strādā matemātikā. Ja tuvināsiet tā centrālo segmentu, tas būs tuvu taisnai līnijai. Daudzas lietas, ko mēs uzskatām par lineārām, patiesībā ir S-līknes, jo nekas nevar augt bezgalīgi. Relativitātes dēļ un pretēji Ņūtonam paātrinājums nepalielinās lineāri, palielinoties spēkam, bet seko sigmoīdai līknei, kuras centrs ir nulle. Līdzīga aina vērojama ar atkarību elektriskā strāva no sprieguma rezistoros elektriskās ķēdes un spuldzēs (līdz kvēldiegs izkūst, kas pats par sevi ir vēl viena fāzes pāreja). Ja paskatās uz S-līkni no tālienes, tā atgādinās soļu funkciju, kurā ir izvade sliekšņa vērtība pēkšņi mainās no nulles uz vienu. Tāpēc, atkarībā no ieejas sprieguma, tā pati līkne aprakstīs tranzistora darbību digitālajos datoros un analogajās ierīcēs, piemēram, pastiprinātājos un uztvērējos. Sākotnējais sigmoīda segments būtībā ir eksponenciāls, un tuvu piesātinājuma punktam tas tuvojas eksponenciālam samazinājumam. Kad kāds runā par eksponenciālo izaugsmi, pajautājiet sev: cik drīz tā kļūs par S līkni? Kad sprādzienbīstams iedzīvotāju skaita pieaugums palēninās, Mūra likums izsmeļ savas iespējas, un singularitāte nekad nenāk? Atšķiriet sigmoīdu un iegūstat Gausa līkni: "lēni - ātri - lēni" kļūst par "zemu - augstu - zemu". Pievienojiet vairākas pakāpeniskas S formas līknes, kas virzās uz augšu un uz leju, un jūs iegūsit kaut ko tuvu sinusoidālajam vilnim. Faktiski katru funkciju var tuvināt ar S formas līkņu summu: kad funkcija iet uz augšu, jūs pievienojat sigmoīdu, bet, kad tā ir uz leju, jūs atņemat. Bērna mācīšanās nav pakāpeniska uzlabošana, bet gan S-līkņu uzkrāšanās. Tas attiecas arī uz tehnoloģiskām izmaiņām. Paskatieties uz Ņujorku no attāluma, un jūs redzēsiet sigmoīdu kolekciju, kas izvēršas gar horizontu, asu kā debesskrāpju stūri.
Mums vissvarīgākais ir tas, ka S-līknes noved pie jauna uzticamības koeficientu problēmas risinājuma. Tā kā Visums ir fāzu pāreju simfonija, modelēsim to, izmantojot fāzes pāreju. Tas ir tieši tas, ko smadzenes dara: tās pielāgo fāzu pāreju sistēmu iekšpusē uz līdzīgu sistēmu ārpusē. Tāpēc aizstāsim perceptrona soļa funkciju ar sigmoīdu un redzēsim, kas notiks.
Alpīnisms hipertelpā
Perceptrona algoritmā kļūdas signāls darbojas pēc principa "viss vai nekas": vai nu pareizi, vai nepareizi. Nav daudz, it īpaši daudzu neironu tīklu gadījumā. Var saprast, ka izejas neirons kļūdījās (up, vai tā nebija tava vecmāmiņa?), bet kā ar kādu neironu smadzeņu dziļumos? Un vispār, ko dziļajam neironam nozīmē pareizais un nepareizais? Tomēr, ja neirona izvade ir nepārtraukta, nevis bināra, attēls mainās. Pirmkārt, mēs varam novērtēt cik daudz izejas neirons ir kļūdains, pamatojoties uz atšķirību starp saņemto un vēlamo izvadi. Ja neironam vajadzētu dzirkstīt ar aktivitāti ("Ak, vecmāmiņ! Sveika!") un tas ir nedaudz aktīvs, tas ir labāk nekā tad, ja tas nemaz nedeg. Vēl svarīgāk ir tas, ka tagad mēs varam attiecināt šo kļūdu uz slēptajiem neironiem: ja izejas neironam vajadzētu būt aktīvākam un neironam ar to savienots. A, jo aktīvāks ir neirons A, jo vairāk mums jāstiprina saikne starp tām. Ja A nomāc neirons B, Tas B jābūt mazāk aktīvam un tā tālāk. Pateicoties atgriezeniskajai saitei no visiem neironiem, ar kuriem tas ir savienots, katrs neirons izlemj, cik daudz vairāk vai mazāk jāšauj. Tas un darbība savējais ievades neironi viņam nosaka, vai stiprināt vai vājināt savienojumus ar tiem. Man jābūt aktīvākam un neironam B Vai tas mani pārņem? Tas nozīmē, ka viņa svars ir jāsamazina. Neirons Cļoti aktīvs, bet tā saikne ar mani ir vāja? Stiprināsim to. Nākamajā kārtā klientu neironi, kas atrodas tālāk tīklā, man pateiks, cik labi es paveicu uzdevumu.
Ikreiz, kad mācīšanās algoritma "tīklene" redz jaunu attēlu, signāls izplatās visā tīklā, līdz tas rada izvadi. Salīdzinot iegūto izvadi ar vēlamo izvadi, tiek iegūts kļūdas signāls, kas pēc tam izplatās atpakaļ cauri visiem slāņiem un sasniedz tīkleni. Pamatojoties uz atgriešanās signālu un ievadi, kas saņemta izplatīšanās uz priekšu laikā, katrs neirons pielāgo savu svaru. Tā kā tīkls arvien vairāk redz jūsu vecmāmiņas un citu cilvēku attēlus, svari pakāpeniski saplūst ar vērtībām, kas ļauj atšķirt vienu no otra. Backpropagation metode, kā sauc šo algoritmu, ir nesalīdzināmi jaudīgāka par perceptronu. Viens neirons var atrast tikai taisnu līniju, bet tā sauktais daudzslāņu perceptrons var atrast patvaļīgi sapinušās robežas, ja tam ir pietiekami daudz slēptu neironu. Tas padara atpakaļejošo pavairošanu par augstāko savienojumu algoritmu.
Atpakaļpavairošana ir īpašs dabā un tehnoloģijās ļoti izplatītas stratēģijas gadījums: ja jums ātri jākāpj kalnā, izvēlieties stāvāko nogāzi, kādu varat atrast. Šīs parādības tehniskais termins ir "gradienta pacelšanās" (ja vēlaties nokļūt virsotnē) vai "gradienta nolaišanās" (ja skatāties uz ieleju zemāk). Baktērijas var meklēt barību, pārvietojoties pa, piemēram, glikozes koncentrācijas gradientu, un izbēgt no indēm, pārvietojoties pret savu gradientu. Gradienta nolaišanās var optimizēt daudzas lietas, sākot no lidmašīnas spārniem līdz antenu sistēmām. Pavairošana atpakaļ - efektīvs veidsŠāda veida optimizācija daudzslāņu perceptronā: turpiniet pielāgot svarus, lai samazinātu kļūdu iespējamību, un pārtrauciet, kad kļūst skaidrs, ka pielāgojumi neko nepievieno. Izmantojot atpakaļizplatīšanu, jums nav jāizdomā, kā no jauna pielāgot katra neirona svaru (tas būtu pārāk lēni): jūs varat to darīt slāni pa slānim, noregulējot katru neironu, pamatojoties uz tiem, ar kuriem tas jau ir savienots. Ja iekšā ārkārtas situācija jums būs jāizmet viss mašīnmācīšanās rīku komplekts un jāglābj viena lieta, iespējams, izlemsiet glābt nolaišanos no gradienta.
Tātad, kā atpakaļpavairošana atrisina mašīnmācīšanās problēmu? Varbūt vienkārši jāsavāc neironu gūzma, jāpagaida, līdz tie uzbur visu nepieciešamo, un tad pa ceļam uz banku piestājam, lai saņemtu Nobela prēmiju par smadzeņu darbības principa atklāšanu? Diemžēl dzīve nav tik vienkārša. Iedomājieties, ka jūsu tīklam ir tikai viens svars; kļūdas atkarība no tā ir parādīta šajā grafikā:
Optimālais svars, kur kļūda ir vismazākā, ir 2,0. Ja tīkls sākas, piemēram, no 0,75, kļūdas atpakaļizplatīšanās būs optimāla dažu soļu laikā, piemēram, bumbiņai, kas ripo no kalna. Taču, ja sāksim ar 5.5, noslīdīsim līdz 7.0 svaram un tur iestrēgsim. Kļūdas pavairošana ar pakāpeniskām svara izmaiņām nespēs atrast globālo kļūdas minimumu, un lokālie minimumi var būt patvaļīgi slikti: piemēram, vecmāmiņu var sajaukt ar cepuri. Ja ir tikai viens svars, varat izmēģināt visas iespējamās vērtības ar soli 0,01 un tādējādi atrast optimālo. Bet, ja ir tūkstošiem svaru, nemaz nerunājot par miljoniem vai miljardiem, tas nav risinājums, jo punktu skaits režģī palielinās eksponenciāli līdz ar svaru skaitu. Globālais minimums būs paslēpts kaut kur bezdibenī hipertelpas dzīlēs – meklējiet adatu siena kaudzē.
Iedomājieties, ka esat nolaupīts, aizsietas acis un pamests kaut kur Himalajos. Galva dauzās, atmiņa nav īpaši laba, bet tu noteikti zini, ka vajag uzkāpt Everesta virsotnē. Kas man jādara? Tu sper soli uz priekšu un gandrīz ieslīdi aizā. Atvelkot elpu, jūs nolemjat rīkoties sistemātiskāk un rūpīgi ar kāju aptaustīt augsni, lai noteiktu augstāko punktu. Tad tu kautrīgi sper soli viņai pretī, un viss atkārtojas. Pamazām tu kāp augstāk un augstāk. Pēc kāda laika jebkurš solis sāk vest uz leju, un tu apstājies. Šis ir gradienta kāpums. Ja Himalajos būtu tikai Everests un ideāla koniska forma, viss būtu kārtībā. Bet, visticamāk, vieta, kur visi pakāpieni ved lejā, joprojām būs ļoti tālu no augšas: jūs vienkārši iestrēgsit kādā kalnā apakšā. Tieši tā notiek ar backpropagation, tikai tā kāpj kalnos hipertelpā, nevis trīsdimensiju telpā, kā pie mums. Ja jūsu tīkls sastāv no viena neirona un jūs soli pa solim kāpjat uz labākajiem svariem, jūs nonāksit augšpusē. Bet daudzslāņu perceptronā ainava ir ļoti nelīdzena - vienkārši meklējiet augstāko virsotni.
Daļēji tāpēc Minskis, Papīrs un citi pētnieki nesaprata, kā var apmācīt daudzslāņu perceptronus. Viņi varēja iedomāties soļu funkciju aizstāšanu ar S līknēm un gradienta nolaišanos, bet pēc tam saskārās ar vietējo kļūdu minimumu problēmu. Tolaik zinātnieki neuzticējās datorsimulācijām un pieprasīja algoritma darbības matemātiskus pierādījumus, taču kļūdu atpakaļpavairošanas pierādījumu nebija. Bet, kā mēs jau redzējām, vairumā gadījumu pietiek ar vietējo minimumu. Kļūdas virsma bieži ir kā dzeloņcūkas virsma: daudz stāvu virsotņu un ieplaku, un nav īsti svarīgi, vai mēs atrodam dziļāko, absolūto siles — derēs jebkura. Vēl labāk, ja vietējais minimums var būt pat vēlams, jo tas ir mazāk pakļauts pārklāšanai nekā globālais minimums.
Hipertelpa ir abpusgriezīgs zobens. No vienas puses, nekā lielāks daudzums mērījumi, jo vairāk vietas ir ļoti sarežģītām virsmām un lokālām galējībām. No otras puses, lai iestrēgtu vietējā ekstrēmā, jums ir jāiestājas visiem izmēriem, un daudzos vienlaikus iestrēgt ir grūtāk nekā trijos. Hipertelpā ir caurlaides, kas iet cauri visam (hiper)reljefam, tāpēc ar nelielu cilvēka palīdzību atpakaļpavairošana bieži var atrast ceļu uz pilnīgi labu svaru komplektu. Varbūt tas nav jūras līmenis, bet tikai leģendārā Šangri La ieleja, bet ko tur sūdzēties, ja hipertelpā ir miljoniem šādu ieleju un uz katru ved miljardiem pāreju?
Tomēr jums nevajadzētu likt pārāk lielu uzsvaru uz svariem, ko atrod backpropagation. Atcerieties, ka, iespējams, ir daudz ļoti dažādu, bet vienādu labas iespējas. Daudzslāņu perceptronu apmācība ir haotiska tādā ziņā, ka, sākot no nedaudz dažādām vietām, tā var novest pie ļoti dažādi risinājumi. Šī parādība rodas, ja ir nelielas atšķirības gan sākotnējos svaros, gan apmācības datos, un tā notiek visos jaudīgajos mācību algoritmos, nevis tikai atpakaļejā.
Mēs varētu atbrīvojieties no vietējo galējību problēmas, noņemot mūsu sigmoīdus un ļaujot katram neironam vienkārši izvadīt savu ievades svērto summu. Šajā gadījumā kļūdas virsma kļūtu ļoti gluda, un paliktu tikai viens minimums - globālais. Tomēr būtība ir tāda, ka lineārā funkcija lineārās funkcijas joprojām ir lineāra funkcija, tāpēc lineāro neironu tīkls nav labāks par vienu neironu. Lineāras smadzenes, lai cik lielas tās būtu, būs dumjākas par tārpu. S-līknes ir tikai jauks pieturas punkts starp lineāro funkciju muļķību un soļu funkciju sarežģītību.
Perceptrons Strike Back
Backpropagation 1986. gadā izgudroja Kalifornijas Universitātes Sandjego psihologs Deivids Rumelharts sadarbībā ar Džefu Hintonu un Ronaldu Viljamsu. Viņi, cita starpā, pierādīja, ka backpropagation var tikt galā ar XOR, un tādējādi deva konnekcionistiem iespēju parādīt savu mēli Minskim un Papertam. Atcerieties Nike sporta apavu piemēru: pusaudži un pusmūža sievietes ir viņu visticamākie pircēji. To var uzskatīt par trīs neironu tīklu: viens, kas uzliesmo, ieraugot pusaudzi, otrs, kas uzliesmo, ieraugot pusmūža sievieti, un trešais, kas aizdegas, kad abi aizdegas. Izmantojot atpakaļpavairošanu, var uzzināt atbilstošos svarus un iegūt veiksmīgu iespējamo Nike pircēju detektoru. (Tas ir, Mārvin.)
Pirmajos atpakaļpropagācijas spēka demonstrācijās Terijs Sejnovskis un Čārlzs Rozenbergs apmācīja daudzslāņu perceptronu lasīt skaļi. Viņu sistēma NETtalk skenēja tekstu, atlasīja fonēmas atbilstoši kontekstam un pārsūtīja tās uz runas sintezatoru. NETtalk ne tikai veica pareizus vispārinājumus jauniem vārdiem, ko uz zināšanām balstītas sistēmas nevarēja, bet arī iemācījās runāt ļoti līdzīgi kā cilvēks. Sejnovskim patika apburt publiku zinātniskos pasākumos, atskaņojot NETtalk apmācības ierakstu: vispirms vāvuļošana, tad kaut kas saprotamāks un visbeidzot pilnīgi gluda runa ar ik pa laikam pieļautām kļūdām. (Piemērus meklējiet pakalpojumā YouTube, izmantojot sejnowski nettalk.)
Pirmie lielie neironu tīklu panākumi bija prognozēšana birža. Tā kā tīkli var atklāt nelielas nelinearitātes ļoti trokšņainos datos, tie ir ieguvuši popularitāti un aizstājuši finanšu jomā izplatītos lineāros modeļus. Tipisks ieguldījumu fonds apmāca tīklus katram no daudzajiem vērtspapīriem, pēc tam ļauj atlasīt perspektīvākos, pēc tam cilvēku analītiķi izlemj, kurā no tiem ieguldīt. Tomēr vairāki līdzekļi beidzās un ļāva mašīnmācīšanās algoritmiem veikt pirkumus un pārdošanu neatkarīgi. Tas, cik tieši daudziem no viņiem izdodas, ir noslēpums, taču, mācīšanās algoritmu speciālistiem satraucošā ātrumā pazūdot riska ieguldījumu fondu dzīlēs, kaut kas var būt saistīts.
Nelineārie modeļi ir svarīgi ne tikai biržā. Zinātnieki plaši izmanto lineāro regresiju, jo viņi to labi pārzina, taču pētāmās parādības bieži ir nelineāras, un daudzslāņu perceptrons var tās modelēt. Lineārie modeļi neredz fāzu pārejas, bet neironu tīkli tās absorbē kā sūklis.
Vēl viens ievērojams agrīno neironu tīklu panākums bija mācīšanās vadīt automašīnu. Pašbraucošās automašīnas pirmo reizi ieguva plašu uzmanību DARPA Grand Challenge 2004. un 2005. gadā, bet vairāk nekā desmit gadus pirms tam Kārnegija Melona universitātes zinātnieki veiksmīgi apmācīja daudzslāņu perceptronu vadīt automašīnu: atpazīt ceļu video un pagriezt stūri. attiecīgi. īstajā vietā. Ar nelielu cilvēka otrā pilota palīdzību šai automašīnai izdevās izbraukāt visas ASV no okeāna līdz okeānam, lai gan tās "redze" bija ļoti duļķaina (30 × 32 pikseļi) un smadzenes bija mazākas nekā tārpam. . (Projekts saucās No Hands Across America.) Iespējams, tā nebija pirmā patiesi pašbraucošā automašīna, taču pat tā izcēlās no vairuma braucošo pusaudžu.
Backpropagation ir neskaitāmas lietojumprogrammas. Pieaugot viņa slavai, kļuva zināms arvien vairāk viņa vēstures. Izrādījās, ka, kā tas bieži notiek zinātnē, metode tika izgudrota vairākas reizes: franču datorzinātnieks Jans Lekuns un citi zinātnieki uz to uzdūrās aptuveni tajā pašā laikā, kad Rumelhārts. Astoņdesmitajos gados vadošā mākslīgā intelekta konferencē tika noraidīts dokuments par atpakaļpavairošanu, jo, pēc recenzentu domām, Minskis un Paperts bija pierādījuši, ka perceptroni nedarbojas. Vispārīgi runājot, Rumelhārts drīzāk tiek uzskatīts par metodes izgudrotāju pēc “Kolumbusa testa”: Kolumbs nebija pirmais, kurš atklāja Ameriku, taču viņš bija pēdējais. Izrādās, ka Hārvardas universitātes maģistrants Pols Verboss 1974. gadā savā disertācijā ierosināja līdzīgu algoritmu, un lielākā ironija ir tā, ka kontroles teorētiķi Artūrs Braisons un He Juči to panāca 1969. gadā – tieši tad, kad Minskis un Papīrs publicēja. viņu grāmata Perceptrons! Tātad pati mašīnmācīšanās vēsture parāda, kāpēc mums ir nepieciešami mācību algoritmi: ja algoritmi būtu automātiski atklājuši, ka zinātniskajā literatūrā kopš 1969. gada ir bijuši raksti par kādu tēmu, mēs nebūtu tērējuši gadu desmitus, un, kas zina, kādi atklājumi būtu veikti. ātrāk.
Perceptrona vēsturē ir daudz ironijas, taču skumji ir tas, ka Frenks Rozenblats nekad neredzēja sava radīšanas otro cēlienu: viņš noslīka Česapīka līcī tajā pašā 1969. gadā.
Pilnīgs šūnu modelis
Dzīva šūna ir lielisks nelineāras sistēmas piemērs. Tas veic visas savas funkcijas, izmantojot sarežģītu ķīmisko reakciju tīklu, kas pārveido izejvielas galaproduktos. Kā redzējām iepriekšējā nodaļā, šī tīkla uzbūvi var atklāt, izmantojot simboliskas metodes, piemēram, reverso dedukciju, bet, lai izveidotu pilnīgu šūnas funkcionēšanas modeli, ir nepieciešama kvantitatīvā pieeja: jānoskaidro parametri. kas savieno dažādu gēnu ekspresijas līmeni, korelē mainīgos vide ar iekšējiem mainīgajiem un tā tālāk. Tas nav viegli, jo starp šiem lielumiem nav vienkāršas lineāras attiecības. Šūna saglabā savu stabilitāti, izmantojot krustojošās atgriezeniskās saites cilpas, un tās uzvedība ir ļoti sarežģīta. Atpakaļpropagācijas metode ir labi piemērota šīs problēmas risināšanai, jo tā var efektīvi apgūt nelineāras funkcijas. Ja mums būtu pieejama pilnīga vielmaiņas ceļu karte un pietiekami novērojumu dati par visiem attiecīgajiem mainīgajiem lielumiem, atpakaļpavairošana teorētiski varētu radīt detalizētu šūnas modeli, un daudzslāņu perceptrons prognozētu jebkuru mainīgo atkarībā no tā tiešajiem cēloņiem.
Tomēr pārskatāmā nākotnē mums būs tikai daļēja izpratne par šūnu metabolismu un varēsim novērot tikai daļu no mums nepieciešamajiem parametriem. Lai iegūtu noderīgus modeļus, saskaroties ar ierobežotu informāciju un neizbēgamām pretrunām, ir nepieciešamas Bajesa metodes, kuras mēs aplūkojam 6. nodaļā. Tas pats attiecas uz pacientam specifiskām prognozēm, ja modelis jau ir pieejams: Beijesa secinājumi maksimāli izmantos neizbēgami nepilnīgs un trokšņains attēls. Labi ir tas, ka vēža ārstēšanai nav nepieciešams pilnībā un visos sīkumos izprast audzēja šūnu darbību: pietiek tās vienkārši neitralizēt, nesabojājot normālas šūnas. 6. nodaļā mēs redzēsim, kā koncentrēt mācīšanos uz to, ko mēs nezinām un kas nav obligāti jāzina.
Šajā posmā mēs zinām, ka mēs varam izmantot atpakaļejošu dedukciju, lai secinātu šūnu tīklu struktūru no datiem un iepriekšējām zināšanām, taču to izmantošanas veidu skaits rada kombinatorisku sprādzienu, tāpēc ir nepieciešama sava veida stratēģija. Tā kā vielmaiņas tīklus izstrādāja evolūcija, iespējams, evolūcijas simulēšana mācību algoritmos būtu tikai biļete. Nākamajā nodaļā mēs redzēsim, kā to izdarīt.
Smadzeņu dziļumos
Kad backpropagation metode kļuva populāra, konnekcionisti iedomājās ātra mācīšanās arvien lielāki tīkli, līdz, ja aparatūra atļauj, tie kļūst līdzvērtīgi mākslīgajām smadzenēm. Izrādījās, ka viss bija nepareizi. Treniņu tīkli ar vienu slēpto slāni noritēja labi, bet pēc tam viss kļuva dramatiski sarežģītāk. Tīkli ar vairākiem slāņiem darbojās tikai tad, ja tie bija rūpīgi izstrādāti noteiktai lietojumprogrammai (piemēram, rakstzīmju atpazīšanai), un ārpus šī ietvara atpakaļpavairošana neizdevās. Pievienojot slāņus, kļūdas signāls arvien vairāk atšķīrās, piemēram, upe, kas sazarojas mazos kanālos līdz atsevišķiem nemanāmiem pilieniem. Mācīšanās ar desmitiem vai simtiem slēptu slāņu, tāpat kā smadzenēs, palika tāls sapnis, un līdz 90. gadu vidum sajūsma par daudzslāņu perceptroniem bija mazinājusies. Pastāvīgs konnekcionistu kodols saglabājās, taču kopumā uzmanība tika pievērsta citām mašīnmācīšanās jomām (tās redzēsim 6. un 7. nodaļā).
Tomēr šodien konnekcionisms atgriežas. Mēs apmācām dziļākus tīklus nekā jebkad agrāk, un tie nosaka jaunus standartus redzes, runas atpazīšanas un izstrādes jomā. zāles un citās jomās. Jauns rajons- dziļa mācīšanās - parādījās pat New York Times pirmajā lapā, bet, ja paskatāmies zem pārsega, mēs pārsteigti redzam, ka dūc tas pats vecais labais dzinējs - backpropagation metode. Kas ir mainījies? Kopumā nekā jauna nav, kritiķi teiks: datori vienkārši kļuvuši ātrāki un datu ir vairāk. Uz to Hintons un citi atbildēs: “Tieši tā! Mums bija pilnīga taisnība! ”
Patiesībā konnekcionisti ir guvuši lielus panākumus. Viens no jaunākā konnekcionisma amerikāņu kalniņu varoņiem ir maza ierīce, ko sauc par automātisko kodētāju — daudzslāņu perceptronu, kas izvada to, ko tas saņem kā ievadi. Tas saņem jūsu vecmāmiņas attēlu un parāda to pašu attēlu. No pirmā acu uzmetiena tā var šķist muļķīga ideja: kur šo lietu vispār var izmantot? Bet visa būtība ir tāda, ka slēptajam slānim jābūt daudz mazākam par ievadi un izvadi, tas ir, lai tīkls nevarētu vienkārši iemācīties kopēt ievadi uz slēpto slāni un slēpto slāni uz izvadi, jo šajā gadījumā ierīce vispār nav laba. Tomēr, ja slēptais slānis ir mazs, notiek interesanta lieta: tīkls ir spiests iekodēt ievadi tikai dažos bitos, lai to attēlotu slēptajā slānī, un pēc tam šie biti tiek atšifrēti atpakaļ pilnā izmērā. Sistēma var, piemēram, iemācīties iekodēt miljons pikseļu vecmāmiņas attēlu, kurā ir tikai septiņi burti — vārds “vecmāmiņa” — vai kāds pašas izgudrots īss kods, un tajā pašā laikā iemācīties atšifrēt šo vārdu sirdij mīļa pensionāra bilde. Tādējādi automātiskais kodētājs ir līdzīgs failu saspiešanas rīkam, taču tam ir divas priekšrocības: tas saprot, kā saspiest, un, tāpat kā Hopfield tīkli, var pārvērst trokšņainu, izkropļotu attēlu labā un tīrā.
Autokodētāji bija zināmi jau 1980. gados, taču toreiz tos bija ļoti grūti apgūt, neskatoties uz tikai vienu slēpto slāni. Izdomāt, kā daudz informācijas iesaiņot nedaudzos fragmentos, ir ļoti liela problēma (viens kods jūsu vecmāmiņai, nedaudz atšķirīgs vectēvam, otrs Dženiferai Anistonai un tā tālāk): hipertelpas ainava ir pārāk liela. izturīgs, lai uzkāptu uz labu virsotni, un slēptajiem elementiem ir jāapgūst, kas veido lieko XOR ievadi. Šo problēmu dēļ automātiskās kodēšanas ierīces toreiz īsti nepacēlās. Grūtību pārvarēšanai vajadzēja vairāk nekā desmit gadus. Tika izgudrots šāds triks: slēptais slānis jāpadara lielāks par ievadi un izvadi. Ko tas dos? Tas faktiski ir tikai puse no risinājuma: otrā daļa ir piespiest visas slēptās vienības, izņemot noteiktu skaitu, izslēgt plkst. šobrīd. Tas joprojām neļauj slēptajam slānim vienkārši kopēt ievadi un, pats galvenais, ievērojami atvieglo apmācību. Ja mēs ļaujam dažādiem bitiem attēlot dažādas ievades, ievades vairs nekonkurēs par to pašu bitu iestatīšanu. Turklāt tīklam būs daudz vairāk parametru, tāpēc hipertelpai būs daudz vairāk dimensiju un līdz ar to daudz vairāk veidu, kā izvairīties no tā, kas varētu kļūt par lokāliem maksimumiem. Šo veiklo triku sauc par retu automātisko kodētāju.
Tomēr mēs vēl neesam redzējuši patiesi dziļu mācīšanos. Nākamā gudrā ideja ir sakraut retus autokodētājus vienu uz otra kā lielu sviestmaizi. Pirmā slēptais slānis kļūst par ievadi/izeju otrajam un tā tālāk. Tā kā neironi ir nelineāri, katrs slēptais slānis apgūst sarežģītākus ievades attēlojumus, pamatojoties uz iepriekšējo. Ja jums ir liels sejas attēlu kopums, pirmais automātiskais kodētājs iemācīsies kodēt mazus elementus, piemēram, stūrus un punktus, otrais izmantos to, lai kodētu sejas vaibstus, piemēram, deguna galu un acs varavīksneni, trešais tiks galā ar veseliem deguniem un acīm utt. Visbeidzot, augšējais slānis varētu būt tradicionāls perceptrons - tas iemācītos atpazīt jūsu vecmāmiņu no augsta līmeņa funkcijām, ko nodrošina apakšējais slānis. Tas ir daudz vienkāršāk nekā izmantot tikai viena slēptā slāņa neapstrādātos datus vai mēģināt pārvietoties pa visiem slāņiem vienlaikus. Google Brain tīkls, ko reklamē New York Times, ir deviņu slāņu automātisko kodētāju un citu sastāvdaļu sviestmaize, kas mācās atpazīt kaķus no YouTube videoklipiem. Tolaik šis tīkls bija lielākais, kāds jebkad bijis apmācīts: tam bija miljards savienojumu. Nav pārsteigums, ka Endrjū Ng, viens no projekta vadītājiem, dedzīgi atbalsta ideju, ka cilvēka prātu var reducēt līdz vienam algoritmam un to ir pietiekami viegli atrast. Ng, kura pieklājīgā maniere neļauj neticamām ambīcijām, ir pārliecināts, ka daudzpakāpju retie autokodētāji var mūs pietuvināt mākslīgā intelekta atbloķēšanai nekā jebkas cits, kas mums ir bijis iepriekš.
Vairāku līmeņu autokodētāji nav vienīgais dziļās mācīšanās algoritmu veids. Vēl viens ir balstīts uz Boltzmann mašīnām, ir vizuālās garozas modeļi, kuru pamatā ir konvolucionālie neironu tīkli. Tomēr, neskatoties uz ievērojamajiem panākumiem, tas viss joprojām ir ļoti tālu no smadzenēm. Google tīkls spēj atpazīt kaķu sejas tikai no frontālā skata, bet cilvēks var atpazīt kaķi jebkurā pozā, pat ja tas vispār novēršas. Turklāt Google tīkls joprojām ir diezgan sekls, un autokodētāji veido tikai trīs no deviņiem slāņiem. Daudzslāņu perceptrons ir apmierinošs smadzenīšu modelis, kas ir smadzeņu daļa, kas ir atbildīga par zema līmeņa motora vadību. Tomēr smadzeņu garoza ir pavisam cita lieta. Tai, piemēram, trūkst atgriezeniskās saites savienojumu, kas nepieciešami kļūdu izplatīšanai, un tomēr garozā notiek patiesā mācīšanās burvība. Savā grāmatā On Intelligence Džefs Hokinss iestājas par tādu algoritmu izstrādi, kuru pamatā ir smadzeņu garozas struktūras cieša atkārtošana, taču neviens no šiem algoritmiem vēl nevar konkurēt ar mūsdienu dziļajiem tīkliem.
Tā kā mēs labāk saprotam smadzenes, tas var mainīties. Iedvesmojoties no cilvēka genoma projekta, jauna disciplīna- konnekomika - cenšas kartēt visas smadzeņu sinapses. Eiropas Savienība ir ieguldījusi miljardus eiro pilnvērtīga modeļa izveidē, un Amerikāņu programma BRAIN, kam ir līdzīgi mērķi, 2014. gadā vien saņēma finansējumu 100 miljonu ASV dolāru apmērā. Tomēr simbolisti ir ļoti skeptiski pret šo ceļu uz Augstāko algoritmu. Pat ja mēs iztēlotos visas smadzenes atsevišķu sinapsu līmenī, (ironiskā kārtā) būtu nepieciešami progresīvāki mašīnmācīšanās algoritmi, lai šo attēlu pārvērstu elektroinstalācijas shēmās: to izdarīt ar roku nav iespējams. Sliktākais ir tas, ka pat tad, ja mums ir pilnīga smadzeņu karte, mēs tik un tā nezināsim, kā tās darbojas. Tārpa Caenorhabditis elegans nervu sistēma, kas sastāv tikai no 302 neironiem, tika pilnībā kartēta 1986. gadā, taču mēs joprojām saprotam tās darbību tikai fragmentāri. Lai kaut ko saprastu sīko detaļu purvā un “atravētu” cilvēkiem raksturīgās detaļas un vienkārši evolūcijas dīvainības, ir nepieciešami augstāka līmeņa jēdzieni. Mēs nebūvējam lidmašīnas, izmantojot reversās inženierijas putnu spalvas, un lidmašīnas neplacina spārnus, taču lidmašīnu dizains balstās uz aerodinamikas principiem, kas attiecas uz visiem lidojošiem objektiem. Mums joprojām nav līdzīgu domāšanas principu.
Iespējams, konnekomika iet uz galējībām: tiek baumots, ka daži konnekcionisti apgalvo, ka atpakaļpavairošana ir galvenais algoritms: jums tas vienkārši jāpalielina. Bet simbolisti izsmej šos uzskatus un piedāvā garu sarakstu ar lietām, ko cilvēki var darīt, bet neironu tīkli nevar. Ņemiet, piemēram, “veselo saprātu”, kas prasa savienot informāciju, kas, iespējams, nekad agrāk nav bijusi tuvu. Vai Marija pusdienās ēd zābakus? Viņa neēd, jo ir cilvēks, cilvēki ēd tikai ēdamas lietas, bet apavi nav ēdami. Simboliskās sistēmas ar to tiek galā bez problēmām - tās vienkārši veido atbilstošu noteikumu ķēdes, taču daudzslāņu perceptroni to nevar izdarīt un, kad tie ir apmācīti, atkal un atkal aprēķinās vienu un to pašu fiksēto funkciju. Neironu tīkli nav kompozicionāli, un kompozicionalitāte ir būtisks cilvēka izziņas elements. Vēl viena liela problēma ir tā, ka gan cilvēki, gan simboliskie modeļi, piemēram, noteikumu kopas un lēmumu koki, spēj izskaidrot savu argumentāciju, savukārt neironu tīkli ir lieli skaitļu kalni, kurus neviens nevar saprast.
Bet, ja cilvēkam ir visas šīs spējas un smadzenes tās neapgūst, atlasot sinapses, no kurienes tās rodas? Vai tu netici maģijai? Tad atbilde ir "evolūcija". Stingram konnekcionisma kritiķim vienkārši ir jāsaprot, kā evolūcija iemācījās visu, ko bērns zina dzimšanas brīdī, un jo vairāk mēs piedēvējam iedzimtajām prasmēm, jo grūtāks ir uzdevums. Ja jums izdodas to visu saprast un ieprogrammēt datoru šāda uzdevuma veikšanai, būtu ļoti nepieklājīgi liegt jums plūkt Augstākā algoritma izgudrotāja laurus - vismaz vienu no tā variantiem.
Neirīts (garš cilindrisks nervu šūnas pagarinājums), caur kuru izejošie signāli (nervu impulsi) tiek pārraidīti no šūnas ķermeņa uz inervētiem orgāniem un citām nervu šūnām.
Viljams Džeimss (1842–1910) - amerikāņu filozofs un psihologs, viens no pragmatisma un funkcionālisma dibinātājiem un vadošajiem paudējiem.
Frenks Rozenblats (1928–1969) ir slavens amerikāņu zinātnieks psiholoģijas, neirofizioloģijas un mākslīgā intelekta jomās.
Džozefs Aloizs Šumpēters (1883–1950) - austriešu un amerikāņu ekonomists, politologs, sociologs un ekonomiskās domas vēsturnieks.
Ronalds Viljamss ir datorzinātņu profesors Bostonas Ziemeļaustrumu universitātē un viens no neironu tīklu pionieriem.
Robotu automašīnu sacensības, ko sponsorē ASV valdība. Šo sacensību mērķis ir izveidot pilnībā autonomus transportlīdzekļus.
Amerikāņu aktrise, vislabāk pazīstama ar Reičelas Grīnas lomu televīzijas seriālā Draugi, par ko viņa saņēma Emmy un Zelta Globusa balvas.
Notiek ielāde...
