Pedro Domingoss Galvenais algoritms: kā mašīnmācība mainīs mūsu pasauli. Pedro Domingoss — galvenais algoritms: kā mašīnmācība mainīs mūsu pasauli

Pašreizējā lapa: 1 (kopā grāmatā ir 30 lappuses) [pieejams lasīšanas fragments: 7 lpp.]

Pedro Domingoss
Galvenais algoritms: kā mašīnmācīšanās mainīs mūsu pasauli

Pedro Domingoss

Galvenais algoritms

Kā labākās mācību iekārtas meklējumi pārveidos mūsu pasauli

Zinātniskie redaktori Aleksandrs Sbojevs, Aleksejs Serenko

Publicēts ar atļauju no Pedro Domingos c/o Levine Greenberg Rostan Literary Agency un Synopsis Literary Agency

Izdevniecības juridisko atbalstu nodrošina advokātu birojs Vegas Lekss.

* * *

Šo grāmatu labi papildina:

Mākslīgais intelekts

Niks Bostroms

Skaistums kvadrātā

Alekss Belloss

Spēļu teorija

Avinašs Diksits un Berijs Nailbafs

Mīļā piemiņā par manu māsu Ritu, kura zaudēja cīņu ar vēzi, kamēr es rakstīju šo grāmatu.

Zinātnes lielākais uzdevums ir izskaidrot pēc iespējas vairāk eksperimentālu faktu ar loģisku dedukciju, sākot no pēc iespējas mazāk hipotēžu un aksiomu.

Alberts Einšteins

Civilizācijas progress ir palielināt svarīgu darbību skaitu, kuras mēs veicam bez domāšanas.

Alfrēds Norts Vaitheds

Prologs

Mašīnmācība ir jums visapkārt, pat ja jūs, iespējams, par to nezināt. Pateicoties mašīnmācībai, meklētājprogramma saprot, kādus rezultātus (un reklāmas) rādīt, atbildot uz jūsu vaicājumu. Kad pārbaudāt savu pastu Lielākā daļa surogātpasts tiek jums garām, jo tas tika filtrēts, izmantojot mašīnmācīšanos. Ja nolemjat kaut ko iegādāties vietnē Amazon.com vai apskatīt Netflix, lai skatītos filmu, mašīnmācīšanās sistēma palīdzēs jums ieteikt iespējas, kas jums varētu patikt. Izmantojot mašīnmācīšanos, Facebook izlemj, kuras ziņas jums rādīt, un Twitter izvēlas pareizos tvītus. Ikreiz, kad izmantojat datoru, ļoti iespējams, ka kaut kur ir iesaistīta mašīnmācīšanās.

Vienīgais veids, kā panākt, lai dators kaut ko darītu, sākot no divu skaitļu pievienošanas un beidzot ar lidošanu ar lidmašīnu, bija uzrakstīt kaut kādu algoritmu, kas mašīnai precīzi norāda, kas no tās tiek prasīts. Taču mašīnmācīšanās algoritmi ir pavisam cita lieta: viņi paši visu uzmin, izdara secinājumus, pamatojoties uz datiem, un jo vairāk datu, jo labāki tie ir. Tas nozīmē, ka datori nav jāprogrammē: tie programmējas paši.

Tas attiecas ne tikai uz kibertelpu: mašīnmācīšanās caurstrāvo visu mūsu dzīvi, sākot no pamošanās līdz gulētiešanai.

Septiņi no rīta. Modinātājs ieslēdz radio. Skan nepazīstama, bet ļoti patīkama mūzika: pateicoties pakalpojumam Pandora 1
Multivides straumēšana internetā. Pandora multivides atskaņotāja lietotājs izvēlas mūzikas izpildītāju, pēc kura sistēma meklē līdzīgas dziesmas, izmantojot aptuveni 400 muzikālās īpašības. Izmantojot “patīk” vai “nepatīk” funkcijas, klausītājs bieži vien var noskaņoties “radiostacijai” pēc savas patikas. Tālāk, ja nav norādīts citādi, apm. ed.

Radio iepazina jūsu gaumi un pārvērtās par "personīgo dīdžeju". Iespējams, ka pati dziesma arī dzimusi ar mašīnmācības palīdzību. Brokastīs jūs šķirat rīta avīzi. Dažas stundas iepriekš viņa izkāpa no iespiedmašīnas, kas bija precīzi noregulēta ar mācību algoritmu, lai novērstu drukas defektus. Temperatūra telpā ir īpaši ērta, un elektrības rēķini neapdraud, jo ievietojat Nest viedo termostatu.

Lai apkopotu lielu informācijas apjomu, aplūkojiet to no dažādiem leņķiem un detalizēti izpētiet visu svarīgāko. Ja jums jāizlemj, kurš vietnes izkārtojums - A vai IN– piesaistīs vairāk potenciālo klientu, apmācītā sistēma pārbaudīs abas iespējas un sniegs Jums atskaiti. Jāskatās potenciālā piegādātāja vietne, un viņš ir ieslēgts svešvaloda? Nav problēmu, Google to automātiski iztulkos jūsu vietā. E-pastiērti sakārtoti mapēs, un iesūtnē palika tikai svarīgākais. Vārdu procesors pārbauda gramatiku un pareizrakstību jūsu vietā. Jūs esat atradis lidojumu gaidāmajam komandējumam, bet vēl nepērkat biļeti, jo Bing Travel prognozē, ka cenas drīzumā pazemināsies. Nemanot, jūs katru stundu darāt daudz. vairāk darba nekā viņi varētu bez mašīnmācības palīdzības.

Savā brīvajā laikā jūs pārbaudāt savus kopfondu noguldījumus. Lielākā daļa šo fondu izmanto mācību algoritmus, lai atlasītu daudzsološās akcijas, un vienu no tiem pilnībā pārvalda sistēma, kuras pamatā ir mašīnmācīšanās. Pusdienu laikā tu izej ārā un domā, kur paēst. Yelp mācību sistēma viedtālrunī jums palīdzēs. Mobilie telefoni kopumā tie ir līdz galam piepildīti ar mācību algoritmiem, kas nenogurstoši labo drukas kļūdas, atpazīst balss komandas, labo datu pārraides kļūdas, lasa svītrkodus un dara daudzas citas noderīgas lietas. Viedtālrunis pat iemācījās uzminēt jūsu nākamo darbību un dot noderīgi padomi. Piemēram, viņš jums pateiks, ka tikšanās sāksies vēlāk, jo lidmašīna, ar kuru jūsu viesim ir jāierodas, kavējas.

Ja pabeidzat darbu vēlu vakarā, mašīnmācīšanās palīdzēs bez starpgadījumiem nokļūt līdz automašīnai stāvvietā: algoritmi uzrauga video no novērošanas kameras un attālināti brīdina apsardzi, kad viņi pamana kaut ko aizdomīgu. Pieņemsim, ka pa ceļam uz mājām apstājaties pie lielveikala. Produkti plauktos tiek sakārtoti pēc mācību algoritmu norādījumiem: viņi izlemj, kurus produktus vislabāk pasūtīt, ko likt rindas beigās un kur mērču nodaļā vai pie tortiljas čipsiem ir vieta salsai. . Pie kases jūs maksājat ar kredītkarti. Savulaik apmācītais algoritms nolēma, ka jums ir jānosūta piedāvājums tā izsniegšanai, un pēc tam apstiprināja jūsu pieteikumu. Cits algoritms nemitīgi meklē aizdomīgus darījumus un noteikti brīdinās, ja viņam liksies, ka kartes numurs ir nozagts. Trešais algoritms mēģina saprast, cik apmierināts esat. Ja esat labs klients, bet šķiet neapmierināts, jums tiks nosūtīts "saldināts" piedāvājums, pirms pat dodaties pie konkurenta.

Atgriežoties mājās, tu dodies uz pastkastīti un atrodi vēstuli no drauga. Tas tika piegādāts, pateicoties algoritmam, kas iemācījās lasīt ar roku rakstītas adreses. Papildus vēstulei kastē ir parasta makulatūra, kas arī izvēlēta jums, apgūstot algoritmus (neko nevar izdarīt). Jūs uz brīdi apstājaties, lai ieelpotu svaigo vakara gaisu. Noziedznieku skaits pilsētā ir ievērojami samazinājies, kopš policija sāka izmantot statistikas mācības, lai prognozētu noziegumu iespējamību un nosūtītu patruļus uz nemierīgajām vietām. Jūs vakariņojat kopā ar ģimeni un skatāties televizoru. Ziņās rāda mērs. Jūs balsojāt par viņu, jo viņš jums zvanīja personīgi vēlēšanu dienā. Viņu uz jums norādīja mācību algoritms, kas uzskatīja jūs par galveno neizlēmušo vēlētāju. Pēc vakariņām varat skatīties futbolu. Abas komandas spēlētājus izvēlējās, izmantojot statistikas mācības. Vai arī labāk ir spēlēt ar bērniem Xbox? Šajā gadījumā Kinect mācību algoritms izsekos jūsu ķermeņa stāvokli un kustības. Pirms došanās gulēt, jūs lietojat zāles, kas izstrādātas un pārbaudītas ar mācību algoritmiem. Iespējams, pat jūsu ārsts izmantoja mašīnmācīšanos, lai noteiktu diagnozi, sākot no rentgenstaru interpretācijas un beidzot ar neparastu simptomu kopumu.

Mašīnmācība veic savu darbu visos cilvēka dzīves posmos. Ja jūs gatavojāties koledžas eksāmeniem, izmantojot internetu, īpašs algoritms novērtēja jūsu testa esejas. Un, ja nesen iestājāties biznesa skolā un pabeidzāt GMAT 3
GMAT (Graduate Management Admission Test) ir standartizēts tests, lai noteiktu spēju sekmīgi studēt biznesa skolās.

Mācību sistēma bija viens no pārbaudītājiem, kas vērtēja esejas. Iespējams, kad jūs pieteicāties darbam, apmācīts algoritms izvilka jūsu CV no "virtuālās kaudzes" un teica potenciālais darba devējs: "Lūk, šeit ir spēcīgs kandidāts." Visticamāk, ka arī savu neseno algas palielinājumu esat parādā kāda veida apmācītam algoritmam. Ja vēlaties iegādāties māju, Zillow.com novērtēs katras jūs interesējošās iespējas vērtību. Kad esat pieņēmis lēmumu un nolēmis ņemt hipotēku, mašīnmācīšanās algoritms izskatīs jūsu pieteikumu un ieteiks apstiprināt (vai noraidīt). Un, iespējams, vissvarīgākais ir tas, ka, ja jūs interesē tiešsaistes iepazīšanās, mašīnmācīšanās palīdzēs jums atrast patiesu mīlestību.

Sabiedrība mainās ar katru jaunu algoritmu. Mašīnmācība pārveido zinātni, tehnoloģijas, uzņēmējdarbību, politiku un kara mākslu. Satelīti un daļiņu paātrinātāji arvien vairāk pēta dabu, un mācību algoritmi pārvērš datu upes jaunās zinātniskās zināšanās. Uzņēmumi pazīst savus klientus kā nekad agrāk. Vēlēšanas uzvar kandidāti, kuri labāk modelē vēlētāju uzvedību (piemērs - Obama pret Romniju 4
Vilards Mits Romnijs (dzimis 1947. gadā) ir amerikāņu politiķis. Viņš bija ASV prezidenta kandidāts 2012. gada vēlēšanās no Republikāņu partijas.

). Bezpilota transportlīdzekļi iekaro zemi, ūdeni un gaisa telpu. Neviens neievada informāciju par mūsu gaumēm Amazon ieteikumu sistēmā: mācību algoritms tās nosaka pats, apkopojot informāciju par veiktajiem pirkumiem. Google pašbraucošā automašīna iemācījās noturēties uz ceļa: neviens inženieris tai nav uzrakstījis algoritmu, kas soli pa solim izskaidro, kā tikt no punkta A tieši tā B. Neviens nezina, kā uzrakstīt programmu automašīnas vadīšanai, un nevienam tas nav jādara, jo automašīna, kas aprīkota ar mācību algoritmu, aplūkos vadītāja darbības un izdomās to pati.

Mašīnmācība ir tehnoloģija, kas veido pati sevi. Tā ir jauna parādība mūsu pasaulē. Kopš mūsu attālie senči iemācījās asināt akmeņus un izgatavoja pirmos instrumentus, cilvēce ir izstrādājusi artefaktus pati, manuāli vai vairumā. Mācību algoritmi ir artefakti, ko rada citi artefakti. "Datori nav noderīgi," sacīja Pikaso. "Viņi tikai zina, kā sniegt atbildes." Datori nav domāti radošumam: tiem ir jādara tieši tas, ko viņiem liek. Bet, ja sakāt viņiem būt radošiem, jūs saņemsiet mašīnmācīšanos. Mācību algoritms ir kā prasmīgs meistars: katrs viņa darinājums ir unikāls, un katrs ir radīts tieši tā, kā klients vēlējās. Vienkārši, atšķirībā no meistariem, mācīšanās algoritmi nepārvērš akmeni par mūri un ne zeltu par rotaslietas, un datus algoritmos. Un jo vairāk datu viņiem ir, jo labāks var izrādīties algoritms.

Homo sapiens ir iemācījies pielāgot pasauli sev, nevis pielāgoties esošajiem apstākļiem. Mašīnmācība atver jaunu nodaļu garā, miljonu gadu ilgā evolūcijas sāgā, izmantojot to, lai pasaule sajustu, ko jūs vēlaties, un pielāgotos jums. Jums pat nav vajadzīga burvju nūjiņa: pasaule ap jums - šodien virtuāla, bet rīt fiziskā - kļūs kā maģisks mežs. Ja ej pa taku biezoknī, tas kļūs par ceļu. Ja apmaldīsities, nez no kurienes parādīsies bultiņas, kas norādīs jums vajadzīgo virzienu.

Šīs maģiskās tehnoloģijas ir iespējamas, jo mašīnmācības kodols ir prognozēšana: mūsu vēlmju, mūsu darbību rezultātu, mērķu sasniegšanas veidu, pārmaiņu prognozēšana pasaulē. Kādreiz mums bija jāpaļaujas uz šamaņiem un zīlniekiem, taču tas izrādījās pārāk neuzticami. Zinātniskās prognozes ir uzticamākas, taču tās attiecas tikai uz jomām, kuras mēs varam sistemātiski novērot un kuras var modelēt. Lielie dati un mašīnmācīšanās ir ievērojami paplašinājušas šīs robežas. Dažreiz cilvēks var paredzēt bez ārējas palīdzības, piemēram, ķerot bumbu vai turpinot sarunu. Dažreiz mēs nevaram paredzēt, lai kā mēs censtos. Bet starp šīm galējībām ir plaša joma, kurā mašīnmācība ir noderīga.

Mācīšanās algoritmi sniedz dziļāku ieskatu dabā un cilvēku uzvedībā, taču dīvainā kārtā tie paši ir tīti noslēpumainības plīvurā. Neviena diena nepaiet bez jauna stāsta, kas saistīts ar mašīnmācīšanos plašsaziņas līdzekļos, neatkarīgi no tā, vai Apple laiž klajā personīgo asistentu Siri — IBM Watson superdatoru, kas pārspēj čempionu briesmās! ("Savas spēles" analogs) 5
Tas attiecas uz IBM superdatoru, kas aprīkots ar mākslīgā intelekta sistēmu, kuru izveidoja pētnieku grupa Deivida Feruči vadībā. 2011. gada februārī viņš piedalījās TV šovā Jeopardy!, lai pārbaudītu Vatsona spējas. Viņa pretinieki bija Breds Raters – programmas lielākās uzvaras īpašnieks – un Kens Dženingss – rekordists par garāko neuzvarēto sēriju. Vatsons uzvarēja ar miljonu dolāru, savukārt Dženingss un Raters saņēma attiecīgi 300 000 un 200 000 USD.

Mazumtirdzniecības ķēde Target, kas par pusaudža grūtniecību uzzināja pirms vecākiem, vai Aģentūra valsts drošība apvienojot atšķirīgus pierādījumus. Tomēr visos šajos gadījumos mācību algoritmi, kas padarīja šos stāstus iespējamus, skatītājiem paliek kā melnā kaste. Pat grāmatas par lielajiem datiem izvairās no jautājuma, kā tieši dators, norijis visus šos terabaitus, maģiski nonāk pie vērtīgiem secinājumiem. Labākajā gadījumā mums paliek iespaids, ka mācību algoritmi vienkārši atrod korelācijas starp diviem notikumiem, piemēram, meklēšanu Google virknē “ārstēt saaukstēšanos” un pašu saaukstēšanos. Tomēr korelāciju atrašana mašīnmācībai ir nekas cits kā ķieģeļi. Jūs nevarat dzīvot ķieģeļu kalnā.

Ja jauna tehnoloģija caurvij mūsu dzīvi tādā mērā, kā to dara mašīnmācība, tā mums nevar palikt noslēpums. Neskaidrības rada labvēlīgu augsni kļūdām un nepareizai lietošanai. Amazon algoritms ir labāks, nekā jebkurš cilvēks spēj noteikt, kādas grāmatas mūsdienās tiek lasītas pasaulē. Nacionālās drošības aģentūras algoritmi spēj atpazīt cilvēkā potenciālo teroristu. Klimata modelēšana atklāj drošu oglekļa dioksīda līmeni atmosfērā, un akciju atlases modeļos ekonomikā tiek ieguldīti vairāk nekā vairums no mums. Bet jūs nevarat kontrolēt to, ko nesaprotat, un tāpēc jums ir jāsaprot mašīnmācīšanās — kā pilsonim, kā profesionālim un kā cilvēkam, kas tiecas pēc laimes.

Šīs grāmatas pirmais uzdevums ir iepazīstināt jūs ar mašīnmācīšanās noslēpumiem. Automašīnas dzinējs ir jāsaprot tikai inženieriem un mehāniķiem, bet jebkuram autovadītājam ir jāzina, ka, pagriežot stūri, mainās kustības virziens, un, nospiežot bremzi, automašīna apstāsies. Mūsdienās tikai retajam ir priekšstats par algoritmu apguvi vismaz šajā līmenī, nemaz nerunājot par prasmi tos izmantot. Psihologs Donalds Normans radīja terminu "konceptuālais modelis": tās ir aptuvenas zināšanas par dažām tehnoloģijām, kas ir pietiekamas, lai tās efektīvi izmantotu. Šī grāmata sniegs jums konceptuālu mašīnmācības modeli.

Ne visi mācību algoritmi darbojas vienādi, un tam ir noteiktas sekas. Ņemiet, piemēram, Amazon un Netflix ieteikumu sistēmas un pastaigājieties ar tām pa parastu grāmatnīcu. Mēģinot atrast grāmatas, kuras “jums noteikti patiks”, Amazon, visticamāk, aizvedīs uz plauktu, pie kura iepriekš bieži esi vērsies, un Netflix aizvedīs uz stūri, kas nav pazīstams un no pirmā acu uzmetiena nav acīmredzams, bet ko tu tur atradīsi, tas tev noteikti patiks. Šajā grāmatā jūs uzzināsit, ka Amazon un Netflix vienkārši ir dažāda veida algoritmi. Netflix algoritms iedziļinās jūsu gaumē (lai gan joprojām diezgan pieticīgi), taču, dīvainā kārtā, tas nenozīmē, ka Amazon gūtu labumu no šādas pieejas. Fakts ir tāds, ka, lai veiksmīgi attīstītu Netflix biznesu, pieprasījums ir jānovirza uz ilgu neskaidru un līdz ar to lētu filmu un TV šovu celiņu un jānovirza klienti no grāvējiem, par kuriem ar abonementu vienkārši nepietiks. Amazon menedžeriem šīs problēmas nav: viņi gūst labumu arī no lēnas kustības preču pārdošanas, taču populāru un dārgu iespēju pārdošana ir ne mazāk patīkama (turklāt tas vienkāršo loģistiku). Turklāt klienti, visticamāk, noskatīsies kaut ko neparastu, abonējot, nevis iegādāsies speciāli.

Katru gadu pasaulē parādās simtiem jaunu mācību algoritmu, taču tie visi ir balstīti uz nelielu fundamentālu ideju kopumu. Šī grāmata ir veltīta šīm idejām, un ar tām jums pietiks, lai saprastu, kā mašīnmācība maina mūsu pasauli. Neiedziļinoties džungļos un pat nepieskaroties algoritmu pielietojumam datoros, sniegsim atbildes uz mums visiem svarīgiem jautājumiem: “Kā mēs mācāmies?”, “Vai varam mācīties efektīvāk?”, “Ko vai varam paredzēt?”, “Vai ir iespējams uzticēties iegūtajām zināšanām? Konkurējošās mašīnmācības skolas uz šiem jautājumiem atbild dažādos veidos. Kopumā ir piecas galvenās zinātnes tendences, no kurām katrai mēs veltīsim atsevišķu nodaļu. Simbolisti mācīšanos uzskata par dedukcijas apvērsumu un smeļas idejas no filozofijas, psiholoģijas un loģikas. Konekcionisti 6
Viena no pieejām mākslīgā intelekta, kognitīvās zinātnes (kognitīvistikas), neirozinātnes, psiholoģijas un prāta filozofijas jomā.

Viņi atjauno smadzenes, izmantojot reverso inženieriju, un tos iedvesmo neirozinātne un fizika. Evolucionisti simulē evolūciju datoros un pievēršas ģenētikai un evolūcijas bioloģijai. Bajesa aizstāvji 7
Tās izcelsme ir Beijesa teorēmā, kas ir viena no elementārās varbūtības teorijas pamatteorēmām, un tā ir nosaukta Tomasa Beiza (1702–1761), angļu matemātiķa un garīdznieka vārdā, kurš pirmais ierosināja izmantot šo teorēmu, lai labotu uzskatus, pamatojoties uz atjauninātu. datus.

Tiek uzskatīts, ka mācīšanās ir sava veida varbūtības secinājums, un šīs skolas saknes meklējamas statistikā. Analogi ekstrapolē, pamatojoties uz spriedumu līdzību, un tos ietekmē psiholoģija un matemātiskā optimizācija. Cenšoties veidot mācību mašīnas, mēs iesim cauri pēdējo simts gadu domāšanas vēsturei un ieraudzīsim to jaunā gaismā.

Katrai no piecām mašīnmācības “ciltīm” ir savs universālais apmācāmais — meistars — algoritms, ko principā var izmantot, lai iegūtu zināšanas no datiem jebkurā jomā. Simbolistiem tā ir atgriezeniskā dedukcija, konnekcionistiem tā ir atpakaļpavairošana, evolucionistiem tā ir ģenētiska programmēšana, Beijesiem tā ir Bajesa secinājumi, un analogiem tās ir atbalsta vektora mašīnas. Tomēr praksē katrs no šiem algoritmiem ir labs dažiem uzdevumiem, bet ne pārāk piemērots citiem. Es vēlētos, lai visas to funkcijas apvienotos vienā galīgā, perfektā galvenā algoritmā. Daži cilvēki domā, ka tas ir īsts sapnis, taču daudziem no mums — cilvēkiem, kas ir iesaistīti mašīnmācībā —, redzot šos vārdus, acis iedegas, un sapnis liek mums strādāt līdz vēlai naktij.

Galvenais algoritms pratīs no datiem vispār izvilkt visas zināšanas – zināšanas par pagātni, tagadni un nākotni. Šī algoritma izgudrošana būtu viens no lielākajiem sasniegumiem zinātnes vēsturē. Tas paātrinās progresu burtiski visā, mainīs pasauli tā, kā mēs šodien grūti iedomāties. Mašīnmācības galvenais algoritms ir kaut kas līdzīgs standarta modelim daļiņu fizikā un molekulārās bioloģijas centrālajai dogmai: vienota teorija, kas izskaidro visu, ko mēs zinām šodien, un liek pamatu gadu desmitiem vai gadsimtiem turpmākam progresam. Galvenais algoritms ir atslēga, lai atrisinātu vissarežģītākās problēmas, ar kurām saskaras cilvēce – no mājas robotu radīšanas līdz vēža ārstēšanai.

Galu galā vēzis ir tik grūti ārstējams, jo tā nav viena, bet vesels slimību komplekss. Audzēji rodas neiedomājami daudzu iemeslu dēļ, turklāt tie mutē un metastējas. Visdrošākais veids, kā iznīcināt audzēju, ir secība 8
Sekvencēšana (no latīņu valodas sequentum - secība) - biopolimēru (olbaltumvielu un nukleīnskābju - DNS un RNS) aminoskābju vai nukleotīdu secības noteikšana.

Viņas genoms nosaka, kuras zāles palīdzēs, nekaitējot pacientam specifisks genomu un slimības vēsturi, un, iespējams, pat izstrādāt jaunas zāles tieši šim gadījumam. Ne viens vien ārsts spēj apgūt visas tam nepieciešamās zināšanas, taču šādu problēmu risinājums ir ideāls darbs mašīnmācībai. Būtībā tā ir tikai sarežģītāka un nopietnāka meklēšanas versija, ko Amazon un Netflix veic katru dienu, tikai mēs nemeklējam īsto grāmatu vai filmu, bet gan pareizo līdzekli. Diemžēl, lai gan mācīšanās algoritmi jau tagad var diagnosticēt daudzas slimības ar pārcilvēcīgu precizitāti, vēža ārstēšana ir tālu ārpus viņu iespējām. Ja mums izdosies atrast galveno algoritmu, situācija mainīsies. Tāpēc šīs grāmatas otrs mērķis ir palīdzēt tu pats izdomā to. Varētu domāt, ka tas prasa dziļākās matemātikas zināšanas un nopietnu teorētiskais darbs. Tālu no tā. Lai to izdarītu, ir jāatkāpjas no matemātikas noslēpumiem un jāaplūko visaptverošie mācīšanās mehānismi, un šeit lajs, kurš tuvojas mežam no tālienes, daudzējādā ziņā ir labākā situācijā nekā profesionālis, kurš ir iegrimis smēķēšanas jomā. atsevišķu koku izpēte. Problēmas konceptuālo risinājumu var papildināt ar matemātiku, taču tas nav svarīgākais, turklāt tas nav šīs grāmatas tēma. Tātad, apmeklējot katru "cilti", mums vajadzēs savākt puzles gabaliņus un izdomāt, kur tie iederas, vienlaikus neaizmirstot, ka neviens akls nevar redzēt visu ziloni. Redzēsim, kādu pienesumu katra no "ciltīm" spēj dot vēža ārstēšanā, kā tai pietrūkst, un tad soli pa solim saliksim gabalus kopā risinājumā – pareizāk sakot, viens no risinājumus. Tas, protams, nebūs Augstākais algoritms, taču neviens tam vēl nav ticis tuvāk. Cerēsim, ka rezultāts būs labs sākumpunkts jūsu iztēlei. Tad redzēsim, kā iegūto algoritmu varētu izmantot kā ieroci cīņā pret vēzi. Lasot šo grāmatu, nekautrējieties izlaist vai izlaist grūti saprotamus fragmentus. Svarīga ir kopējā aina, un pēc mozaīkas izveidošanās var būt lietderīgāk atgriezties šajās vietās.

Esmu veicis mašīnmācīšanās pētījumus vairāk nekā 20 gadus. Manu interesi par šo tēmu izraisīja grāmata ar dīvainu nosaukumu, kuru es pamanīju grāmatnīcā koledžas vecākajā kursā. To sauca par "mākslīgo intelektu". Tajā bija viena īsa nodaļa par mašīnmācību, taču pēc tās izlasīšanas es uzreiz pārliecinājos, ka tajā ir mākslīgā intelekta atslēga, ka mēs tik maz zinām par šo jomu un ka varbūt es varētu dot savu ieguldījumu. Tāpēc es atvadījos no saviem MBA plāniem un turpināju absolvēšanu Kalifornijas Universitātē Ērvinā. Mašīnmācība tolaik bija neliela disciplīna, un Kalifornijas universitātē bija viena no nedaudzajām pienācīgajām disciplīnām pētniecības grupas. Daži kursabiedri aizgāja, uzskatot tēmu par neperspektīvu, bet es nepadevos. Man nekas nebija svarīgāks par datoru mācīšanu, jo, ja mēs to spēsim, mēs spēsim sekmīgi atrisināt jebkuru citu problēmu. Ir pagājuši pieci gadi. Es pabeidzu augstskolu, un pagalmā valdīja datu ieguves revolūcija. Savu promocijas darbu veltīju simbolistu un analoģistu pieejas apvienošanai, b O lielākā daļa no pēdējās desmitgades apvienoja simboliku un Beijesa pieeju, un in Nesen– abas šīs metodes ar konnekcionismu. Tagad ir pienācis laiks spert nākamo soli un mēģināt apvienot visas piecas paradigmas.

Rakstot šo grāmatu, es iztēlojos vairākas atšķirīgas, bet savstarpēji pārklājošas lasītāju grupas.

Ja jūs vienkārši interesē rosība, kas saistīta ar lielajiem datiem un mašīnmācīšanos, un jums ir aizdomas, ka tas nav tik vienkārši, kā šķiet papīros, jums ir taisnība! Šī grāmata jums kļūs par sava veida ceļvedi.

Ja jūs galvenokārt interesē mašīnmācības pielietošana uzņēmējdarbībā, tas palīdzēs jums 1) kļūt par zinošāku analītikas patērētāju; 2) gūt maksimālu labumu no saviem informācijas apstrādes un analīzes speciālistiem; 3) izvairīties no slazdiem, kas ir nogalinājuši tik daudz datu ieguves projektu; 4) noskaidrot, kuras jomas var automatizēt bez manuālas programmu kodēšanas izmaksām; 5) samazināt to stingrību Informācijas sistēmas un 6) paredzēt vairākas jaunas tehnoloģijas, kas ir tepat aiz stūra. Esmu daudzas reizes redzējis, kā tiek tērēta nauda un laiks, jo problēmas tiek atrisinātas ar nepareizu mācīšanās algoritmu un kā algoritma teiktais tiek nepareizi interpretēts. Lai izvairītos no fiasko, vienkārši izlasiet šo grāmatu.

Ja esat apzinīgs pilsonis vai ja esat atbildīgs par sociālo, valdības problēmu risināšanu, kas radušās pēc lielo datu un mašīnmācīšanās parādīšanās, šī grāmata kļūs par jums ABC. jauna tehnoloģija. Neiedziļinoties garlaicīgās detaļās, uzzināsiet, kas ir šī tehnoloģija, pie kā tā var novest, ko tā spēj un ko nevar. Jūs redzēsiet, kādas ir īstās problēmas – no aizsardzības privātumu par nākotnes darbiem un kaujas robotu ētiku – un to, kā tiem tuvoties.

Ja esat zinātnieks vai inženieris, mašīnmācība ir spēcīgs rīks, kas ļoti noderēs. Vecas, pārbaudītas statistikas pieejas jūs neglābs liela (un pat vidēja) datu apjoma laikmetā. Precīzai vairuma parādību modelēšanai būs vajadzīgas nelineāras pieejas mašīnmācībai, un tas rada jaunu zinātnisku skatījumu. Frāze “paradigmas maiņa” mūsdienās bieži tiek izmantota, taču esmu pārliecināts, ka tieši tā izklausās manas grāmatas tēma.

Pat ja esat mašīnmācības eksperts un jau esat iepazinies ar lielāko daļu manis aplūkoto tēmu, grāmatā atradīsit daudz jaunu ideju, ekskursiju vēsturē, noderīgi piemēri un analoģijas. Es ļoti ceru, ka tas palīdzēs jums no jauna paskatīties uz mašīnmācīšanos un varbūt pat novirzīt savas domas jaunā veidā. Ir lietderīgi plūkt to, kas karājas zemākajos zaros, bet nevajadzētu aizmirst par to, kas atrodas nedaudz augstāk. (Starp citu, lūdzu, piedodiet manas poētiskās brīvības — epitetu "Visaugstākais" saistībā ar universālo mācīšanās algoritmu.)

Neatkarīgi no tā, vai esat jebkura vecuma students: vidusskolnieks, kurš izlemj, kur studēt, vecāko klašu students, kurš apsver, vai doties uz zinātni, vai zinātnieks veterāns, kurš plāno mainīt karjeru, mana grāmata, cerams, izraisīs jūsu interesi par šo aizraujošo zināšanu jomu. . Pasaulei ir ļoti nepieciešami mašīnmācīšanās eksperti, un, ja nolemjat mums pievienoties, varat būt pārliecināti, ka jūs gaida ne tikai aizraujoši mirkļi un materiālie ieguvumi, bet arī unikāla iespēja kalpot sabiedrībai. Un, ja jūs jau mācāties par mašīnmācīšanos, es ceru, ka šī grāmata palīdzēs jums labāk izprast šo tēmu. Ja, meklējot, jūs nejauši uzduraties galvenajam algoritmam, man vajadzēja izmantot savu pildspalvu.

Un visbeidzot, bet ne mazāk svarīgi. Ja vēlaties izbaudīt brīnumu, mašīnmācība ir īsta prāta svētki. Pieņemiet ielūgumu un izbaudiet!

Pedro Domingoss

Galvenais algoritms: kā mašīnmācīšanās mainīs mūsu pasauli

Pedro Domingoss

Galvenais algoritms

Kā labākās mācību iekārtas meklējumi pārveidos mūsu pasauli

Zinātniskie redaktori Aleksandrs Sbojevs, Aleksejs Serenko

Publicēts ar atļauju no Pedro Domingos c/o Levine Greenberg Rostan Literary Agency un Synopsis Literary Agency

Juridisko atbalstu izdevniecībai sniedz Vegas Lex advokātu birojs.

* * *

Šo grāmatu labi papildina:

Mākslīgais intelekts

Niks Bostroms

Skaistums kvadrātā

Alekss Belloss

Spēļu teorija

Avinašs Diksits un Berijs Nailbafs

Mīļā piemiņā par manu māsu Ritu, kura zaudēja cīņu ar vēzi, kamēr es rakstīju šo grāmatu.

Zinātnes lielākais uzdevums ir izskaidrot pēc iespējas vairāk eksperimentālu faktu ar loģisku dedukciju, sākot no pēc iespējas mazāk hipotēžu un aksiomu.

Alberts Einšteins

Civilizācijas progress ir palielināt svarīgu darbību skaitu, kuras mēs veicam bez domāšanas.

Alfrēds Norts Vaitheds

Mašīnmācība ir jums visapkārt, pat ja jūs, iespējams, par to nezināt. Pateicoties mašīnmācībai, meklētājprogramma saprot, kādus rezultātus (un reklāmas) rādīt, atbildot uz jūsu vaicājumu. Pārlūkojot e-pastu, lielākā daļa surogātpasta tiek jums garām, jo tas ir filtrēts, izmantojot mašīnmācīšanos. Ja nolemjat kaut ko iegādāties vietnē Amazon.com vai apskatīt Netflix, lai skatītos filmu, mašīnmācīšanās sistēma palīdzēs jums ieteikt iespējas, kas jums varētu patikt. Izmantojot mašīnmācīšanos, Facebook izlemj, kuras ziņas jums rādīt, un Twitter izvēlas pareizos tvītus. Ikreiz, kad izmantojat datoru, ļoti iespējams, ka kaut kur ir iesaistīta mašīnmācīšanās.

Tas attiecas ne tikai uz kibertelpu: mašīnmācīšanās caurstrāvo visu mūsu dzīvi, sākot no pamošanās līdz gulētiešanai.

Septiņi no rīta. Modinātājs ieslēdz radio. Skan nepazīstama, bet ļoti patīkama mūzika: pateicoties pakalpojumam Pandora, radio iepazina jūsu gaumi un kļuva par “personīgo dīdžeju”. Iespējams, ka pati dziesma arī dzimusi ar mašīnmācības palīdzību. Brokastīs jūs šķirat rīta avīzi. Dažas stundas iepriekš viņa izkāpa no iespiedmašīnas, kas bija precīzi noregulēta ar mācību algoritmu, lai novērstu drukas defektus. Temperatūra telpā ir īpaši ērta, un elektrības rēķini neapdraud, jo ievietojat Nest viedo termostatu.

Pa ceļam uz darbu automašīna pastāvīgi pielāgo degvielas iesmidzināšanu un izplūdes gāzu recirkulāciju, lai gāzes izmaksas būtu minimālas. Pīķa stundās satiksmes prognozēšanas sistēma Inrix ietaupa laiku, nemaz nerunājot par nerviem. Darbā mašīnmācīšanās palīdz cīnīties ar informācijas pārslodzi: jūs izmantojat datu kubu, lai apkopotu lielu informācijas daudzumu, aplūkotu to no dažādiem leņķiem un detalizēti uzzinātu visu svarīgāko. Ja jums jāizlemj, kurš vietnes izkārtojums - A vai IN– piesaistīs vairāk potenciālo klientu, apmācītā sistēma pārbaudīs abas iespējas un sniegs Jums atskaiti. Jāskatās potenciālā piegādātāja vietne, bet vai tā ir svešvalodā? Nav problēmu, Google to automātiski iztulkos jūsu vietā. E-pasti ir ērti sakārtoti mapēs, un iesūtnē paliek tikai svarīgākais. Vārdu procesors pārbauda gramatiku un pareizrakstību jūsu vietā. Jūs esat atradis lidojumu gaidāmajam komandējumam, bet vēl nepērkat biļeti, jo Bing Travel prognozē, ka cenas drīzumā pazemināsies. Nemanot, jūs katru stundu veicat daudz vairāk darba, nekā jūs varētu bez mašīnmācīšanās palīdzības.

Savā brīvajā laikā jūs pārbaudāt savus kopfondu noguldījumus. Lielākā daļa šo fondu izmanto mācību algoritmus, lai atlasītu daudzsološās akcijas, un vienu no tiem pilnībā pārvalda sistēma, kuras pamatā ir mašīnmācīšanās. Pusdienu laikā tu izej ārā un domā, kur paēst. Yelp mācību sistēma viedtālrunī jums palīdzēs. Mobilie tālruņi kopumā ir līdz galam piepildīti ar mācību algoritmiem, kas nenogurstoši labo drukas kļūdas, atpazīst balss komandas, labo datu pārraides kļūdas, lasa svītrkodus un dara daudzas citas noderīgas lietas. Viedtālrunis pat iemācījās uzminēt jūsu nākamo darbību un sniegt noderīgus padomus. Piemēram, viņš jums pateiks, ka tikšanās sāksies vēlāk, jo lidmašīna, ar kuru jūsu viesim ir jāierodas, kavējas.

Mašīnmācība veic savu darbu visos cilvēka dzīves posmos. Ja jūs gatavojāties koledžas eksāmeniem, izmantojot internetu, īpašs algoritms novērtēja jūsu testa esejas. Un, ja nesen esat pieteicies biznesa skolā un pabeidzis GMAT, mācību sistēma bija viens no pārbaudītājiem, kas vērtēja esejas. Iespējams, kad jūs pieteicāties darbā, apmācīts algoritms izvilka jūsu CV no "virtuālās kaudzes" un teica potenciālajam darba devējam: "Redzi, šeit ir spēcīgs kandidāts." Visticamāk, ka arī savu neseno algas palielinājumu esat parādā kāda veida apmācītam algoritmam. Ja vēlaties iegādāties māju, Zillow.com novērtēs katras jūs interesējošās iespējas vērtību. Kad esat pieņēmis lēmumu un nolēmis ņemt hipotēku, mašīnmācīšanās algoritms izskatīs jūsu pieteikumu un ieteiks apstiprināt (vai noraidīt). Un, iespējams, vissvarīgākais ir tas, ka, ja jūs interesē tiešsaistes iepazīšanās, mašīnmācīšanās palīdzēs jums atrast patiesu mīlestību.

Kopš atklāšanas Heba valdīšana ir bijusi konnekcionisma stūrakmens. Šis zinātniskais virziens ir parādā savu nosaukumu idejai, ka zināšanas tiek glabātas savienojumos starp neironiem. Kanādas psihologs Donalds Hebs savā 1949. gada grāmatā The Organization of Behavior to aprakstīja šādi: “Ja šūnas aksons A atrodas pietiekami tuvu šūnai B un atkārtoti vai pastāvīgi piedalās tā stimulēšanā, tad vienā vai abās šūnās notiks augšanas procesi vai vielmaiņas izmaiņas, kas palielina šūnas ierosmes efektivitāti Ašūnas B". Šis apgalvojums bieži tiek pārfrāzēts kā "neironi, kas šauj kopā, sazinās viens ar otru".

Idejas no psiholoģijas, neirozinātnes un diezgan daudz minējumu ir saplūdušas Heba valdījumā. Asociatīvā mācīšanās ir bijusi britu empīristu iecienītākā tēma kopš Loka, Hjūma un Džona Stjuarta Mila. Viljams Džeimss grāmatā Principi of Psychology formulēja vispārēju asociācijas principu, kas ir apbrīnojami līdzīgs Heba likumam, taču neironu vietā tajā ir smadzeņu procesi, bet stimulācijas efektivitātes vietā – ierosmes izplatība. Aptuveni tajā pašā laikā izcilais spāņu neirozinātnieks Santjago Ramóns i Kaajals veica pirmos detalizētos smadzeņu pētījumus, krāsojot neironus ar jaunizgudroto Golgi metodi un kataloģizējot savus novērojumus, botāniķiem klasificējot jaunas koku sugas. Līdz Heba laikam neirozinātniekiem bija pamata izpratne par neironu darbību, taču viņš bija pirmais, kurš ierosināja mehānismu, ar kura palīdzību neironi varētu kodēt asociācijas.

Simbolistiskajā izglītībā pastāv savstarpēja atbilstība starp simboliem un to attēlotajiem jēdzieniem. Konekcionistiskie priekšstati ir sadalīti: katru jēdzienu pārstāv daudzi neironi, un katrs neirons piedalās daudzu jēdzienu reprezentācijā. Neironi, kas ierosina viens otru, veido, pēc Heba terminoloģijas, "šūnu ansambļus". Izmantojot šādas kolekcijas, jēdzieni un atmiņas tiek pārstāvētas smadzenēs. Katrā ansamblī var būt neironi no dažādām smadzeņu zonām, un ansambļi var pārklāties. Tādējādi šūnu ansamblis jēdzienam "kāja" ietver ansambli jēdzienam "pēda", kas, savukārt, ietver ansambļus pēdas attēlam un vārda "pēda" skanējumam. Ja simbolisma sistēmai jautāsiet, kur atrodas jēdziens "Ņujorka", tas norādīs precīzu tā uzglabāšanas vietu atmiņā. Konnekcionistiskā sistēmā atbilde ir "mazliet no visa".

Vēl viena atšķirība starp simbolistisko un konnekcionistisko mācīšanos ir tā, ka pirmā ir secīga, bet otrā ir paralēla. Atpakaļējās dedukcijas gadījumā mēs soli pa solim izdomājam, kāds noteikums ir jāievieš, lai no premisām nonāktu pie vēlamajiem secinājumiem. Konnekcionistu modelī visi neironi mācās vienlaikus, saskaņā ar Heba likumu. Tas atspoguļo atšķirības starp datoriem un smadzenēm. Datori veic pat pilnīgi parastas darbības, piemēram, divu ciparu pievienošanu vai slēdža pārslēgšanu, ar maziem soļiem, tāpēc tiem ir jāveic daudzas darbības. Tomēr darbības var būt ļoti ātras, jo tranzistori spēj ieslēgties un izslēgties miljardiem reižu sekundē. Smadzenes var liels skaits aprēķini paralēli, jo vienlaikus darbojas miljardiem neironu. Šajā gadījumā neironus var stimulēt labākajā gadījumā tūkstoš reižu sekundē, un katrs no šiem aprēķiniem ir lēns.

Tranzistoru skaits datorā tuvojas neironu skaitam cilvēka smadzenēs, bet smadzenes noteikti uzvar savienojumu skaitā. Tipisks mikroprocesora tranzistors ir tieši savienots tikai ar dažiem citiem, un izmantotā plakanu pusvadītāju tehnoloģija ievērojami ierobežo datora veiktspējas uzlabošanas iespējas. Neironam ir tūkstošiem sinapšu. Ja ejot pa ielu redzat kādu, kuru pazīstat, paiet tikai sekundes desmitdaļa, lai viņu atpazītu. Ņemot vērā neironu pārslēgšanās ātrumu, ar šo laiku knapi pietiktu simtiem informācijas apstrādes soļu, taču šajos simtos soļu smadzenes spēj noskenēt visu atmiņu, atrast tajā piemērotāko un pielāgot to jaunam. konteksts (dažādas drēbes, atšķirīgs apgaismojums utt.). Katrs apstrādes posms var būt ļoti sarežģīts un ietvert lielu informācijas daudzumu.

Tas nenozīmē, ka dators nevar simulēt smadzenes: galu galā tieši to dara konnekcionisma algoritmi. Jo dators ir universāla mašīna Tjūrings, tas var veikt smadzeņu aprēķinus tāpat kā jebkurš cits, ja tam ir pietiekami daudz atmiņas un laika. Jo īpaši savienojamības trūkumu var kompensēt ar ātrumu: izmantojot vienu un to pašu savienojumu tūkstoš reižu, lai simulētu tūkstoš savienojumus. Patiesībā šodien galvenais trūkums datori, atšķirībā no smadzenēm, patērē enerģiju: jūsu smadzenes patērē apmēram tikpat daudz enerģijas kā maza spuldzīte, savukārt elektrība, kas darbina Vatsona datoru, par ko mēs runājām iepriekš, var apgaismot visu biznesa centru.

Tomēr, lai simulētu smadzeņu darbu, ar Heba likumu vien nepietiek: vispirms ir jāsaprot smadzeņu struktūra. Katrs neirons atgādina niecīgu koku ar milzīgu dendrītu sakņu sistēmu un plānu viļņainu stumbru - aksonu. Smadzenes kopumā ir kā mežs ar miljardiem šādu koku, taču šis mežs ir neparasts: koku zari tajā ir savienoti ar tūkstošiem citu koku saknēm (tādus savienojumus sauc par sinapsēm), veidojot kolosālu, nebijušu. sarežģītības. Dažiem neironiem ir īsi aksoni, savukārt citiem ir ārkārtīgi gari aksoni, kas stiepjas no viena smadzeņu gala līdz otram. Ja jūs sakārtosiet smadzeņu aksonus vienu pēc otra, tie veiks attālumu no Zemes līdz Mēnesim.

Šajos džungļos sprakšķ elektrība. Dzirksteles tek pa stumbriem un rada vairāk dzirksteles blakus esošajos kokos. Ik pa laikam mežs vardarbīgi uzliesmo, tad atkal norimst. Kad cilvēks kustina kāju pirkstu, virkne elektrisku izlādi, ko sauc par darbības potenciālu, plūst pa muguras smadzenēm, līdz tās saskaras ar pirksta muskuļiem un liek tai kustēties. Smadzeņu darbs ir kā šādu elektrisko izlāžu simfonija. Ja jūs varētu ieskatīties no iekšpuses uz to, kas notiek brīdī, kad lasāt šo lapu, šī aina pārspētu noslogotākās zinātniskās fantastikas metropoles. Šis neticami sarežģītais neironu dzirksteļu modelis galu galā rada cilvēka apziņu.

Heba laikā viņi vēl nezināja, kā izmērīt sinapses spēku un tās izmaiņas, nemaz nerunājot par izpratni par sinaptisko procesu molekulāro bioloģiju. Šodien mēs zinām, ka sinapses rodas un attīstās, kad postsinaptiskie neironi uzliesmo neilgi pēc presinaptiskajiem neironiem. Tāpat kā visās citās šūnās, jonu koncentrācija neironā un ārpus tā ir atšķirīga, un tāpēc uz šūnas membrānas ir elektrisks spriegums. Kad presinaptiskais neirons uzliesmo, sinaptiskajā spraugā tiek izdalītas sīkas pūslīši, kas satur neirotransmitera molekulas. Tie izraisa kanālu atvēršanos postsinaptiskā neirona membrānā, no kuriem iziet kālija un nātrija joni, mainot membrānas spriegumu. Ja vienlaicīgi uzliesmo pietiekami daudz cieši izvietotu presinaptisko neironu, spriegums lec un darbības potenciāls pārvietojas gar postsinaptiskā neirona aksonu. Pateicoties tam, jonu kanāli kļūst uztverošāki, un parādās jauni sinapses uzlabojoši kanāli. Cik mēs zinām, neironi mācās šādi.

Nākamais solis ir pārvērst to visu par algoritmu.

Perceptrona pieaugums un kritums

Pirmo formālo neirona modeli 1943. gadā ierosināja Vorens Makkuloks un Valters Pits. Tas daudzējādā ziņā bija līdzīgs loģiskajiem vārtiem, kas veido datorus. VAI vārti ieslēdzas, kad ir ieslēgta vismaz viena no tā ieejām, un UN vārti ieslēdzas, kad visas tās ir ieslēgtas. McCulloch-Pitts neirons uzliesmo, kad tā aktīvo ieeju skaits pārsniedz noteiktu slieksni. Ja slieksnis ir viens, neirons darbojas kā VAI vārti. Ja slieksnis ir vienāds ar ieeju skaitu - kā UN vārti Turklāt viens McCulloch-Pitts neirons var neļaut citam ieslēgties: tas modelē gan inhibējošās sinapses, gan NOT vārtus. Tādējādi neironu tīkli var veikt visas darbības, ko var veikt dators. Sākumā datoru bieži sauca par elektroniskajām smadzenēm, un tā nebija tikai līdzība.

Tomēr McCulloch-Pitts neirons nevar mācīties. Lai to izdarītu, savienojumiem starp neironiem jāpiešķir mainīgs svars, un rezultāts ir tā sauktais perceptrons. Perceptronus 1950. gadu beigās izgudroja Kornela universitātes psihologs Frenks Rozenblats. Rozenblats, harizmātisks runātājs un ļoti dzīvespriecīgs cilvēks, mašīnmācības radīšanā paveica vairāk nekā jebkurš cits. Perceptrons ir parādā savu nosaukumu viņa interesei piemērot savus modeļus uztveres (uztveres) problēmām, piemēram, runas un rakstura atpazīšanai. Tā vietā, lai ievadītu perceptronus datorprogrammas, kas tajos laikos bija ļoti lēni, Rozenblats uzbūvēja pats savas ierīces: svars tajās tika attēlots mainīgu rezistoru veidā, līdzīgi kā tie, kas atrodami aptumšojamajos slēdžos, un svērtai mācīšanai tika izmantoti elektromotori, lai pagrieztu rezistoru pogas. (Kā jums patīk tik augstās tehnoloģijas?)

Perceptronā pozitīvais svars ir ierosinošs savienojums, bet negatīvs svars ir inhibējošs. Ja perceptrona ieejas svērtā summa ir virs sliekšņa, tā izvada vienu, un, ja tā ir zemāka, tā izvada nulli. Mainot svarus un sliekšņus, varat mainīt perceptrona aprēķināto funkciju. Protams, tiek ignorētas daudzas neironu darbības detaļas, taču mēs vēlamies visu pēc iespējas vienkāršot, un mūsu mērķis nav izveidot reālistisku smadzeņu modeli, bet gan izstrādāt mācīšanās algoritmu plašam pielietojumam. Ja kāda no ignorētajām detaļām izrādās svarīga, to vienmēr var pievienot. Neskatoties uz visiem vienkāršojumiem un abstraktumu, jūs varat redzēt, ka katrs šī modeļa elements atbilst neirona elementam:

Jo lielāks ievades svars, jo spēcīgāka ir atbilstošā sinapse. Šūnas korpuss saskaita visas svērtās ievades, un aksons rezultātam piemēro soļu funkciju. Attēlā aksona lodziņā ir parādīts soļu funkcijas grafiks: nulle zemām ievades vērtībām pārlec uz vienu, kad ievade sasniedz slieksni.

Iedomājieties, ka perceptronam ir divas nepārtrauktas ieejas x Un y(tas nozīmē, ka x Un y var ņemt jebkuru skaitlisku vērtību, nevis tikai 0 un 1). Šajā gadījumā katru piemēru var attēlot kā punktu plaknē, un robeža starp pozitīvajiem (kuriem perceptrona izvade 1) un negatīvo (izvade 0) piemēriem būs taisna līnija:

Lieta ir tāda, ka robeža ir punktu virkne, kur svērtā summa precīzi atbilst sliekšņa vērtībai, un svērtā summa ir lineāra funkcija. Piemēram, ja svars x- 2, svars y- 3 un slieksnis - 6, robeža tiks noteikta ar vienādojumu 2 x+ 3 = 6. Punkts x = 0, y= 2 atrodas uz robežas, un, lai uz tās paliktu, mums ir jāsper trīs soļi uz priekšu par katriem diviem soļiem uz leju: tad pieaugums x kompensēt samazinājumu y. Iegūtie punkti veido taisnu līniju.

Perceptrona svaru atrašana ietver taisnās līnijas virziena maiņu, līdz visi pozitīvie piemēri atrodas vienā pusē un visi negatīvie piemēri ir otrā pusē. Vienā dimensijā robeža ir punkts, divās dimensijās tā ir taisne, trīs dimensijās tā ir plakne, un, ja ir vairāk nekā trīs dimensijas, tā ir hiperplakne. Kaut ko vizualizēt hipertelpā ir sarežģīti, taču matemātika tajā darbojas tieši tāpat: iekšā n mērījumi mums būs n ieejas, kamēr perceptronam ir n svari. Lai izlemtu, vai perceptrons iedegas vai nē, katrs svars ir jāreizina ar atbilstošā ieejas signāla vērtību un jāsalīdzina to kopsumma ar sliekšņa vērtību.

Ja visu ieeju svari ir vienādi ar vienu un slieksnis ir puse no ievades skaita, perceptrons tiks aktivizēts, ja tiks aktivizēta vairāk nekā puse no ievadiem. Citiem vārdiem sakot, perceptrons ir kā mazs parlaments, kurā uzvar vairākums (lai gan, iespējams, ne tik mazs, ņemot vērā, ka tajā var būt tūkstošiem deputātu). Taču tajā pašā laikā parlaments nav gluži demokrātisks, jo kopumā ne visiem ir vienādas balsstiesības. Neironu tīkls šajā ziņā vairāk līdzinās Facebook, jo daži tuvi draugi ir tūkstošiem draugu vērti – tie ir tie, kuriem tu uzticies visvairāk un kuri tevi ietekmē visvairāk. Ja draugs tev iesaka kādu filmu, tu to skaties un iepatīkas, nākamreiz, iespējams, atkal sekosi viņa padomam. Savukārt, ja tavs draugs nemitīgi murgo par filmām, kuras tev nepatīk, tu sāksi ignorēt viņas viedokli (un iespējams, ka draudzība atdzisīs).

Tādā veidā Rozenblata perceptrona algoritms uzzina ievades svaru.

Apskatīsim "vecmāmiņas būri", kognitīvo neirozinātnieku iecienītāko domu eksperimentu. "Vecmāmiņas šūna" ir neirons jūsu smadzenēs, kas uzliesmo tad un tikai tad, kad redzat savu vecmāmiņu. Tas, vai šāda šūna patiešām pastāv, ir atklāts jautājums, taču izgudrosim to īpaši mašīnmācībai. Perceptrons mācās atpazīt vecmāmiņu šādā veidā. Šīs šūnas ievades ir vai nu neapstrādāti pikseļi, vai dažādi vadu attēla rekvizīti, piemēram, brūnas acis: ievade būs 1, ja attēlam ir brūnas acis, un 0, ja tā nav. Sākotnēji visu savienojumu svars, kas ved no īpašībām uz neironiem, ir mazs un patvaļīgs, piemēram, sinapses jaundzimušā smadzenēs. Pēc tam mēs parādām perceptronam attēlu sēriju, daži ar jūsu vecmāmiņu un daži nē. Ja perceptrons izšauj, kad viņa ierauga vecmāmiņu vai nešauj, kad viņa ierauga kādu citu, tad apmācība nav nepieciešama (nelabojiet to, kas darbojas). Bet, ja perceptrons neizšauj, skatoties uz vecmāmiņu, tas nozīmē, ka tā ievades vērtību svērtajai summai jābūt lielākai un aktīvo ievades svariem jāpalielina (piemēram, ja vecmāmiņa ir brūna -eyed, šīs pazīmes svars palielināsies). Un otrādi, ja perceptrons tiek aktivizēts, kad tas nav nepieciešams, aktīvo ieeju svars ir jāsamazina. Kļūdas ir mācīšanās dzinējspēks. Laika gaitā pazīmes, kas norāda uz vecmāmiņu, saņems daudz svara, bet tās, kas to nedara, - nedaudz. Tiklīdz perceptrons sāk vienmēr šaut, ieraugot jūsu vecmāmiņu un viltus pozitīvie rezultāti pazūd, apmācība ir beigusies.

Perceptron ir izraisījis entuziasmu zinātnieku aprindās. Viņš bija vienkāršs, bet tajā pašā laikā spēja atpazīt drukātus burtus un runas skaņas: tas prasīja tikai apmācību pēc piemēriem. Rozenblata kolēģis Kornela universitātē pierādīja, ka, ja pozitīvos un negatīvos piemērus var atdalīt ar hiperplānu, perceptrons atradīs šo plakni. Rozenblatam un citiem zinātniekiem šķita diezgan sasniedzama patiesa izpratne par principiem, pēc kuriem smadzenes mācās, un līdz ar to - spēcīgs daudzfunkcionāls mācīšanās algoritms.

Bet tad perceptrons ieskrēja sienā. Zināšanu inženierus kaitināja Rozenblata apgalvojumi: viņi bija greizsirdīgi par uzmanību un finansējumu, ko piesaistīja neironu tīkli kopumā un jo īpaši perceptroni. Viens no šādiem kritiķiem bija Marvins Minskis, Rozenblata bijušais kursabiedrs zinātnē. vidusskola Bronksā, kurš līdz tam laikam vadīja mākslīgā intelekta grupu Masačūsetsas Tehnoloģiju institūtā. (Ir ziņkārīgs, ka viņa disertācija bija par neironu tīkliem, bet pēc tam viņš kļuva vīlies par tiem.) 1969. gadā Minskis un viņa kolēģis Seimūrs Papīrs publicēja grāmatu Perceptrons: an Introduction to Computational Geometry, kur viņi detalizēti, pa vienam aprakstīja. , vienkāršas lietas, kuras tā paša nosaukuma algoritms nespēj iemācīties. Vienkāršākais un tāpēc visnāvējošākais piemērs ir funkcija XOR (saīsināti kā XOR), kas ir patiesa, ja ir patiesa viena, bet ne abas ievades. Piemēram, divas lojālākās Nike produktu klientu grupas, šķiet, ir pusaudžu zēni un pusmūža sievietes. Citiem vārdiem sakot, jūs, visticamāk, iegādāsieties Nike skriešanas apavus, ja esat jauna XOR sieviete. Jaunība ir piemērota, sieviešu dzimums arī, bet ne abi faktori vienlaikus. Ja neesi jauna un neesi sieviete, tu esi arī neperspektīvs Nike reklāmas mērķis. XOR problēma ir tāda, ka nav taisnas līnijas, kas varētu atdalīt pozitīvos piemērus no negatīvajiem. Attēlā parādīti divi nepiemēroti kandidāti:

Tā kā perceptroni var atrast tikai lineāras robežas, XOR viņiem nav pieejams, un, ja viņi pat to nevar izdarīt, tad perceptrons nav labākais smadzeņu mācīšanās modelis un nepiemērots galveno algoritmu kandidāts.

Perceptrons modelē tikai viena neirona mācīšanos. Minskis un Papīrs atzina, ka savstarpēji savienotu neironu slāņiem vajadzētu būt spējīgiem uz vairāk, taču nesaprata, kā šādus slāņus apmācīt. To nezināja arī citi zinātnieki. Problēma ir tāda, ka nav skaidra veida, kā mainīt neironu svaru "slēptajos" slāņos, lai samazinātu neironu kļūdas izvades slānī. Katrs slēptais neirons daudzos veidos ietekmē izvadi, un katrai kļūdai ir tūkstošiem tēvu. Kuru vainot? Un otrādi, kam pateikties par pareizo izeju? Uzticības faktoru piešķiršanas problēma rodas katru reizi, kad mēs cenšamies apmācīt sarežģītu modeli, un tā ir viena no galvenajām mašīnmācīšanās problēmām.

Perceptroni bija nepārspējami skaidri, matemātiski nevainojami, un tiem bija postoša ietekme uz mašīnmācīšanos, kas tajās dienās galvenokārt bija saistīta ar neironu tīkliem. Lielākā daļa pētnieku (nemaz nerunājot par sponsoriem) nonāca pie secinājuma, ka vienīgais veids, kā izveidot inteliģentu sistēmu, ir to skaidri programmēt, tāpēc zināšanu inženierija zinātnē valdīja 15 gadus, un mašīnmācība šķita lemta palikt vēstures miskastē.

Fiziķis smadzenes izgatavo no stikla

Ja par mašīnmācīšanās vēsturi uzņemtu Holivudas grāvēju, Mārvins Minskis būtu galvenais ļaundaris – ļaunā karaliene, kas iedod Sniegbaltītei saindētu ābolu un izmet to mežā (1988. gadā rakstītajā esejā Seimūrs Papīrs pat jokojot salīdzināja sevi medniekam, ko karaliene nosūtīja uz mežu nogalināt Sniegbaltīti). Princis baltā zirgā būtu Caltech fiziķis Džons Hopfīlds. 1982. gadā Hopfīlds pamanīja pārsteidzošu līdzību starp smadzenēm un brillēm, kas ir eksotisks materiāls, kuru ļoti mīl statistikas fiziķi. Šis atklājums izraisīja konnekcionisma atdzimšanu, kas dažus gadus vēlāk vainagojās ar pirmo algoritmu izgudrošanu, kas spēj atrisināt ticamības koeficienta problēmu. Tas arī aizsāka jaunu ēru, kurā mašīnmācība nomainīja zināšanu inženieriju kā dominējošo paradigmu mākslīgā intelekta zinātnē.

Spin brilles patiesībā nav brilles, lai gan tām ir dažas stiklam līdzīgas īpašības. Drīzāk tie ir magnētiski materiāli. Katrs elektrons ir niecīgs magnēts, jo tam ir spins, kas var vērsties uz augšu vai uz leju. Materiālos, piemēram, dzelzs, elektronu spini parasti atrodas vienā virzienā: ja elektronu ar spinu "uz leju" ieskauj elektroni ar griešanos "uz augšu", tas, visticamāk, apgāzīsies. Kad lielākā daļa dzelzs gabala griezienu sakrīt, tas pārvēršas magnētā. Parastos magnētos mijiedarbības spēks starp blakus esošajiem griezieniem visiem pāriem ir vienāds, bet griešanās stiklā tas var atšķirties un būt pat negatīvs, kā rezultātā tuvumā esošie spini ņem pretējos virzienos. Parasta magnēta enerģija ir viszemākā, ja visi spini ir izlīdzināti, bet griešanās stiklā lietas nav tik vienkāršas: kopumā grieztā stikla zemākā enerģijas stāvokļa atrašana ir NP pilnīga problēma, tas ir, gandrīz jebkura cita sarežģīta optimizācijas problēma var tikt reducēta uz to. Rezultātā griešanās stikls ne vienmēr nonāk zemākās enerģijas stāvoklī: tas var iestrēgt lokālā, nevis globālā minimumā, t.i., stāvoklī, kurā ir mazāk enerģijas nekā visi stāvokļi, kuros tas var nonākt, mainot. griešanās. Daudzējādā ziņā tas ir kā lietus ūdens, kas ieplūst ezerā, nevis tieši okeānā.

Hopfīlds pamanīja interesantu līdzību starp spin stiklu un neironu tīkliem. Elektrona spins reaģē uz savu kaimiņu uzvedību aptuveni tāpat kā neirons: tas pagriežas uz augšu, ja tā kaimiņu svērtā summa pārsniedz slieksni, un uz leju (vai nemainās), ja tā nav. Iedvesmojoties no šī fakta, Hopfīlds identificēja neironu tīkla veidu, kas laika gaitā attīstās tāpat kā spin stikls, un apgalvoja, ka šī tīkla minimālie enerģijas stāvokļi ir tā atmiņas. Katrs šāds stāvoklis ir "pievilkšanās reģions" sākotnējiem stāvokļiem, kas tajā saplūst, un, pateicoties tam, neironu tīkls spēj atpazīt modeļus: piemēram, ja viena no atmiņām ir melnbalti pikseļi, kas veido skaitli. deviņi, un attēlā ir izkropļots deviņi, tīkls to samazina līdz “ideālajam” skaitlim un uzzinās. Pēkšņi mašīnmācībā varēja pielietot plašu fizikas teoriju klāstu, un šajā disciplīnā ieplūda statistisko fiziķu plūdi, palīdzot izvilkt to no vietējā minimuma, kurā tā bija iestrēgusi.

Tomēr spin stikls joprojām ir ļoti nereāls smadzeņu modelis. Pirmkārt, spin mijiedarbība ir simetriska, bet savienojumi starp neironiem smadzenēs nav. Otra lielā problēma, ko Hopfīlda modelis ignorēja, bija tā, ka īsti neironi darbojas saskaņā ar statistikas likumiem: tie neieslēdzas un neizslēdzas deterministiski atkarībā no ievades, bet drīzāk, visticamāk, bet ne obligāti, tie ieslēdzas, kad palielinās ievades svērtā summa. 1985. gadā pētnieki Deivids Oklijs, Džefrijs Hintons un Terijs Sejnovskis aizstāja deterministiskos neironus Hopfīlda tīklos ar varbūtējiem. Neironu tīklam tika piešķirts varbūtības sadalījums pa tā stāvokļiem, un augstas enerģijas stāvokļi kļuva eksponenciāli mazāk ticami nekā zemas enerģijas stāvokļi. Tīkla atrašanas varbūtību noteiktā stāvoklī noteica termodinamikā labi zināmais Bolcmana sadalījums, tāpēc zinātnieki savu tīklu sauca par Bolcmaņa mašīnu.

Boltzmann mašīna sastāv no sensoro un latento neironu maisījuma (līdzīgi, piemēram, tīklenei un smadzenēm) un mācās, mainot miegu un pamošanos, tāpat kā cilvēks. Pamodinātā stāvoklī sensorie neironi uzliesmo saskaņā ar datiem, savukārt latentie neironi attīstās atbilstoši tīkla dinamikai un sensorajām ieejām. Piemēram, ja tīkli parāda deviņu attēlu, ieslēgsies neironi, kas atbilst attēla melnajiem pikseļiem, citi paliks izslēgti, un slēptie neironi nejauši ieslēgsies atbilstoši Bolcmana sadalījumam šīm pikseļu vērtībām. Miega laikā sensorie un latentie neironi klīst brīvi, un pirms jaunas dienas rītausmas iekārta salīdzina savu stāvokļu statistiku miega un vakardienas aktivitātes laikā un maina savienojumu svarus, lai tie atbilstu šiem stāvokļiem. Ja dienas laikā divi neironi parasti šauj kopā un retāk miega laikā, to savienojuma svars palielināsies. Pretējā gadījumā tas samazināsies. Katru dienu prognozētās korelācijas starp sensorajiem neironiem attīstās, līdz tās sāk sakrist ar reālajām: šajā brīdī Bolcmana iekārta saņem labs modelis datiem, tas ir, ticamības koeficientu piešķiršanas problēma ir efektīvi atrisināta.

Džefs Hintons turpināja pētījumus un nākamajās desmitgadēs izmēģināja daudzus Boltzmann mašīnas variantus. Hintons, psihologs, kļuvis par datorzinātnieku un visos digitālajos datoros izmantoto loģisko skaitļu izgudrotāja Džordža Būla mazmazmazdēls, ir pasaulē vadošais konnekcionists. Viņš mēģināja ilgāk un grūtāk nekā citi izdomāt, kā darbojas smadzenes. Hintons stāsta, ka kādu dienu pārnācis mājās no darba un sajūsmināts kliedzis: “Jā! Es saprotu, kā darbojas smadzenes!” Uz ko meita viņam atbildēja: "Tēti, atkal?!" Nesen viņš ir sācis interesēties par dziļo mācīšanos, par ko mēs runāsim vēlāk šajā nodaļā, kā arī piedalījies backpropagation, algoritma, kas ir progresīvāks par Boltzmann mašīnām, izstrādē. problēmu risināšana uzticības kredītu piešķiršana (par to tiks runāts nākamajā nodaļā). Boltzmann mašīnas principā var atrisināt šo problēmu, taču praksē mācīšanās ir ļoti lēna un sarežģīta, tāpēc šī pieeja vairumā gadījumu nav praktiska. Nākamajam izrāvienam bija jāatsakās no vēl vienas pārmērīgas vienkāršošanas, kas attiecas uz McCulloch un Pitts.

Vissvarīgākā līkne pasaulē

Attiecībā uz kaimiņiem neirons var būt tikai vienā no diviem stāvokļiem - aktīvā un neaktīva. Tomēr šī trūkst svarīga nianse. Darbības potenciāls nav ilgs: spriegums lec tikai uz sekundes daļu un nekavējoties atgriežas miera stāvoklī. Šo lēcienu tik tikko reģistrē uztverošais neirons: lai pamodinātu šūnu, ir nepieciešama virkne lēcienu ar īsiem intervāliem. Parastie neironi šauj periodiski un bez jebkādas stimulācijas. Palielinoties stimulācijai, neirons uzliesmo arvien biežāk un pēc tam sasniedz piesātinājumu, augstāko sprieguma lēcienu frekvenci, kādu tas spēj, un pēc tam lielākai stimulācijai nav nekādas ietekmes. Neirons drīzāk ir nevis loģiski vārti, bet gan sprieguma-frekvences pārveidotājs. Frekvences un sprieguma līkne izskatās šādi:

Šo iegareno S veida līkni sauc dažādi: loģistikas, S formas, sigmoīdu. Apskatiet to tuvāk, jo tā ir vissvarīgākā līkne pasaulē. Sākumā izvade lēnām pieaug līdz ar ievadi: tik lēni, ka šķiet nemainīga. Tad tas sāk mainīties ātrāk, tad ļoti ātri, un tad lēnāk un lēnāk, un beidzot atkal kļūst gandrīz nemainīgs. Tranzistora līkne, kas savieno ieejas un izejas spriegumu, ir arī S-veida, tāpēc datori un smadzenes ir piepildīti ar S-līknēm. Bet tas vēl nav viss. Visām fāzu pārejām ir sigmoīda forma: varbūtība, ka elektrons mainīs spinu atkarībā no pielietotā lauka, dzelzs magnetizācija, atmiņas daļas ierakstīšana cietajā diskā, jonu kanāla atvēršana šūnā. , ledus kušana, ūdens iztvaikošana, jaunā Visuma inflācijas paplašināšanās, punktveida līdzsvars evolūcijā, mainīgas zinātnes paradigmas, jaunu tehnoloģiju izplatība, balto iedzīvotāju bēgšana no jauktām teritorijām, baumas, epidēmijas, revolūcijas, impēriju sabrukums un daudz kas cits. Pagrieziena punkts: kā mazas lietas var radīt lielas atšķirības (kaut arī mazāk vilinoši) varētu saukt par sigmoīdu. Zemestrīce ir divu blakus esošo tektonisko plākšņu relatīvā stāvokļa fāzes maiņa, un klauvēšana, ko dažreiz dzirdam naktī, ir vienkārši mikroskopisku "tektonisko plākšņu" nobīde mājas sienās, tāpēc neuztraucieties. Džozefs Šumpēters teica, ka ekonomika attīstās plaisās un lēcienā: radošajai iznīcināšanai ir arī S forma. Finansiālie ieguvumi un zaudējumi arī ietekmē cilvēka laimi gar sigmoīdu, tāpēc nepārspīlējieties un neuztraucieties. Varbūtība, ka būs apmierināma patvaļīga loģiskā formula – pati NP-pilnīgo problēmu būtība – seko fāzes pārejai no gandrīz viena uz gandrīz nulli, palielinoties formulas garumam. Statistikas fiziķi var pētīt fāzu pārejas visu mūžu.

Hemingveja filmā The Sun Also Rises Maikam Kempbelam tiek jautāts, kā viņš bankrotēja, un viņš atbild: "Divi veidi. Sākumā pamazām, tad visu uzreiz. To pašu varētu teikt Lehman Brothers. Tāda ir sigmoīda būtība. Viens no futūrista Pola Safo formulētajiem prognozēšanas noteikumiem ir meklēt S līknes. Ja dušā nevari “noķert” komfortablu temperatūru – ūdens sākumā ir par aukstu, bet pēc tam uzreiz par karstu – vaino S līkni. Attīstība gar S līkni ir skaidri redzama, gatavojot popkornu: sākumā nekas nenotiek, tad pārsprāgst daži graudi, tad daudz uzreiz, tad gandrīz visi uzsprāgst ar salūtu, tad vēl nedaudz - un var ēst. Muskuļu kustības arī seko sigmoīdam: lēni, ātri un vēlreiz lēni: multfilmas kļuva daudz dabiskākas, kad Disneja animatori to saprata un sāka atdarināt. Acis virzās pa S līkni, piefiksējoties kopā ar apziņu uz vienu vai otru objektu. Saskaņā ar fāzes pāreju garastāvoklis mainās. Tas pats ar dzimšanu, pubertāti, iemīlēšanos, laulībām, grūtniecību, došanos uz darbu un atlaišanu, pārcelšanos uz citu pilsētu, paaugstināšanu amatā, pensionēšanos un nāvi. Visums ir milzīga fāzu pāreju simfonija, no kosmiskas uz mikroskopisku, no ikdienišķākā uz dzīvi mainošo.

Sigmoīds ir svarīgs ne tikai kā modelis. Matemātikā viņa strādā nenogurstoši. Ja jūs tuvināsit tā centrālo segmentu, tas būs tuvu taisnai līnijai. Daudzas parādības, kuras mēs uzskatām par lineārām, patiesībā ir S-līknes, jo nekas nevar augt bezgalīgi. Relativitātes dēļ un pretēji Ņūtonam paātrinājums nepalielinās lineāri, palielinoties spēkam, bet seko sigmoīdam, kura centrs ir nulle. Līdzīga aina ir vērojama ar atkarību elektriskā strāva no sprieguma rezistoros elektriskās ķēdes un spuldzēs (līdz vītne izkūst, kas pati par sevi ir vēl viena fāzes pāreja). Skatoties no tālienes, S-līkne izskatās kā soļu funkcija, kurā sliekšņa izvade pēkšņi mainās no nulles uz vienu. Tāpēc atkarībā no ieejas sprieguma tranzistora darbība digitālajos datoros un analogajās ierīcēs, piemēram, pastiprinātājos un uztvērējos, aprakstīs to pašu līkni. Sākotnējais sigmoīda segments būtībā ir eksponenciāls, un tuvu piesātinājuma punktam tas tuvojas eksponenciālai sabrukšanai. Kad kāds runā par eksponenciālo izaugsmi, pajautājiet sev: cik drīz tā pārvērtīsies par S līkni? Kad sprādzienbīstams iedzīvotāju skaita pieaugums palēnināsies, Mūra likums izsmēs savas iespējas, un singularitāte nenāks? Atšķiriet sigmoīdu un iegūstat Gausa līkni: "lēni - ātri - lēni" kļūst par "zemu - augstu - zemu". Pievienojiet vairākas pakāpeniskas S-līknes, kas virzās uz augšu un uz leju, un jūs iegūsit kaut ko tuvu sinusoidālajam vilnim. Faktiski katru funkciju var tuvināt ar S-līkņu summu: kad funkcija iet uz augšu, jūs pievienojat sigmoīdu, kad tā samazinās, jūs atņemat. Bērna izglītība nav pakāpeniska uzlabošana, bet gan S līkņu uzkrāšanās. Tas attiecas arī uz tehnoloģiju izmaiņām. Paskatieties uz Ņujorku no attāluma, un jūs redzēsiet sigmoīdu līkņu kopumu, kas izvēršas gar horizontu, tikpat asi kā debesskrāpju stūri.

Mums vissvarīgākais ir tas, ka S-līknes ved uz jaunu ticamības koeficientu problēmas risinājumu. Tā kā Visums ir fāzu pāreju simfonija, tad modelēsim to ar fāzes pāreju. Tas ir tieši tas, ko smadzenes dara: tās pielāgo fāzu pāreju sistēmu iekšpusē uz līdzīgu sistēmu ārpusē. Tāpēc aizstāsim perceptrona soļu funkciju ar sigmoīdu un redzēsim, kas notiks.

Kāpšana hipertelpā

Perceptrona algoritmā kļūdas signāls darbojas pēc principa "viss vai nekas": vai nu pareizi, vai nepareizi. Reti, īpaši daudzu neironu tīklu gadījumā. Var saprast, ka izejas neirons bija nepareizs (ak, tā nebija tava vecmāmiņa?), bet kā ar kādu neironu smadzeņu dziļumos? Un vispār ko nozīmē pareizais un nepareizais dziļajam neironam? Tomēr, ja neirona izvade ir nepārtraukta, nevis bināra, attēls mainās. Pirmkārt, mēs varam novērtēt cik daudz izvades neirons ir nepareizs, ņemot vērā atšķirību starp saņemto un vēlamo izvadi. Ja neironam vajadzētu dzirkstīt ar aktivitāti ("Ak, vecmāmiņ! Sveika!") un tas ir nedaudz aktīvs, tas ir labāk nekā tad, ja tas nemaz neziedētu. Vēl svarīgāk ir tas, ka tagad mēs varam attiecināt šo kļūdu uz slēptajiem neironiem: ja izejas neironam vajadzētu būt aktīvākam un ar to saistītajam neironam A, tad jo aktīvāks ir neirons A, jo vairāk mums ir jānostiprina saikne starp tām. Ja A nomāc neirons B, Tas B jābūt mazāk aktīvam un tā tālāk. Pateicoties atgriezeniskajai saitei no visiem neironiem, ar kuriem tas ir savienots, katrs neirons izlemj, cik daudz vairāk vai mazāk izšaut. Šis un aktivitāte viņa paša ievades neironi viņam nosaka, vai stiprināt vai vājināt savienojumus ar tiem. Man jābūt aktīvākam un neironam B nomāc mani? Tāpēc viņa svars ir jāsamazina. Neirons Cļoti aktīvs, bet viņa saikne ar mani ir vāja? Stiprināsim to. Nākamajā kārtā klientu neironi, kas atrodas tālāk tīklā, man pateiks, cik labi es veicu uzdevumu.

Ikreiz, kad mācīšanās algoritma “tīklene” redz jaunu attēlu, signāls izplatās visā tīklā, līdz tas dod izvadi. Salīdzinot iegūto izvadi ar vēlamo izvadi, rodas kļūdas signāls, kas pēc tam izplatās atpakaļ cauri visiem slāņiem un sasniedz tīkleni. Balstoties uz atgriešanās signālu un ievadiem, kas saņemti pārejas laikā, katrs neirons pielāgo svarus. Tā kā tīkls arvien vairāk redz jūsu vecmāmiņas un citu cilvēku attēlus, svari pakāpeniski saplūst ar vērtībām, kas ļauj atšķirt vienu no otra. Backpropagation metode, kā sauc šo algoritmu, ir nesalīdzināmi jaudīgāka par perceptronu. Viens neirons var atrast tikai taisnu līniju, bet tā sauktais daudzslāņu perceptrons var atrast patvaļīgi sajauktas robežas, ja tam ir pietiekami daudz slēptu neironu. Tas padara backpropagation par augstāko konnekcionistu algoritmu.

Atpakaļpavairošana ir īpašs dabā un tehnoloģijās ļoti izplatītas stratēģijas gadījums: ja jums ātri jākāpj kalnā, izvēlieties stāvāko nogāzi, ko varat atrast. Šīs parādības tehniskais termins ir "gradienta pacelšanās" (ja vēlaties nokļūt virsotnē) vai "gradienta nolaišanās" (ja skatāties lejup pa ieleju). Baktērijas spēj meklēt barību, pārvietojoties pa, piemēram, glikozes koncentrācijas gradientu, un izbēgt no indēm, pārvietojoties pret savu gradientu. Gradienta nolaišanās var optimizēt daudzas lietas, sākot no lidmašīnas spārniem līdz antenu sistēmām. Pavairošana atpakaļ - efektīva metodešāda optimizācija daudzslāņu perceptronā: turpiniet pielāgot svarus, lai samazinātu kļūdu iespējamību, un pārtrauciet, kad kļūst skaidrs, ka pielāgojumi nedarbojas. Atpakaļpropagācijas gadījumā nav jāizdomā, kā no nulles noregulēt katra neirona svaru (tas būtu pārāk lēni): to var darīt slāni pa slānim, noskaņojot katru neironu, pamatojoties uz jau noregulētajiem. ar kuru tas ir savienots. Ja ārkārtas situācijā jums ir jāizmet viss mašīnmācīšanās rīku komplekts un jāglābj viens, jūs, iespējams, izlemsit glābt nolaišanos no gradienta.

Tātad, kā backpropagation atrisina mašīnmācīšanās problēmu? Varbūt vienkārši jāsavāc neironu gūzma, jāpagaida, kamēr tie uzburs visu nepieciešamo, un tad pa ceļam iegriežamies bankā, lai saņemtu Nobela prēmiju par smadzeņu darbības principa atklāšanu? Diemžēl dzīve nav tik vienkārša. Iedomājieties, ka jūsu tīklam ir tikai viens svars; kļūdas atkarība no tā ir parādīta šajā grafikā:

Optimālais svars, pie kura kļūda ir mazākā, ir 2,0. Ja tīkls sākas, piemēram, no 0,75, kļūdas izplatīšanās atpakaļ sasniegs optimālo dažu soļu laikā, piemēram, bumbiņai ripot lejā no kalna. Taču, ja sāksim no 5.5, noslīdīsim uz leju līdz 7.0 un tur iestrēgsim. Kļūdu atpakaļpavairošana ar pakāpeniskām svara izmaiņām nespēs atrast kļūdas globālo minimumu, un vietējie minimumi var būt patvaļīgi slikti: piemēram, vecmāmiņu var sajaukt ar cepuri. Ja ir tikai viens svars, varat izmēģināt visas iespējamās vērtības ar soli 0,01 un tādējādi atrast optimālo. Bet, ja ir tūkstošiem svaru, nemaz nerunājot par miljoniem vai miljardiem, tas nav risinājums, jo punktu skaits režģī palielinās eksponenciāli līdz ar svaru skaitu. Globālais minimums būs paslēpts kaut kur bezdibenī hipertelpas dzīlēs – meklējiet adatu siena kaudzē.

Iedomājieties, ka esat nolaupīts, aizsietas acis un pamests kaut kur Himalajos. Galva šķeļas, ar atmiņu ne pārāk labu, bet tu noteikti zini, ka vajag uzkāpt Everesta virsotnē. Kā būt? Tu sper soli uz priekšu un gandrīz ieslīdi gravā. Atvelkot elpu, jūs nolemjat būt sistemātiskākam un uzmanīgi ar kāju aptaustīt zemi, lai noteiktu augstāko punktu. Tad tu kautrīgi sper soli pretī, un viss atkārtojas. Pamazām tu kāp augstāk un augstāk. Pēc kāda laika jebkurš solis sāk vest uz leju, un tu apstājies. Tas ir gradienta kāpums. Ja Himalajos būtu tikai viens Everests un ideāla koniska forma, viss būtu kārtībā. Bet, visticamāk, vieta, kur visi pakāpieni ved lejā, joprojām būs ļoti tālu no augšas: jūs vienkārši iestrēgsit kādā kalnā apakšā. Tieši tā notiek ar backpropagation, tikai tā kāpj kalnos hipertelpā, nevis 3D kā mūsējā. Ja jūsu tīkls sastāv no viena neirona un jūs soli pa solim kāpjat uz labākajiem svariem, tad jūs nonāksit virsotnē. Bet daudzslāņu perceptronā ainava ir ļoti nelīdzena — ejiet un atrodiet augstāko virsotni.

Daļēji tāpēc Minskis, Papīrs un citi pētnieki nesaprata, kā var apmācīt daudzslāņu perceptronus. Viņi varēja iedomāties soļu funkciju aizstāšanu ar S līknēm un gradienta nolaišanos, bet pēc tam saskārās ar vietējo kļūdu minimumu problēmu. Tolaik zinātnieki neuzticējās datorsimulācijām un pieprasīja matemātiskos algoritma darbības pierādījumus, un tādu pierādījumu atpakaļpavairīšanai nebija. Bet, kā mēs redzējām, vairumā gadījumu pietiek ar vietējo minimumu. Kļūdas virsma bieži ir dzeloņcūkai līdzīga: daudz stāvu virsotņu un ieplaku, un nav īsti svarīgi, vai mēs atrodam dziļāko, absolūto siles – derēs jebkura. Vēl labāk, ja vietējais minimums ir pat vēlams, jo tas ir mazāk pakļauts pārklāšanai nekā globālais.

Hipertelpa ir abpusgriezīgs zobens. No vienas puses, jo lielāks mērījumu skaits, jo vairāk vietas ļoti sarežģītām virsmām un lokālām ekstremitātēm. No otras puses, lai iestrēgtu vietējā ekstrēmā, ir jāiestājas visi izmēriem, un daudzos vienlaikus iestrēgt ir grūtāk nekā trijos. Hipertelpā ir caurlaides, kas iet cauri visam (hiper)reljefam, tāpēc ar nelielu cilvēka palīdzību atpakaļpavairošana bieži var atrast ceļu uz perfekti labu svaru komplektu. Varbūt tas nav jūras līmenis, bet tikai leģendārā Šangri-La ieleja, bet par ko sūdzēties, ja hipertelpā ir miljoniem šādu ieleju un uz katru ved miljardiem pāreju?

Tomēr nevajadzētu piešķirt pārāk lielu nozīmi svaram, ko atrod backpropagation. Atcerieties, ka, iespējams, ir daudz dažādu, bet vienādu labas iespējas. Daudzslāņu perceptrona apguve ir haotiska tādā nozīmē, ka, sākot no nedaudz dažādām vietām, tas var novest pie ļoti dažādi risinājumi. Šī parādība rodas, ja ir nelielas atšķirības gan sākotnējos svaros, gan apmācības datos, un tā notiek visos jaudīgajos mācību algoritmos, ne tikai atpakaļejā.

Mēs mēs varētu Atbrīvojieties no vietējās ekstrēmas problēmas, noņemot mūsu sigmoīdus un ļaujot katram neironam vienkārši izvadīt savu ievades svērto summu. Kļūdas virsma šajā gadījumā kļūtu ļoti gluda, un paliktu tikai viens minimums - globālais. Tomēr būtība ir tāda, ka lineārā funkcija lineārās funkcijas joprojām ir lineāra funkcija, tāpēc lineāro neironu tīkls nav labāks par vienu neironu. Lineāras smadzenes, neatkarīgi no tā, cik lielas, būs dumjākas par tārpu. S-līknes ir tikai labs inscenējums starp lineāro funkciju stulbumu un soļu funkciju sarežģītību.

Perceptrons Strike Back

Backpropagation 1986. gadā izgudroja Deivids Rumelharts, UC Sandjego psihologs, sadarbībā ar Džefu Hintonu un Ronaldu Viljamsu. Viņi, cita starpā, pierādīja, ka atpakaļpavairošana var tikt galā ar XOR, un, to darot, konnekcionistiem tika dota iespēja runāt savā valodā ar Minski un Papertu. Padomājiet par Nike sneaker piemēru: pusaudži un pusmūža sievietes ir viņu visticamākie pircēji. To var attēlot ar trīs neironu tīklu: viens aizdegas, ieraugot pusaudzi, otrs – pusmūža sievieti un trešais, kad aizdegas abi. Pateicoties atpakaļpavairīšanai, jūs varat apgūt atbilstošos svarus un iegūt veiksmīgu Nike potenciālā pircēja detektoru. (Tieši tā, Mārvin.)

Pirmajos atpakaļpropagācijas spēka demonstrācijās Terijs Sejnovskis un Čārlzs Rozenbergs apmācīja daudzslāņu perceptronu lasīt skaļi. Viņu sistēma NETtalk skenēja tekstu, saskaņoja fonēmas atbilstoši kontekstam un ievadīja tās runas sintezatorā. NETtalk ne tikai veica pareizus vispārinājumus jauniem vārdiem, ko uz zināšanām balstītas sistēmas nevarēja, bet arī iemācījās runāt ļoti līdzīgi kā cilvēks. Sejnovskim patika aizraut publiku zinātniskos pasākumos, atskaņojot NETtalk apmācību lenti: vispirms pļāpāšana, tad kaut kas saprotamāks un visbeidzot diezgan gluda runa ar ik pa laikam pieļautām kļūdām. (Piemērus Sejnowski nettalk meklējiet pakalpojumā YouTube.)

Pirmais lielais neironu tīklu panākums bija akciju tirgus prognozēšana. Tā kā tīkli spēj noteikt nelielas nelinearitātes ļoti trokšņainos datos, tie ir guvuši popularitāti un aizstājuši finanšu jomā izplatītos lineāros modeļus. Tipisks ieguldījumu fonds apmāca tīklus katram no daudzajiem vērtspapīriem, pēc tam atlasa perspektīvākos, un pēc tam cilvēku analītiķi izlemj, kurā no tiem ieguldīt. Tomēr vairāki fondi aizgāja līdz galam un ļāva mašīnmācīšanās algoritmiem pirkt un pārdot pašiem. Tas, cik tieši daudziem ir izdevies, ir noslēpums, taču, tā kā audzēkņi satraucošā tempā pazūd riska ieguldījumu fondu dzīlēs, iespējams, kaut kas tajā ir saistīts.

Nelineārie modeļi ir svarīgi ne tikai akciju tirgū. Zinātnieki visur izmanto lineāro regresiju, jo viņi to labi zina, taču pētītās parādības bieži vien ir nelineāras, un daudzslāņu perceptrons var tās modelēt. Lineārie modeļi neredz fāzu pārejas, un neironu tīkli tās absorbē kā sūklis.

Vēl viens ievērojams agrīno neironu tīklu panākums bija mācīšanās vadīt automašīnu. Pašbraucošās automašīnas pirmo reizi izvirzījās priekšplānā DARPA Grand Challenge 2004. un 2005. gadā, bet vairāk nekā desmit gadus iepriekš Kārnegija Melona universitātes zinātnieki bija veiksmīgi apmācījuši daudzslāņu perceptronu vadīt automašīnu: atpazīt ceļu video un pagriezt stūri. ritenis iekšā īstā vieta. Ar nelielu cilvēka otrā pilota palīdzību šai automašīnai izdevās ceļot pāri ASV no okeāna uz okeānu, lai gan tās “redze” bija ļoti miglaina (30 × 32 pikseļi) un smadzenes bija mazākas nekā tārpam. (Projekts saucās No Hands Across America.) Iespējams, ka tā nebija pirmā patiesi pašbraucošā automašīna, taču pat tā izcēlās starp vairumu pie stūres sēdošo pusaudžu.

Backpropagation ir neskaitāmas lietojumprogrammas. Pieaugot viņa slavai, pieauga arī viņa vēsture. Izrādījās, ka, kā tas nereti notiek zinātnē, metode tika izgudrota vairākas reizes: franču datorzinātnieks Jans Lekuns un citi zinātnieki tai uzdūrās aptuveni tajā pašā laikā, kad Rumelhārts. Astoņdesmitajos gados vadošā mākslīgā intelekta konferencē tika noraidīts ziņojums par atpakaļpavairošanu, jo, pēc recenzentu domām, Minskis un Papīrs pierādīja, ka perceptroni nedarbojas. Vispārīgi runājot, Rumelhārts ir atzīts par metodes izgudrošanu, izmantojot "Kolumbusa testu": Kolumbs nebija pirmais cilvēks, kurš atklāja Ameriku, bet viņš bija pēdējais. Izrādās, ka Hārvardas maģistrants Pols Verboss savā disertācijā ierosināja līdzīgu algoritmu 1974. gadā, un lielākā ironija ir tā, ka kontroles teorētiķi Artūrs Braisons un He Juči to panāca 1969. gadā – tieši tad, kad Minskis un Papīrs publicēja savu grāmatu. Perceptrons! Tātad pati mašīnmācīšanās vēsture parāda, kāpēc mums ir nepieciešami mācību algoritmi: ja algoritmi automātiski noteiktu, ka raksti par kādu tēmu ir bijuši zinātniskajā literatūrā kopš 1969. gada, mēs nebūtu tērējuši gadu desmitus, un, kas zina, kādi atklājumi tiktu veikti ātrāk.

Perceptrona vēsturē ir daudz ironijas, taču skumji ir tas, ka Frenks Rozenblats nekad neredzēja sava radīšanas otro cēlienu: viņš noslīka Česapīka līcī tajā pašā 1969. gadā.

Pilnīgs šūnu modelis

Dzīva šūna ir lielisks nelineāras sistēmas piemērs. Tas veic visas savas funkcijas, izmantojot sarežģītu ķīmisko reakciju tīklu, kas pārvērš izejvielas galaproduktos. Kā redzējām iepriekšējā nodaļā, šī tīkla struktūru var atklāt, izmantojot simboliskas metodes, piemēram, reverso dedukciju, taču, lai izveidotu pilnīgu šūnas modeli, ir nepieciešama kvantitatīvā pieeja: ir jānoskaidro parametri, kas saistīt dažādu gēnu ekspresijas līmeni, korelēt mainīgos vidi ar iekšējiem mainīgajiem un tā tālāk. Tas nav viegli, jo starp šiem lielumiem nav vienkāršas lineāras attiecības. Drīzāk šūna saglabā savu stabilitāti, izmantojot krustojošās atgriezeniskās saites cilpas, un tās uzvedība ir ļoti sarežģīta. Šīs problēmas risināšanai labi piemērota backpropagation metode, kas spēj efektīvi apgūt nelineāras funkcijas. Ja mūsu rokās būtu pilnīga vielmaiņas ķēdes karte un pietiekami daudz novērojumu datu par visiem attiecīgajiem mainīgajiem, detalizētu šūnu modeli teorētiski varētu izplatīt atpakaļ un daudzslāņu perceptrons paredzētu jebkuru mainīgo atkarībā no tā tuvākajiem cēloņiem.

Tomēr pārskatāmā nākotnē mums būs tikai daļēja izpratne par šūnu metabolismu un varēsim novērot tikai daļu no mums nepieciešamajiem parametriem. Ir nepieciešamas Bajesa metodes, lai radītu noderīgus modeļus, saskaroties ar informācijas nepilnībām un neizbēgamām pretrunām, par kurām mēs iedziļināsimies 6. nodaļā. Tas pats attiecas uz pacientam specifiskām prognozēm, ja modelis jau ir pieejams: Beijesa secinājumi sniegs maksimālu labumu no neizbēgami nepilnīgs un trokšņains attēls. Labā ziņa ir tā, ka vēža ārstēšanai nav nepieciešams pilnībā un detaļās izprast audzēja šūnu darbību: pietiek tikai tās neitralizēt, nesabojājot normālas šūnas. 6. nodaļā redzēsim, kā pareizi orientēties mācībās, apejot to, ko nezinām un kas nav jāzina.

Šajā posmā mēs zinām, ka ir iespējams izsecināt šūnu tīklu struktūru, izmantojot atpakaļejošo atskaitījumu, pamatojoties uz datiem un iepriekšējām zināšanām, taču to izmantošanas veidu skaits rada kombinatorisku sprādzienu, tāpēc ir nepieciešama sava veida stratēģija. Tā kā vielmaiņas tīklus izstrādāja evolūcija, iespējams, ir pareizi simulēt evolūciju mācību algoritmos. Nākamajā nodaļā mēs redzēsim, kā to izdarīt.

Smadzeņu dziļumos

Kad backpropagation metode "gāja pie tautas", konnekcionisti iedomājās ātra mācīšanās arvien vairāk tīklu, līdz, ja aparatūra atļauj, tie ir līdzvērtīgi mākslīgajām smadzenēm. Izrādījās, ka viss bija nepareizi. Tīklu apmācība ar vienu slēpto slāni noritēja labi, bet pēc tam viss kļuva daudz sarežģītāk. Tīkli ar vairākiem slāņiem darbojās tikai tad, ja tie bija rūpīgi izstrādāti noteiktai lietojumprogrammai (teiksim, rakstzīmju atpazīšanai), un pēc tam atpakaļpavairošana neizdevās. Pievienojot slāņus, kļūdas signāls arvien vairāk atšķīrās, piemēram, upe, kas sazarojas mazos kanālos līdz atsevišķiem nemanāmiem pilieniem. Mācīšanās ar desmitiem vai simtiem slēptu slāņu, piemēram, smadzenēs, palika tāls sapnis, un 90. gadu vidum satraukums par daudzslāņu perceptroniem bija mazinājies. Konnekcionistu kodols nepadevās, bet kopējā uzmanība tika pārcelta uz citām mašīnmācīšanās jomām (tās redzēsim 6. un 7. nodaļā).

Tomēr šodien konnekcionisms atdzimst. Mēs apmācām dziļākus tīklus nekā jebkad agrāk, un tie nosaka jaunus standartus redzes, runas atpazīšanas, zāļu izstrādes un citur. Jauns rajons- dziļa mācīšanās - parādījās pat New York Times pirmajā lapā, bet, ja paskatās zem pārsega, mēs būsim pārsteigti, redzot, ka tur dārd tas pats vecais labais dzinējs - kļūdas aizmugures izplatīšanās metode. Kas mainījās? Kopumā nekas jauns, kritiķi teiks: vienkārši datori ir kļuvuši ātrāki, un ir vairāk datu. Uz to Hintons un citi atbildēs: “Tieši tā! Mums bija pilnīga taisnība! ”

Patiesībā konnekcionisti ir guvuši lielus panākumus. Viens no jaunākā savienojuma amerikāņu kalniņu brauciena varoņiem ir bijusi maza ierīce, ko sauc par automātisko kodētāju, daudzslāņu perceptronu, kas izvada tieši to, ko saņēma kā ievadi. Tas uzņem jūsu vecmāmiņas attēlu un atgriež to pašu attēlu. No pirmā acu uzmetiena tā var šķist muļķīga ideja: kur jūs vispār varat izmantot šo lietu? Bet visa būtība ir tāda, ka slēptais slānis ir daudz mazāks par ievadi un izvadi, tas ir, lai tīkls nevarētu vienkārši iemācīties kopēt ievadi slēptajā slānī un slēpto slāni uz izvadi, jo šajā gadījumā ierīce vispār nav laba. Tomēr, ja slēptais slānis ir mazs, notiek interesanta lieta: tīkls ir spiests iekodēt ievadi tikai ar dažiem bitiem, lai to attēlotu slēptajā slānī, un pēc tam šie biti tiek atšifrēti atpakaļ pilnā izmērā. Sistēma var, piemēram, iemācīties iekodēt miljons pikseļu vecmāmiņas attēlu, kurā ir tikai septiņi burti — vārds "vecmāmiņa" — vai kāds pašas izgudrots īss kods, un tajā pašā laikā iemācīties atšifrēt šo vārdu attēlā. par sirdij dārgu pensionāru. Tādējādi automātiskais kodētājs ir līdzīgs failu saspiešanas rīkam, taču tam ir divas priekšrocības: tas saprot, kā sevi saspiest, un, tāpat kā Hopfield tīkli, var pārvērst trokšņainu, izkropļotu attēlu labā un tīrā.

Autokodētāji ir bijuši pieejami kopš 1980. gadiem, taču toreiz tos bija ļoti grūti apgūt, lai gan tiem bija tikai viens slēptais slānis. Izdomāt, kā salikt daudz informācijas dažos fragmentos, ir elles problēma (viens kods jūsu vecmāmiņai, nedaudz cits kods jūsu vectēvam, cits Dženiferai Anistonei utt.): hipertelpas ainava. ir pārāk izturīgs, lai uzkāptu labā virsotnē, un slēptajiem elementiem ir jāiemācās, no kā sastāv ievades liekā XOR. Šo problēmu dēļ autokodētāji toreiz īsti neiesakņojās. Grūtību pārvarēšanai vajadzēja vairāk nekā desmit gadus. Tika izgudrots šāds triks: slēptais slānis jāpadara lielāks par ievadi un izvadi. Ko tas dos? Patiesībā šī ir tikai puse no risinājuma: otrā daļa ir piespiest izslēgt visas slēptās vienības, izņemot noteiktu skaitu. Šis brīdis. Tas joprojām neļauj slēptajam slānim vienkārši kopēt ievadi un, pats galvenais, padara mācīšanos daudz vienkāršāku. Ja ļaujam dažādiem bitiem attēlot dažādas ievades, ievades pārtrauks konkurēt, lai iestatītu vienus un tos pašus bitus. Turklāt tīklam būs daudz vairāk parametru, tāpēc hipertelpai būs daudz vairāk dimensiju un līdz ar to veidi, kā izkļūt no tā, kas varētu kļūt par vietējiem maksimumiem. Šo veiklo triku sauc par retu automātisko kodētāju.

Tomēr mēs vēl neesam redzējuši patiesi dziļu mācīšanos. Nākamā viltīgā ideja ir sakraut retus autokodētājus vienu uz otra kā lielu sviestmaizi. Pirmā slēptais slānis kļūst par ievadi/izeju otrajam utt. Tā kā neironi ir nelineāri, katrs slēptais slānis apgūst sarežģītākus ievades attēlojumus, pamatojoties uz iepriekšējo. Ja ir liels sejas attēlu kopums, pirmais automātiskais kodētājs iemācīsies kodēt mazi priekšmeti, piemēram, stūriem un punktiem, otrais izmanto to, lai kodētu sejas vaibstus, piemēram, deguna galu un varavīksneni, trešais tiks galā ar veseliem deguniem un acīm utt. Visbeidzot, augšējais slānis var būt tradicionāls perceptrons – tas iemācīsies atpazīt jūsu vecmāmiņu no augsta līmeņa pazīmēm, ko sniedz zemāk esošais slānis. Tas ir daudz vienkāršāk nekā izmantot tikai viena slēptā slāņa neapstrādātos datus vai mēģināt pārvietoties pa visiem slāņiem vienlaikus. Google prāta tīkls, ko reklamē New York Times, ir deviņu slāņu automātisko kodētāju un citu sastāvdaļu sviestmaize, kas mācās atpazīt kaķus no YouTube videoklipiem. Tolaik šis tīkls bija lielākais jebkad apmācītais: tam bija miljards savienojumu. Nav pārsteidzoši, ka Endrjū Ng, viens no projekta vadītājiem, dedzīgi atbalsta ideju, ka cilvēka prāts ir reducēts uz vienu algoritmu un pietiek tikai to atrast. Euns, kura pieklājīgā izturēšanās slēpj neticamas ambīcijas, ir pārliecināta, ka daudzpakāpju retie automātiskās kodēšanas ierīces var mūs novest tuvāk mākslīgā intelekta mīklai nekā jebkad agrāk.

Vairāku līmeņu autokodētāji nav vienīgais dziļās mācīšanās algoritmu veids. Vēl viens ir balstīts uz Boltzmann mašīnām, ir vizuālās garozas modeļi konvolucionālajos neironu tīklos. Tomēr, neskatoties uz ievērojamo progresu, tas viss joprojām ir ļoti tālu no smadzenēm. Google tīkls spēj atpazīt kaķu sejas tikai no priekšpuses, un cilvēks atpazīst kaķi jebkurā stāvoklī, pat ja tas vispār novēršas. Turklāt Google tīkls joprojām ir diezgan mazs: autokodētāji veido tikai trīs no tā deviņiem slāņiem. Daudzslāņu perceptrons ir apmierinošs smadzenīšu modelis, kas ir smadzeņu daļa, kas ir atbildīga par zema līmeņa kustību kontroli. Tomēr smadzeņu garoza ir pavisam cita lieta. Tai, piemēram, trūkst atgriezeniskās saites cilpu, kas nepieciešamas, lai izplatītu kļūdu, un tomēr garozā notiek patiesā mācīšanās burvība. Savā grāmatā On Intelligence Džefs Hokinss iestājas par tādu algoritmu izstrādi, kuru pamatā ir smadzeņu garozas struktūras cieša atkārtošana, taču neviens no šiem algoritmiem vēl nevar konkurēt ar mūsdienu dziļajiem tīkliem.

Kad mēs iegūstam labāku izpratni par smadzenēm, tas var mainīties. Iedvesmojoties no cilvēka genoma projekta, jauna disciplīna- konnekomika - cenšas kartēt visas smadzeņu sinapses. Eiropas Savienība ir ieguldījusi miljardus eiro pilnvērtīga modeļa izveidē, un Amerikas programma BRAIN, kurai ir līdzīgi mērķi, 2014. gadā vien saņēma finansējumu 100 miljonu dolāru apmērā. Neskatoties uz to, simbolisti ir ļoti skeptiski par šo ceļu uz galveno algoritmu. Pat ja mēs iedomājamies visas smadzenes atsevišķu sinapsu līmenī, (ironiskā kārtā) būtu nepieciešami labāki mašīnmācīšanās algoritmi, lai šo attēlu pārvērstu elektroinstalācijas shēmās: to darīt ar roku nav iespējams. Vēl ļaunāk, pat ja ir pilnīga smadzeņu karte, mēs joprojām domājam, kā tas darbojas. Tārpa Caenorhabditis elegans nervu sistēma, kas sastāv tikai no 302 neironiem, tika pilnībā kartēta tālajā 1986. gadā, taču mēs joprojām tās darbību saprotam tikai fragmentāri. Lai sīko detaļu purvā kaut ko saprastu un “izravētu” cilvēkam raksturīgās detaļas un vienkārši evolūcijas dīvainības, ir nepieciešami augstāka līmeņa jēdzieni. Mēs nereversējam lidmašīnām ar spalvām, un lidmašīnām nav spārnu, bet lidmašīnu dizains balstās uz aerodinamikas principiem, kas ir vienādi visiem lidojošiem objektiem. Mums joprojām nav līdzīgu domāšanas principu.

Iespējams, ka konnekomika iet uz galējībām: tiek baumots, ka daži konnekcionisti apgalvo, ka atpakaļpavairošana ir galvenais algoritms: jums vienkārši jātuvina. Bet simbolisti izsmej šos uzskatus un piedāvā garu sarakstu ar lietām, ko cilvēki var darīt, ko nevar izdarīt neironu tīkli. Ņemsim, piemēram, “veselo saprātu”, kas liek savienot informācijas fragmentus, kuri, iespējams, nekad agrāk nav stāvējuši blakus. Vai Marija pusdienās ēd kurpes? Viņa neēd, jo ir cilvēks, cilvēki ēd tikai ēdamas lietas, un apavi nav ēdami. Simboliskās sistēmas ar to tiek galā bez problēmām - tās vienkārši veido atbilstošo noteikumu ķēdes, taču daudzslāņu perceptroni to nevar izdarīt un, iemācījušies, atkal un atkal aprēķinās to pašu fiksēto funkciju. Neironu tīkli nav kompozicionāli, un kompozicionalitāte ir būtisks cilvēka izziņas elements. Vēl viena liela problēma ir tā, ka gan cilvēki, gan simboliski modeļi, piemēram, noteikumu kopas un lēmumu koki, spēj izskaidrot savu argumentāciju, savukārt neironu tīkli ir lieli skaitļu kalni, kurus neviens nevar saprast.

Bet, ja cilvēkam ir visas šīs spējas un smadzenes tās neapgūst, atlasot sinapses, no kurienes tās rodas? Jūs neticat maģijai? Tad atbilde ir "evolūcija". Stingram konnekcionisma kritiķim vienkārši ir jāizdomā, kā evolūcija iemācījās visu, ko mazulis zina dzimšanas brīdī – un jo vairāk mēs piedēvējam iedzimtajām prasmēm, jo grūtāks ir uzdevums. Ja jums izdodas to visu saprast un ieprogrammēt datoru šāda uzdevuma veikšanai, būtu ļoti nepieklājīgi liegt jums plūkt Meistara algoritma izgudrotāja laurus - vismaz vienu no tā variantiem.

Neirīts (garš cilindrisks nervu šūnas process), caur kuru no šūnas ķermeņa tiek pārraidīti izejoši signāli (nervu impulsi) uz inervētajiem orgāniem un citām nervu šūnām.

Viljams Džeimss (1842–1910) bija amerikāņu filozofs un psihologs, viens no pragmatisma un funkcionālisma dibinātājiem un vadošajiem eksponentiem.

Frenks Rozenblats (1928-1969) ir pazīstams amerikāņu zinātnieks psiholoģijas, neirofizioloģijas un mākslīgā intelekta jomā.

Džozefs Aloizs Šumpēters (1883–1950) bija austriešu un amerikāņu ekonomists, politologs, sociologs un ekonomiskās domas vēsturnieks.

Ronalds Viljamss ir Bostonas Ziemeļaustrumu universitātes datorzinātņu profesors un viens no neironu tīklu pionieriem.

Robotu automašīnu sacensības, ko finansē ASV valdība. Šo sacensību mērķis ir izveidot pilnībā autonomus transportlīdzekļus.

Amerikāņu aktrise, vislabāk pazīstama ar Reičelas Grīnas lomu televīzijas seriālā Draugi, par ko viņai tika piešķirta Emmy balva un Zelta globuss.

Par grāmatu

Pedro Domingoss, viens no vadošajiem pētniekiem šajā jomā, paceļ plīvuru un stāsta par...

Izlasiet pilnībā

Par grāmatu
Populāra un interesanta grāmata par universāla pašmācības algoritma meklējumiem no praktiskā zinātnieka.

Algoritmi regulē mūsu dzīvi. Viņi atrod mums grāmatas, filmas, darbu un partnerus, pārvalda mūsu ieguldījumus un izstrādā jaunas zāles. Šie algoritmi arvien vairāk mācās no datu kopām, kuras mēs atstājam mūsdienu digitālajā pasaulē. Kā ziņkārīgi bērni mūs vēro, atdarina un eksperimentē. Un vadošajās laboratorijās un universitātēs viņi strādā, lai izveidotu maģistra pašmācības algoritmu, kas var iegūt visas zināšanas no datiem un atrisināt visas problēmas — pat pirms mēs tos formulējam.

Mašīnmācība ļauj viedajiem robotiem un datoriem programmēt sevi. Šī ir viena no svarīgākajām mūsdienu tehnoloģijām – un tā ir arī viena no noslēpumainākajām.

Pedro Domingoss, viens no vadošajiem pētniekiem šajā jomā, paceļ priekškaru un pirmo reizi pieejamā veidā runā par šo zināšanu jomu, iepazīstinot lasītājus ar 5 galvenajām mašīnmācīšanās skolām un parādot, kā viņi izmanto idejas no neirozinātnes, evolūcijas bioloģiju, fiziku un statistiku, lai izveidotu algoritmus, kas mums palīdz.

Pa ceļam viņš stāsta par ideju par universālu pašmācības algoritmu un to, kā tas mainīs jūs, biznesu, zinātni un visu sabiedrību.

No autora
Master algoritms varēs iegūt no datiem kopumā visas zināšanas - zināšanas par pagātni, tagadni un nākotni. Šī algoritma izgudrošana būtu viens no lielākajiem sasniegumiem zinātnes vēsturē. Tas paātrinās progresu burtiski visā, mainīs pasauli tā, kā mēs šodien grūti iedomāties. Mašīnmācības galvenais algoritms ir kaut kas līdzīgs standarta modelim daļiņu fizikā un molekulārās bioloģijas centrālajai dogmai: vienota teorija, kas izskaidro visu, ko mēs zinām šodien, un liek pamatu gadu desmitiem vai gadsimtiem turpmākam progresam. Galvenais algoritms ir atslēga, lai atrisinātu vissarežģītākās problēmas, ar kurām saskaras cilvēce: no mājas robotu radīšanas līdz vēža ārstēšanai.

Kam šī grāmata ir paredzēta?
Tiem, kurus interesē mašīnmācība un mākslīgais intelekts.

Un ikvienam, kas vēlas uzzināt par to, kas notiek zinātnes priekšgalā.

par autoru
Pedro Domingoss ir Vašingtonas universitātes profesors un vadošais mašīnmācības un mākslīgā intelekta eksperts. Viņš ir vienas grāmatas un daudzu zinātnisku rakstu autors. Domingoss ir vairāku profesionālo balvu ieguvējs.

Augstākais algoritms.

Šī grāmata ir praktiska zinātnieka pētījums par mašīnmācību tiem, kurus interesē mākslīgais intelekts, zinātnes progresīvākās iespējas, efektīvas pašmācības principi. Dosimies ceļojumā uz novatorisku datorzinātni! Brīnišķīgi jauna pasaule mašīnmācība - iepazīsties!

Mašīnmācīšanās ir viena no visvairāk pārveidojošām tehnoloģijām, kas noteiks mūsu dzīvi nākamajās pāris desmitgadēs. Šī grāmata ir obligātā literatūra mūsdienu cilvēkam- drosmīgs un skaists skats uz jauno nākotnes ietvaru. Šī ir neticami svarīga un noderīga grāmata, jo mašīnmācībai jau ir būtiska ietekme uz mūsu dzīvi un darbu, un tas būs tikai vēl vairāk. Ja jūs interesē, kā mākslīgais intelekts maina jūsu dzīvi, izlasiet šo grāmatu. "Ne par tēmu" tā vienkārši vairs nevar būt.

Cietie vāki, balts papīrs.

Mēs ne vienmēr par to domājam šodien, bet Algoritmi jau vada mūsu dzīvi. Viņi izvēlas un iesaka mums grāmatas, filmas, darba vietas, pārvalda mūsu ieguldījumus un izstrādā jaunas zāles. Šie algoritmi arvien vairāk mācās no datu kopām, kuras mēs atstājam mūsdienu digitālajā pasaulē. Viņi mūs vēro, atdarina un eksperimentē, izdara secinājumus un sāk mūs ietekmēt. Vadošās laboratorijas un universitātes strādā, lai izveidotu apgūt pašmācības algoritmu, kas spēs no datiem saņemt jebkādas zināšanas un atrisināt visas problēmas – pirms mēs tās formulējam.

Autorei izdodas ne tikai sniegt precīzu un izklaidējošu ceļojumu mašīnmācības pamatā esošajās metodiskajās idejās, bet arī šīs idejas īstenot. filozofiskos jautājumos kas attiecas uz galīgā spēja cilvēkam atdarināt savu veidu. Jālasa gan reālistiem, gan futūristiem.

Mašīnmācība ļauj viedajiem robotiem un datoriem programmēt sevi. Šī ir viena no svarīgākajām mūsdienu tehnoloģijām – un tā ir arī viena no noslēpumainākajām. Mašīnmācība ir aizraujoša pasaule, kurā nekad nav redzēti neprofesionāli nepiederoši cilvēki. Tagad viņš tevi redz, un tu vari viņu saprast.

Datorzinātnes robeža ir mašīna, kas, tāpat kā mēs, cilvēki, var iemācīties pati par sevi, smelt jaunas zināšanas no pieredzes. Mašīnmācība var palīdzēt mums darīt visu, sākot no vēža ārstēšanas līdz humanoīdu robotu veidošanai. Pedro Domingoss atklāj mašīnmācīšanos un parāda, cik aizraujoša būs nākotne.

Mūsdienās ir pieejamas apmācības par šo tēmu, kas ir pārāk tehniskas, lai tās būtu pieejamas. Tiem, kas ir vidū — no vadītājiem līdz studentiem — šī ir ideāla grāmata, lai parādītu, kā un kāpēc tā patiešām darbojas, bez sarežģītas matemātikas. Atšķirībā no citām grāmatām, kas sludina gaišāku nākotni, šī grāmata patiesībā liek mums saprast izmaiņas, kas jau notiek.

Pedro Domingoss, viens no vadošajiem pētniekiem šajā jomā, paceļ noslēpuma plīvuru un pirmo reizi runā par šo zināšanu jomu pieejamā veidā, iepazīstinot lasītājus ar 5 galvenās mašīnmācības skolas un parāda, kā viņi izmanto idejas no neirozinātnes, evolūcijas bioloģijas, fizikas un statistikas, lai izveidotu algoritmus, kas palīdz cilvēkiem.

Jūs atvērsiet durvis uz pasauli, kuru daudzi no mums nekad agrāk nav spējuši redzēt vai pat domāt par to, un tai ir milzīga ietekme uz mūsu ikdienas dzīvi.

Kā tas viss mainīs jūs personīgi, biznesu, zinātni un visu sabiedrību – lasiet grāmatā.

Grāmatu Krievijā izdeva izdevniecība Manns, Ivanovs un Ferbers 2016. gadā.

Master algoritms varēs iegūt no datiem kopumā visas zināšanas - zināšanas par pagātni, tagadni un nākotni. Šī algoritma izgudrošana būtu viens no lielākajiem sasniegumiem zinātnes vēsturē. Tas paātrinās progresu burtiski visā, mainīs pasauli tā, kā mēs šodien grūti iedomāties. Mašīnmācības galvenais algoritms ir kaut kas līdzīgs standarta modelim daļiņu fizikā un molekulārās bioloģijas centrālajai dogmai: vienota teorija, kas izskaidro visu, ko mēs zinām šodien, un pamatu likšana gadu desmitiem vai veselus gadsimtus nākotnes progresa. Galvenais algoritms ir atslēga, lai atrisinātu vissarežģītākās problēmas, ar kurām saskaras cilvēce: no mājas robotu radīšanas līdz vēža ārstēšanai.
Pedro Domingoss

Šī grāmata nodrošina labākais pārskats visa mašīnmācības joma nekā jebkura cita mūsdienās pastāvoša grāmata. Citās grāmatās parasti ir aprakstītas atšķirības starp sistēmu veidiem, taču šī grāmata iet tālāk, salīdzinot, teiksim, lēmumu kokus, atbalsta vektora mašīnas un dziļos neironu tīklus, paskaidrojot, kurā statistikas jomā tiem ir lielāka nozīme nekā citiem.

Argumenti no neirozinātnes.

Grāmata parāda daudzas metodes vēsturiskā perspektīvā: dziļo neironu tīklu, SVM rašanās, kritums un atkārtota parādīšanās, diskusijas starp frekvenci un Beijesa statistiku un citas. Visbeidzot, autore skaidri norāda, ka šīs metodes ne vienmēr sacenšas par labāko visā, bet tās var izmantot kopā viena otru papildinot, katrai metodei ir unikālas priekšrocības noteiktās problemātiskajās jomās. Šis labs veids padomājiet par to, ko mēs visi varam sasniegt: celtniecības darbi, adaptīvas programmatūras sistēmas, kurām nepieciešama arvien mazāk cilvēku palīdzības.

Šī grāmata galvenokārt būs interesanta tiem, kam ir tehniskas zināšanas un intereses, kuru darbība ir saistīta ar datoriem un programmēšanu. Pirmās nodaļas būs lieliska lasāmviela ikvienam, pat pusaudžiem, viņi rādīs visparīgie principi mūsdienu attīstība tradicionālā programmatūra un automatizācija, un sīkāku informāciju mēs redzēsim vēlāk grāmatā.

Grāmatas dziļuma un detalizācijas līmenis ir ideāls – tā ir pietiekami viegli lasāma un sniedz pilnīgu priekšstatu par tēmu. Erudīta lasāmviela, ar humoru - par progresīvākajām tehnoloģijām! Būs interesanti gan vienkārši zinātkārajiem, gan tiem, kas interesējas par karjeras veidošanu šajā jomā. Apraksti un diskusijas bez sarežģīta žargona, interesanti piemēri ir saprotami un pieejami. Šī grāmata ir gan izklaidējoša lasāmviela interesentiem, gan izglītojoša: jūs daudz uzzināsiet un sapratīsiet.

Jūs uzzināsiet par 5 nekontrolētas mācīšanās veidiem, pastiprināšanas mācīšanos, sadrumstalotību un relāciju mācīšanos utt. Grāmatas kulminācija ir galvenā algoritma apļveida karte. Katrā tēmā autors stāsta par svarīgākajām idejām, algoritmiem un programmām. Autors dažos vienkāršos teikumos ļoti labi izskaidro progresīvo algoritmu būtību, aproksimācijas funkcijas vērtību apmācībā, ziņojumu nodošanu, MCMC, Bajesa Kalmana filtrēšanu utt.

Divdesmit jautājumu spēle.

Domingos dod ekskursiju piecos dažādi veidi mašīnmācība (evolucionāri, konnekcionisti, simbolisti, Bayesians un analogi), kā viņi savienojas un kāda ir viņu vēsture.

Ja neesat pazīstams ar mašīnmācīšanos, šī grāmata ir plašs un interesants pārskats. Dažkārt diskusija sanāk visai tehniska, tas būs skaidrs profesionāļiem, bet kopumā Grāmata ir pieejama lasīšanai ikvienam.

Neironu tīkli, ģenētiskie algoritmi un daudz kas cits - tas viss patiesībā nav tik grūti saprotams (lai gan, jāatzīst, dažreiz to ir grūti īstenot), un šodien, iespējams, ikvienam vajadzētu zināt, kas tas ir.

Fotoattēlā rakstā un zemāk - grāmatu lapu piemēri.

Populārs

Ražotāju priekšlikumi, lai atrastu izplatītāju

« Gandrīz katrā veiksmīgā uzņēmumā pienāk periods, kad nepieciešams paplašināt pārdošanas ģeogrāfiju, lai palielinātu patērētāju skaitu... »

Visrentablākais bizness Krievijā Ienesīgākais bizness pasaulē

« Vai esat nolēmis atvērt savu biznesu, bet nezināt, ar kādu biznesa ideju sākt? Kura nodarbošanās vai amats jums ir piemērotas? Ja meklē interesantu biznesu... »

McDonald's vēsture Kurā gadā tika dibināta McDonald's?

« Pēc piecdesmit gadiem dzīve tikai sākas! Šāds apgalvojums šķiet neticams, un tomēr tas ir iespējams. Un vēsture to pierāda... »