O'zini dasturlashtirgan kompyuterlar endi ilmiy fantastika emas. Barcha yirik Internet-kompaniyalar mashinani o'rganish algoritmlaridan foydalanadilar va buning sababi aniq: bu mijozga uni qiziqtiradigan tovarlar va xizmatlarni taklif qilishga yordam beradi. Amaliyotchi olim Pedro Domingos o‘z kitobida universal o‘rganish algoritmini izlash, shuningdek, hozirda mashinani o‘rganish qo‘llanilayotgan sohalar haqida gapiradi.
Mann, Ivanov va Ferber nashriyoti ruxsati bilan Lenta.ru Pedro Domingosning kitobidan parchani nashr etadi. Oliy algoritm. Mashinani o'rganish bizning dunyomizni qanday o'zgartiradi."
Nima uchun Google Yahoo-dan qimmatroq? Ikkala kompaniya ham Internetda reklama ko'rsatish orqali pul ishlashadi, ikkalasi ham ajoyib trafikka ega, ikkalasi ham reklama sotish bo'yicha auktsionlar o'tkazadi va foydalanuvchi uni bosish ehtimolini bashorat qilish uchun mashinani o'rganishdan foydalanadi (ehtimollik qanchalik yuqori bo'lsa, reklama shunchalik qimmatlidir) .
Gap shundaki, Google’ning o‘rganish algoritmlari Yahoo’ga qaraganda ancha rivojlangan. Albatta, bu kapitallashuvdagi farqning yagona jiddiy sababi emas. Har bir bashorat qilingan, ammo tugallanmagan bosish reklama beruvchi uchun yo'qolgan imkoniyat va qidiruv tizimi uchun yo'qolgan foydadir.
Googlening yillik daromadi 50 milliard dollarni tashkil etganini hisobga olsak, prognozni atigi bir foizga yaxshilash potentsial ravishda yiliga yana yarim milliard dollarni anglatishi mumkin. bank hisobi. Google mashinani o'rganishning katta muxlisi ekanligi ajablanarli emas va Yahoo va boshqa raqobatchilar uni ushlab qolish uchun kurashmoqda.
Onlayn reklama kengroq hodisaning faqat bir jihati. Har qanday bozorda ishlab chiqaruvchilar va iste'molchilar bitim tuzishdan oldin bir-birlari bilan uchrashishlari kerak. Internet paydo bo'lishidan oldin ular orasidagi asosiy to'siqlar jismoniy edi: kitobni faqat yaqin atrofdagi kitob do'konida sotib olish mumkin edi va u erdagi javonlar unchalik katta emas edi. Biroq, endi kitoblarni istalgan vaqtda "o'quvchi" ga yuklab olish mumkinligi sababli, muammo juda ko'p variantlarga aylanadi.
Kitob do‘konlari javonlarida millionlab jildlar bo‘lsa, bu yerda qanday qilib qidirish mumkin? Bu boshqa axborot mahsulotlari uchun ham amal qiladi: videolar, musiqa, yangiliklar, tvitlar, bloglar, yaxshi eski veb-saytlar. Bu, shuningdek, masofadan turib olish mumkin bo'lgan mahsulot va xizmatlarga ham tegishli: poyabzal, gullar, gadjetlar, mehmonxona xonalari, ta'lim, investitsiyalar va hattoki ish va hayot sherigini qidirish. Bir-biringizni qanday topish mumkin? Bu axborot asrining hal qiluvchi muammosi va mashinani o'rganish uni hal qilishga yordam beradi.
Kompaniyaning rivojlanish jarayonini uch bosqichga bo'lish mumkin. Avvaliga hamma narsa qo'l bilan amalga oshiriladi: oilaviy do'kon egalari o'z mijozlarini shaxsan bilishadi va shunga mos ravishda mahsulotlarga buyurtma berishadi, namoyish qilishadi va tavsiya qilishadi. Bu yoqimli, lekin kattalashtirishga imkon bermaydi. Ikkinchi va eng yoqimsiz bosqichda kompaniya shu qadar o'sib boradiki, kompyuterlardan foydalanish zarurati tug'iladi. Dasturchilar, maslahatchilar, ma'lumotlar bazasi menejerlari paydo bo'ladi, mumkin bo'lgan hamma narsani avtomatlashtirish uchun millionlab kod satrlari yoziladi.
Kompaniya ko'p xizmat qila boshlaydi ko'proq odamlar, ammo sifat pasayadi: qarorlar qo'pol demografik tasniflar asosida qabul qilinadi va kompyuter dasturlari insoniyatning cheksiz o'zgaruvchanligiga moslashish uchun etarlicha elastik emas. Bir nuqtada dasturchilar va maslahatchilar etarli emas va kompaniya muqarrar ravishda mashinani o'rganishga murojaat qiladi.
Amazon o'z mijozlarining didini chiroyli tarzda kompyuter dasturiga aylantira olmadi va Facebook o'z foydalanuvchilarining har biriga yoqadigan yangilanishlarni tanlash uchun dastur yoza olmadi. Walmart har kuni millionlab mahsulotlarni sotadi. Agar buning dasturchilari savdo tarmog'i millionlab tanlovlarni amalga oshirishi mumkin bo'lgan dastur yaratishga harakat qildi, ular abadiy davom etadi. Buning o'rniga, kompaniyalar o'rganish algoritmlarini ochib beradi, ularni allaqachon to'plangan ma'lumotlar tog'lari bo'yicha o'rgatadi va mijozlar nimani xohlashini taxmin qilishlariga imkon beradi.
Mashinani o'rganish algoritmlari axborot qoldiqlarini yorib o'tadi va xuddi o'yinchilar kabi bir-birlari uchun ishlab chiqaruvchilar va iste'molchilarni topadi. Agar algoritmlar etarlicha aqlli bo'lsa, ular ikkala dunyoning eng yaxshi tomonlarini birlashtiradi: keng tanlov, ulkan korporatsiyaning arzonligi va kichik kompaniyaning shaxsiy aloqasi. O'rganish algoritmlari mukammal emas va qaror qabul qilishning yakuniy bosqichi hali ham insonga bog'liq, ammo ular qaror qabul qilishi uchun tanlovlarni oqilona qisqartiradi.
Bugungi kunda kompyuterlardan Internetga, keyin esa mashinani o'rganishga o'tish muqarrar ekanligi ayon bo'ldi. Kompyuterlar Internetga imkon yaratdi, bu ma'lumotlar to'lqinini va cheksiz tanlov muammosini yaratdi va mashinani o'rganish cheksiz tanlov muammosini hal qilish uchun ma'lumotlar oqimlaridan foydalanadi. Talabni "bir o'lcham hammaga mos keladi" dan uzoq, cheksiz xilma-xil variantlar ro'yxatiga o'tkazish uchun faqatgina Internetning o'zi etarli emas. Netflix-da yuz ming xil DVD disklari bo'lishi mumkin, ammo agar mijoz o'ziga yoqqan narsani qanday topishni bilmasa, u sukut bo'yicha xitlarni tanlaydi. Netflix sizning didingizni taxmin qiladigan va musiqani tavsiya qiladigan o'rganish algoritmiga ega bo'lmaguncha, unchalik mashhur bo'lmagan rassomlarning uzun dumi paydo bo'ldi.
Bir kun kelib muqarrar narsa sodir bo'ladi: o'rganish algoritmlari ajralmas vositachilarga aylanadi va kuch ularda to'planadi. Google algoritmlari asosan siz koʻrayotgan maʼlumotni aniqlaydi, Amazon qaysi mahsulotlarni sotib olishingizni va Match.com kim bilan uchrashishingizni aniqlaydi. Oxirgi bosqich - algoritm tomonidan taklif qilingan variantlardan tanlash - siz hali ham engishingiz kerak, ammo tanlovning 99,9 foizi sizning ishtirokingizsiz amalga oshiriladi. Kompaniyaning muvaffaqiyati yoki muvaffaqiyatsizligi mashinani o'rganish algoritmlari uning mahsulotlarini afzal ko'rishiga bog'liq bo'ladi. Umuman olganda, iqtisodiyotning muvaffaqiyati, ya'ni barcha o'yinchilar kerakli mahsulotlarni oladilar eng yaxshi narx, o'rganish algoritmlari qanchalik yaxshi ekanligiga bog'liq bo'ladi.
Mashinani o'rganish algoritmlari kompaniyangiz mahsulotlariga mos kelishini ta'minlashning eng yaxshi usuli ulardan foydalanishdir. Yaxshiroq algoritm va ko'proq ma'lumotga ega bo'lgan kishi g'alaba qozonadi. Bu erda yangi tarmoq effekti paydo bo'ladi: ko'proq mijozga ega bo'lgan kishi ko'proq ma'lumot to'playdi, modellarni yaxshiroq tayyorlaydi, yangi mijozlarni yutadi va hokazo spiralda (va raqobatchilar nuqtai nazaridan, ayovsiz doirada). Google-dan Bing-ga o'tish Windows-dan Mac OS-ga o'tishdan ko'ra osonroq bo'lishi mumkin, ammo amalda buni qilmaysiz, chunki muvaffaqiyatli boshlash va katta bozor ulushi tufayli Google nima istayotganingizni yaxshiroq biladi, hatto texnologiyaning o'zi Bing bo'lsa ham. yomonroq emas. Qidiruv tizimi bozoriga yangi kelganlarga faqat hamdardlik bildirish mumkin: ma'lumotlarsiz ular o'n yildan ko'proq vaqt davomida o'z algoritmlarini o'rgatayotgan tizimlarga qarshi kurashishga majbur.
Bir nuqtada ma'lumotlar shunchaki takrorlana boshlaydi, deb o'ylashingiz mumkin, lekin ko'rinadigan to'yinganlik nuqtasi yo'q va uzun quyruq cho'zilishda davom etadi. Albatta, siz o'zingiz ko'rishingiz mumkin: Amazon yoki Netflix tavsiyalari hali ham juda qo'pol va Google bergan natijalar ko'p narsani orzu qiladi. Mashinani o'rganishdan foydalanib, siz mahsulotning har bir xususiyatini, veb-saytning har bir burchagini yaxshilashingiz mumkin. Sahifaning pastki qismidagi havolani qizil yoki ko'k rangda qilish yaxshiroqmi? Ikkala variantni ham sinab ko'ring va qaysi biri ko'proq sekin urishini ko'ring. Va o'rganish algoritmlarini umuman o'chirmaslik va saytning barcha elementlarini doimiy ravishda sozlash yaxshiroqdir.
Xuddi shu dinamika ko'plab variantlar va katta hajmdagi ma'lumotlar mavjud bo'lgan har qanday bozorga tegishli. Poyga davom etmoqda, kim tezroq o'rgansa, o'sha g'alaba qozonadi. Bu shunchaki mijozni yaxshiroq tushunish haqida emas: kompaniyalar, agar mavzu bo'yicha ma'lumotlar mavjud bo'lsa va ma'lumotlar manbalari kompyuterlar, aloqa qurilmalari va tobora arzonlashib borayotgan va hamma joyda mavjud bo'lgan sensorlarni o'z ichiga olgan holda, mashina o'rganishni o'z biznesining barcha jabhalarida qo'llashi mumkin. Hozirgi kunda ular "ma'lumotlar" deb takrorlashni yaxshi ko'radilar yangi moy"va neftda bo'lgani kabi, qayta ishlash - katta biznes. IBM, boshqa barcha korporatsiyalar singari, o'zining o'sish strategiyasini kompaniyalarga analitik xizmatlar ko'rsatish asosida qurgan. Biznes ma'lumotlarga strategik resurs sifatida qaraydi: bizda raqobatchilarga nima etishmaydi? Ushbu afzallikdan qanday foydalanish mumkin? Raqobatchilarimiz bizda yo'q qanday ma'lumotlarga ega?
Ma'lumotlar bazasiga ega bo'lmagan bank mavjud bo'lgan bank bilan raqobatlasha olmagani kabi, mashinani o'rganishdan foydalanmaydigan kompaniya ham mavjud bo'lganlar bilan raqobatlasha olmaydi. Birinchi kompaniya mijozlar istaklarini bashorat qilish uchun minglab qoidalarni yozsa, ikkinchi kompaniyaning algoritmlari har bir mijoz uchun milliardlab qoidalarni topadi. Bunday raqobat pulemyotlarga nayza bilan hujum qilishni eslatadi. Albatta, mashinani o'rganish ajoyib yangi texnologiya, lekin biznes uchun bu hatto nuqta emas: undan foydalanish kerak bo'ladi, chunki boshqa tanlov yo'q.
Pedro Domingos
Asosiy algoritm
Yakuniy o'quv mashinasiga bo'lgan izlanish bizning dunyomizni qanday o'zgartiradi
Ilmiy muharrirlar Aleksandr Sboev, Aleksey Serenko
Pedro Domingos ruxsati bilan nashr etilgan c/o Levine Greenberg Rostan Literary Agency and Synopsis Literary Agency
Nashriyotga huquqiy yordam ko'rsatiladi yuridik firma"Vegas-Lex".
© Pedro Domingos, 2015
© Rus tiliga tarjima, rus tilida nashr, dizayn. Mann, Ivanov va Ferber MChJ, 2016 yil
Ushbu kitob yaxshi to'ldirilgan:
Nik Bostrom
Aleks Bellos
Avinash Dixit va Barri Nalebuff
Men ushbu kitobni yozayotganimda saraton kasalligiga qarshi kurashda mag'lub bo'lgan singlim Ritaning mehr bilan xotirasiga
Ilm-fanning eng katta vazifasi - iloji boricha kamroq gipoteza va aksiomalardan boshlab, mantiqiy deduksiya orqali imkon qadar ko'proq eksperimental faktlarni tushuntirishdir.
Albert Eynshteyn
Sivilizatsiya taraqqiyoti biz o'ylamasdan amalga oshiradigan muhim harakatlar sonining ko'payishidadir.
Alfred Shimoliy Uaytxed
Mashinani o'rganish sizning atrofingizda, garchi siz bundan bexabar bo'lsangiz ham. Mashinani o'rganish tufayli qidiruv tizimi sizning so'rovingizga javoban qanday natijalarni (va reklamalarni) ko'rsatishni tushunadi. Pochtangizni tekshirganingizda, eng spam sizdan o'tib ketadi, chunki u mashinani o'rganish yordamida filtrlangan. Amazon.com saytida biror narsa sotib olishga qaror qilasizmi yoki film tomosha qilish uchun Netflix-ga borasizmi, mashinani o'rganish tizimi sizning didingizga mos keladigan variantlarni taklif qiladi. Mashinani o'rganishdan foydalangan holda, Facebook sizga qanday yangiliklarni ko'rsatishni hal qiladi va Twitter tegishli tvitlarni tanlaydi. Qachonki siz kompyuterdan foydalansangiz, biron bir joyda mashinani o'rganish imkoniyati mavjud.
Kompyuterni biror narsa qilishga majburlashning yagona yo'li - ikkita raqam qo'shishdan tortib samolyotda uchishgacha - mashinaga undan nima talab qilinishini sinchkovlik bilan tushuntirib beradigan qandaydir algoritm yozish edi. Biroq, mashinani o'rganish algoritmlari butunlay boshqacha masala: ular hamma narsani o'zlari taxmin qiladilar, ma'lumotlarga asoslangan xulosalar chiqaradilar va qancha ko'p ma'lumotlar bo'lsa, ular shunchalik yaxshi ishlaydi. Bu shuni anglatadiki, kompyuterlarni dasturlash kerak emas: ular o'zlarini dasturlashadi.
Bu nafaqat kiberkosmosga tegishli: mashinani o'rganish bizning butun hayotimizga, uyg'onganimizdan to uxlashimizgacha kiradi.
Ertalab yetti. Budilnik radioni yoqadi. Notanish, lekin juda yoqimli musiqa yangramoqda: Pandora xizmati tufayli radio sizning didingiz bilan tanishdi va “shaxsiy DJ” ga aylandi. Qo'shiqning o'zi ham mashina o'rganish yordamida yaratilgan bo'lishi mumkin. Nonushta qilayotganda siz ertalabki gazetani varaqlaysiz. Bir necha soat oldin, u tipografik nuqsonlarni bartaraf etish uchun o'rganish algoritmi bilan ehtiyotkorlik bilan sozlangan bosmaxonadan chiqdi. Xona harorati juda qulay va Nest smart termostatini oʻrnatganingiz uchun elektr toʻlovlaringiz qimmat boʻlmaydi.
Ishga ketayotib, avtomobil gaz xarajatlarini minimallashtirish uchun doimiy ravishda yonilg'i quyish va chiqindi gazning qayta aylanishini sozlaydi. Eng yuqori soatlarda, Inrix, yo'l harakati prognozlash tizimi asablarni hisobga olmaganda, vaqtni tejaydi. Ishda, mashinani o'rganish sizga ma'lumotlarning haddan tashqari yuklanishiga qarshi kurashishga yordam beradi: siz katta hajmdagi ma'lumotlarni umumlashtirish, unga turli burchaklardan qarash va muhim narsalarni chuqurlashtirish uchun ma'lumotlar kubidan foydalanasiz. Agar siz qaysi veb-sayt tartibini hal qilishingiz kerak bo'lsa - A yoki IN- ko'proq istiqbolli mijozlarni jalb qiladi, o'qitilgan tizim ikkala variantni ham sinab ko'radi va sizga hisobot beradi. Siz potentsial yetkazib beruvchining veb-saytiga qarashingiz kerak va u yoqilgan chet tili? Muammo yo'q: Google uni avtomatik ravishda siz uchun tarjima qiladi. Elektron pochta papkalarga qulay tarzda tartiblangan va faqat eng muhimlari Kirish qutisida qoladi. So'z protsessori siz uchun grammatika va imloni tekshiradi. Siz bo'lajak ish safaringiz uchun parvozni topdingiz, lekin siz hali chipta xarid qilmayapsiz, chunki Bing Travel narxlar tez orada tushishini bashorat qilmoqda. Tushunmay turib, har soatda ko'p ish qilyapsiz. ko'proq ish mashina o'rganish yordamisiz ular mumkin bo'lgandan ko'ra.
Bo'sh vaqtingizda siz investitsiya fondi xoldinglari qanday ishlashini tekshirasiz. Ushbu mablag'larning aksariyati istiqbolli aktsiyalarni tanlash uchun o'rganish algoritmlaridan foydalanadi va ulardan biri to'liq mashinani o'rganishga asoslangan tizim tomonidan boshqariladi. Tushlik paytida siz tashqariga chiqib, qayerda ovqatlanishni o'ylaysiz. Smartfoningizdagi Yelp o‘quv tizimi sizga yordam beradi. Mobil telefonlar umuman olganda, ular matn terish xatolarini tinimsiz tuzatuvchi, ovozli buyruqlarni taniy oladigan, ma'lumotlarni uzatishdagi xatolarni tuzatuvchi, shtrix-kodlarni o'qiydigan va boshqa ko'plab foydali ishlarni bajaradigan o'rganish algoritmlari bilan to'ldirilgan. Smartfon hatto keyingi harakatingizni taxmin qilishni va berishni ham o'rgandi foydali maslahatlar. Misol uchun, u sizning mehmoningiz kelishi kerak bo'lgan samolyot kechiktirilganligi sababli uchrashuv keyinroq boshlanishini aytadi.
Kechqurun ishni tugatsangiz, mashinani o‘rganish sizga avtoturargohga voqeasiz yetib borishga yordam beradi: algoritmlar kuzatuv kamerasidagi videoni kuzatib boradi va shubhali narsani sezganda xavfsizlikni masofadan ogohlantiradi. Aytaylik, siz uyga ketayotganda supermarketda to'xtadingiz. Raflardagi mahsulotlar o'rganish algoritmlari bo'yicha ko'rsatmalarga muvofiq joylashtirilgan: ular qaysi mahsulotlarga buyurtma berish yaxshiroq ekanligini, qator oxiriga nima qo'yishni va salsa qayerga tegishli ekanligini - sous bo'limida yoki yonida. tortilla chiplari. Kassada siz kredit karta bilan to'laysiz. Bir vaqtlar o'qitilgan algoritm uni bajarish uchun taklif yuborishingiz kerak deb qaror qildi va keyin arizangizni tasdiqladi. Yana bir algoritm doimiy ravishda shubhali operatsiyalarni qidiradi va agar u karta raqami o'g'irlangan deb hisoblasa, sizni albatta ogohlantiradi. Uchinchi algoritm sizni qanchalik qoniqtirayotganingizni tushunishga harakat qiladi. Agar siz yaxshi mijoz, lekin norozi ko'ring, ular sizga raqobatchilarga ketishingizdan oldin ham "shirin" taklif yuborishadi.
Uyga qaytib, siz pochta qutisiga borasiz va do'stingizdan xat topasiz. U qo'lda yozilgan manzillarni o'qishni o'rgangan algoritm tufayli yetkazildi. Xatga qo'shimcha ravishda, qutida oddiy chiqindi qog'oz mavjud bo'lib, u siz uchun algoritmlar bo'yicha trening bilan tanlangan (hech narsa qilish mumkin emas). Kechqurun toza havoni yutish uchun bir zum to'xtaysiz. Politsiya jinoyat ehtimolini bashorat qilish va patrul xodimlarini muammoli hududlarga yuborish uchun statistik o'rganishdan foydalanishni boshlaganidan beri shaharda jinoyatchilik keskin kamaydi. Siz oilangiz bilan kechki ovqatlanasiz va televizor ko'rasiz. Shahar hokimi yangiliklarda ko'rsatilgan. Siz unga ovoz berdingiz, chunki u sizga saylov kuni shaxsan qo'ng'iroq qildi. O'rganish algoritmi sizni unga ko'rsatdi va sizni asosiy qarorsiz saylovchi sifatida ko'rdi. Kechki ovqatdan keyin siz futbol tomosha qilishingiz mumkin. Ikkala jamoa ham statistik o'rganishdan foydalangan holda o'yinchilarni tanladilar. Yoki bolalaringiz bilan Xbox o'ynash yaxshiroqmi? Bunday holda, Kinect-dagi o'rganish algoritmi tanangizning holati va harakatlarini kuzatib boradi. Yotishdan oldin siz o'rganish algoritmlari yordamida ishlab chiqilgan va sinovdan o'tgan dorini qabul qilasiz. Ehtimol, hatto shifokoringiz tashxis qo'yish uchun rentgen nurlarini talqin qilishdan tortib, g'ayrioddiy alomatlar to'plamiga asoslanib xulosa chiqarishgacha mashinani o'rganishdan foydalangan bo'lishi mumkin.
Kitob haqida
Ushbu sohadagi yetakchi tadqiqotchilardan biri Pedro Domingos pardani ko‘tarib, birinchi marta...
Ko'proq o'qishKitob haqida
Amaliyotchi olimdan universal o'z-o'zini o'rganish algoritmini izlash haqida mashhur va qiziqarli kitob.
Algoritmlar bizning hayotimizni boshqaradi. Ular biz uchun kitoblar, filmlar, ish va sheriklar topadilar, sarmoyalarimizni boshqaradilar va yangi dori-darmonlarni ishlab chiqaradilar. Ushbu algoritmlar bugungi raqamli dunyoda biz qoldirgan ma'lumotlarga tobora ko'proq o'rgatilmoqda. Qiziquvchan bolalar kabi, ular bizni kuzatadilar, taqlid qiladilar va tajriba o'tkazadilar. Va etakchi laboratoriyalar va universitetlar ma'lumotlardan har qanday bilimni ajratib olish va har qanday muammolarni hal qilish uchun mo'ljallangan o'z-o'zini o'rganish algoritmini yaratish ustida ishlamoqda - hatto biz ularni shakllantirishdan oldin.
Mashinani o'rganish aqlli robotlar va kompyuterlarga o'zlarini dasturlash imkonini beradi. Bu eng muhimlaridan biridir zamonaviy texnologiyalar- va u eng sirli biri.
Pedro Domingos, bu sohadagi yetakchi tadqiqotchilardan biri, birinchi marta ushbu bilim sohasining qopqog'ini ko'tarib, o'quvchilarni mashinani o'rganishning 5 ta asosiy maktablari bilan tanishtiradi va ular nevrologiya, evolyutsion biologiya, fizika va statistika g'oyalaridan qanday foydalanishini ko'rsatadi. algoritmlarni yaratish , bizga yordam berish.
Yo'l davomida u universal o'z-o'zini o'rganish algoritmi g'oyasi va u sizni, biznesni, fanni va butun jamiyatni qanday o'zgartirishi haqida gapiradi.
Muallifdan
Asosiy algoritm ma'lumotlardan barcha bilimlarni - o'tmish, hozirgi va kelajak haqidagi bilimlarni olish imkoniyatiga ega bo'ladi. Ushbu algoritmning ixtirosi fan tarixidagi eng katta yutuqlardan biri bo'ladi. Bu tom ma'noda hamma narsada taraqqiyotni tezlashtiradi, dunyoni bugun biz tasavvur qila olmaydigan darajada o'zgartiradi. Mashinani o'rganishning asosiy algoritmi zarrachalar fizikasidagi standart model va molekulyar biologiyaning markaziy dogmasiga o'xshaydi: bugungi kunda biz bilgan hamma narsani tushuntirib beradigan va o'nlab yoki asrlik kelajak taraqqiyotiga poydevor qo'yadigan yagona nazariya. Oliy algoritm insoniyat oldida turgan eng qiyin muammolarni hal qilishning kalitidir: uy robotlarini yaratishdan tortib saraton kasalligini davolashgacha.
Bu kitob kim uchun?
Mashinani o'rganish va sun'iy intellektga qiziquvchilar uchun.
Ilm-fanning eng yuqori cho'qqisida nima sodir bo'layotganini bilmoqchi bo'lgan har bir kishi uchun.
Muallif haqida
Pedro Domingos Vashington universiteti professori va mashinalarni o'rganish va sun'iy intellekt bo'yicha yetakchi mutaxassis. Bir kitob va ko‘plab ilmiy maqolalar muallifi. Domingos bir qancha professional mukofotlar sovrindori.
Xebb qoidasi kashf etilganidan beri aloqadorlikning asosi bo'lib kelgan. Ushbu ilmiy yo'nalish o'z nomini bilim neyronlar o'rtasidagi aloqalarda saqlanadi degan fikrga bog'liq. Kanadalik psixolog Donald Xebb o'zining 1949 yilda chop etilgan "Xulq-atvor tashkiloti" kitobida buni shunday ta'riflagan: "Agar hujayra aksoni bo'lsa. A qafasga juda yaqin joylashgan B va uni stimulyatsiya qilishda qayta-qayta yoki doimiy ravishda ishtirok etadi, keyin bir yoki ikkala hujayrada o'sish jarayonlari yoki metabolik o'zgarishlar sodir bo'ladi, bu hujayra tomonidan stimulyatsiya samaradorligini oshiradi. A hujayralar B" Ushbu bayonot ko'pincha "birga yonayotgan neyronlar bir-biriga bog'langan" deb tarjima qilinadi.
Hebb qoidasi psixologiya, nevrologiya va ko'plab mish-mishlarni birlashtiradi. Assotsiativ ta'lim Lokk, Xyum va Jon Styuart Milllardan beri ingliz empiristlarining sevimli mavzusi bo'lib kelgan. Uilyam Jeyms "Psixologiya tamoyillari" da ishlab chiqdi umumiy tamoyil assotsiatsiya, bu Hebb qoidasiga juda o'xshash, ammo neyronlar o'rniga u miyadagi jarayonlarni o'z ichiga oladi va stimulyatsiya samaradorligi o'rniga qo'zg'alishning tarqalishini o'z ichiga oladi. Taxminan bir vaqtning o'zida buyuk ispan nevrologi Santyago Ramon y Kaxal miyaning birinchi batafsil tadqiqini o'tkazdi, neyronlarni yangi ixtiro qilingan Golji usuli bilan bo'yadi va botaniklarning daraxtlarning yangi turlarini qanday tasniflashi haqidagi kuzatishlarini kataloglashtirdi. Xebb davriga kelib, nevrologlar neyronlar qanday ishlashi haqida umumiy tushunchaga ega edilar, ammo u birinchi bo'lib neyronlar assotsiatsiyalarni kodlash mexanizmini taklif qildi.
Simvolistik ta’limda belgilar va ular ifodalovchi tushunchalar o‘rtasida yakkama-yakka muvofiqlik mavjud. Konneksionistik tasvirlar taqsimlanadi: har bir kontseptsiya ko'plab neyronlar bilan ifodalanadi va har bir neyron ko'plab tushunchalarni ifodalashda ishtirok etadi. Bir-birini qo'zg'atuvchi neyronlar, Hebbian terminologiyasida "hujayralar yig'indisi" ni hosil qiladi. Bunday yig'ilishlar orqali tushunchalar va xotiralar miyada ifodalanadi. Har bir ansambl miyaning turli sohalaridagi neyronlarni o'z ichiga olishi mumkin va ansambllar kesishishi mumkin. Shunday qilib, "oyoq" tushunchasi uchun uyali ansambl "oyoq" tushunchasi uchun ansamblni o'z ichiga oladi, bu esa, o'z navbatida, oyoq tasviri va "oyoq" so'zining tovushi uchun ansambllarni o'z ichiga oladi. Agar siz "Nyu-York" kontseptsiyasi qayerda joylashganligini ramziy tizimdan so'rasangiz, u xotirada uni saqlash joyini aniq ko'rsatadi. Birlashtiruvchi tizimda javob "hamma narsadan bir oz" bo'ladi.
Simvolistik va aloqador o'rganish o'rtasidagi yana bir farq shundaki, birinchisi ketma-ket, ikkinchisi esa parallel. Teskari chegirma bo'lsa, biz binolardan kerakli xulosaga kelish uchun qanday qoidani joriy qilish kerakligini bosqichma-bosqich aniqlaymiz. Birlashtiruvchi modelda barcha neyronlar Hebb qoidasiga ko'ra bir vaqtning o'zida o'rganadilar. Bu kompyuterlar va miyalar o'rtasidagi farqlarni aks ettiradi. Kompyuterlar hatto ikkita raqam qo'shish yoki kalitni aylantirish kabi oddiy operatsiyalarni ham kichik bosqichlarda bajaradi, shuning uchun ular ko'p qadamlarni talab qiladi. Qadamlar juda tez bo'lishi mumkin, chunki tranzistorlar soniyada milliardlab marta yoqilishi va o'chirilishi mumkin. Miya qila oladi katta raqam milliardlab neyronlarning bir vaqtning o'zida ishlashi tufayli parallel hisoblash. Bunday holda, neyronlar eng yaxshi soniyada ming marta rag'batlantirilishi mumkin va bu hisob-kitoblarning har biri sekin.
Kompyuterdagi tranzistorlar soni inson miyasidagi neyronlar soniga yaqinlashadi, lekin miya, albatta, ulanishlar sonida g'alaba qozonadi. Mikroprotsessordagi odatiy tranzistor to'g'ridan-to'g'ri boshqalarga ulanadi va qo'llaniladigan planar yarimo'tkazgich texnologiyasi kompyuterning ishlashini yaxshilash potentsialini sezilarli darajada cheklaydi. Neyronda esa minglab sinapslar mavjud. Agar siz ko'chada ketayotgan bo'lsangiz va tanishingizni ko'rsangiz, uni tanib olishingiz uchun soniyaning o'ndan bir qismi kerak bo'ladi. Neyronlarning almashinish tezligini hisobga oladigan bo'lsak, bu vaqt ma'lumotlarni qayta ishlashning yuzlab bosqichlari uchun zo'rg'a etarli bo'ladi, ammo bu yuzlab qadamlar davomida miya butun xotirani skanerlashi, undagi eng mosini topishi va topganini moslashtirishi mumkin. yangi kontekst (turli xil kiyimlar, turli yorug'lik va boshqalar). Har bir ishlov berish bosqichi juda murakkab va katta hajmdagi ma'lumotlarni o'z ichiga olishi mumkin.
Bu miyani simulyatsiya qilish uchun kompyuterdan foydalana olmasligingizni anglatmaydi: axir, ulanish algoritmlari shunday qiladi. Chunki kompyuter universal mashina Tyuring, agar u etarli xotira va vaqtga ega bo'lsa, u boshqalar kabi miya hisob-kitoblarini amalga oshirishi mumkin. Xususan, ulanishning etishmasligi tezlik bilan qoplanishi mumkin: mingta ulanishni simulyatsiya qilish uchun bir xil ulanishdan ming marta foydalanish. Aslida bugun asosiy kamchilik Kompyuterlar haqida gap shundaki, ular miyadan farqli o'laroq energiya iste'mol qiladilar: sizning miyangiz kichik lampochka kabi quvvat sarflaydi, yuqorida biz aytib o'tgan Watson kompyuterini quvvatlaydigan elektr esa butun bir biznes markazini yoritishi mumkin.
Shunga qaramay, miyaning ishlashiga taqlid qilish uchun Xeb qoidasining o'zi etarli emas: avval siz miyaning tuzilishini tushunishingiz kerak. Har bir neyron dendritlarning ulkan ildiz tizimiga va ingichka to'lqinsimon tanasiga - aksonga ega bo'lgan mayda daraxtga o'xshaydi. Umuman olganda, miya xuddi shunday milliardlab daraxtlardan iborat o'rmonga o'xshaydi, lekin bu o'rmon g'ayrioddiy: daraxtlarning shoxlari minglab boshqa daraxtlarning ildizlari bilan bog'langan (bunday bog'lanishlar sinaps deb ataladi), ulkan, misli ko'rilmagan murakkablikni hosil qiladi. . Ba'zi neyronlar qisqa aksonlarga ega, boshqalari esa miyaning bir chetidan ikkinchi uchigacha cho'zilgan juda uzun aksonlarga ega. Agar siz miya aksonlarini bir-birining orqasiga qo'ysangiz, ular Yerdan Oygacha bo'lgan masofani bosib o'tadi.
Bu o'rmon elektr toki bilan chirsillaydi. Uchqunlar magistrallar bo'ylab oqadi va qo'shni daraxtlarda yanada ko'proq uchqun hosil qiladi. Vaqti-vaqti bilan o'rmon g'azab bilan yonadi, keyin yana tinchlanadi. Biror kishi oyoq barmog'ini qimirlatganda, bir qator elektr razryadlari - harakat potentsiali deb ataladi - oyoq barmoqlarining mushaklariga etib borguncha orqa miya bo'ylab harakatlanadi va harakat qilishni buyuradi. Miyaning ishi bunday elektr razryadlarining simfoniyasiga o'xshaydi. Agar siz ushbu sahifani o'qiyotganingizda nima sodir bo'layotganiga ichki nazar bilan qarash imkoni bo'lganida, bu sahna ilmiy fantastika romanlarining eng gavjum metropoliyalarini mitti bo'lardi. Neyron uchqunlarining bu nihoyatda murakkab namunasi oxir-oqibatda inson ongini keltirib chiqaradi.
Hebb davrida ular sinaptik jarayonlarning molekulyar biologiyasini tushunish u yoqda tursin, sinaptik kuch va uning o‘zgarishlarini qanday o‘lchashni hali ham bilmas edilar. Bugungi kunda biz bilamizki, sinapslar presinaptik neyronlardan keyin postsinaptik neyronlar qo'zg'alganda paydo bo'ladi va rivojlanadi. Boshqa barcha hujayralarda bo'lgani kabi, neyron ichida va tashqarisida ionlarning konsentratsiyasi har xil bo'ladi va shu sababli hujayra membranasida elektr tarangligi mavjud. Presinaptik neyron qo'zg'alganda, neyrotransmitter molekulalarini o'z ichiga olgan mayda pufakchalar sinaptik yoriqga chiqariladi. Ular postsinaptik neyronning membranasidagi kanallarni ochishga majbur qiladi, ulardan kaliy va natriy ionlari chiqib, membranadagi kuchlanishni o'zgartiradi. Agar bir vaqtning o'zida etarli miqdordagi yaqin joylashgan presinaptik neyronlar qo'zg'atilgan bo'lsa, kuchlanish oshadi va postsinaptik neyron aksoni bo'ylab harakat potentsiali harakat qiladi. Shu sababli, ion kanallari ko'proq qabul qilinadi va yangi sinapsni kuchaytiruvchi kanallar paydo bo'ladi. Bizga ma'lumki, neyronlar shunday o'rganadilar.
Keyingi qadam bularning barchasini algoritmga aylantirishdir.
Perseptronning yuksalishi va tushishi
Neyronning birinchi rasmiy modeli 1943 yilda Uorren Makkallok va Uolter Pits tomonidan taklif qilingan. Bu kompyuterlarni tashkil etuvchi mantiqiy eshiklarga o'xshardi. YOKI shlyuzi uning kirishlaridan kamida bittasi yoqilgan boʻlsa, AND shlyuzi esa hammasi yoqilgan boʻlsa yoqiladi. McCulloch-Pitts neyroni faol kirishlar soni ma'lum chegaradan oshib ketganda yoqiladi. Agar chegara bitta bo'lsa, neyron OR darvozasi vazifasini bajaradi. Agar chegara kirishlar soniga teng bo'lsa - AND darvozasi kabi. Bundan tashqari, bitta McCulloch-Pitts neyroni boshqasini yoqishiga to'sqinlik qilishi mumkin: bu ikkala inhibitiv sinapsni ham, EMAS darvozasini ham modellashtiradi. Shunday qilib, neyron tarmoqlar kompyuter bajaradigan barcha operatsiyalarni bajarishi mumkin. Dastlab, kompyuter ko'pincha elektron miya deb ataldi va bu shunchaki o'xshashlik emas edi.
Biroq, McCulloch-Pitts neyroni o'rgana olmaydi. Buning uchun neyronlar orasidagi bog'lanishlarga o'zgaruvchan og'irlik berilishi kerak va natijada perseptron deb ataladi. Perseptronlar 1950-yillarning oxirida Kornel universiteti psixologi Frenk Rozenblatt tomonidan ixtiro qilingan. Xarizmatik ma'ruzachi va juda jonli inson, Rozenblatt mashinani o'rganishning paydo bo'lishi uchun boshqalardan ko'ra ko'proq harakat qildi. Perseptronlar o'z nomlarini nutq va xarakterni tanib olish kabi pertseptiv muammolarga o'z modellarini qo'llashga bo'lgan qiziqishi tufayli oldilar. O'sha kunlarda juda sekin bo'lgan kompyuter dasturlariga perseptronlarni qo'llash o'rniga, Rosenblatt o'z qurilmalarini yaratdi: og'irliklar o'zgaruvchan rezistorlar bilan ifodalangan, masalan, dimlangan kalitlarda va rezistorni aylantirgan elektr motorlari tugmalar. (Bunday yuqori texnologiya sizga qanday yoqadi?)
Perseptronda musbat og'irlik qo'zg'atuvchi bog'lanishni, manfiy og'irlik esa inhibitiv bog'lanishni ifodalaydi. Agar perseptron kiritishlarining vaznli yig'indisi chegaradan yuqori bo'lsa, u bittani, pastroq bo'lsa, nolni chiqaradi. Og'irlik va chegaralarni o'zgartirish orqali siz perseptron hisoblaydigan funktsiyani o'zgartirishingiz mumkin. Albatta, neyronlar qanday ishlashining ko'plab tafsilotlari e'tiborga olinmaydi, lekin biz hamma narsani iloji boricha soddalashtirmoqchimiz va bizning maqsadimiz miyaning real modelini yaratish emas, balki keng qo'llash uchun o'rganish algoritmini ishlab chiqishdir. Agar e'tiborga olinmagan tafsilotlar muhim bo'lib chiqsa, ularni har doim qo'shish mumkin. Barcha soddalashtirilgan va mavhumlikka qaramay, siz ushbu modelning har bir elementi neyron elementiga mos kelishini sezishingiz mumkin:
Kirishning og'irligi qanchalik katta bo'lsa, mos keladigan sinaps shunchalik kuchli bo'ladi. Hujayra tanasi barcha vaznli kirishlarni qo'shadi va akson natijaga qadam funktsiyasini qo'llaydi. Axon qutisidagi rasmda qadam funktsiyasining grafigi ko'rsatilgan: past kirish qiymatlari uchun nol kirish chegara qiymatiga yetganda to'satdan bittaga aylanadi.
Tasavvur qiling-a, perseptron ikkita doimiy kirishga ega x Va y(bu shuni anglatadiki x Va y faqat 0 va 1 ni emas, har qanday raqamli qiymatni qabul qilishi mumkin). Bunday holda, har bir misol tekislikdagi nuqta sifatida ifodalanishi mumkin va musbat (uning uchun perseptron 1 chiqadi) va salbiy (chiqish 0) misollar orasidagi chegara to'g'ri chiziq bo'ladi:
Gap shundaki, chegara deganda tortilgan yig‘indi chegara qiymatiga to‘liq mos keladigan nuqtalar qatori tushuniladi va tortilgan yig‘indi chiziqli funksiya hisoblanadi. Misol uchun, agar og'irlik bo'lsa x- 2, vazn y- 3 va chegara 6 ga teng, chegara 2 tenglama bilan beriladi x+ 3 = 6. Nuqta x = 0, y= 2 chegarada yotadi va unda qolish uchun biz har ikki qadam pastga uch qadam oldinga siljishimiz kerak: keyin o'sish. x kamayishini qoplaydi y. Olingan nuqtalar to'g'ri chiziq hosil qiladi.
Perseptron og'irliklarini topish to'g'ri chiziq yo'nalishini barcha ijobiy misollar bir tomonda, barcha salbiy misollar boshqa tomonda bo'lguncha o'zgartirishni o'z ichiga oladi. Bir o'lchovda chegara nuqta, ikki o'lchovda - to'g'ri chiziq, uch o'lchovda - tekislik, agar uch o'lchovdan ko'p bo'lsa, u gipertekislikdir. Giperkosmosda biror narsani tasavvur qilish qiyin, lekin matematika xuddi shunday ishlaydi: ichida n o'lchovlarga ega bo'lamiz n kirishlar va perseptron mavjud n tarozilar Perseptron yonadimi yoki yo'qmi, qaror qabul qilish uchun har bir og'irlikni mos keladigan kirish signalining qiymatiga ko'paytirish va ularning umumiy qiymatini chegara qiymati bilan solishtirish kerak.
Agar barcha kirishlarning og'irligi bittaga teng bo'lsa va chegara kirishlar sonining yarmiga teng bo'lsa, kirishlarning yarmidan ko'pi yonib ketsa, perseptron yonadi. Boshqacha qilib aytganda, perseptron ko'pchilik g'alaba qozonadigan kichik parlamentga o'xshaydi (garchi u minglab a'zolarga ega bo'lishi mumkinligini hisobga olsak, unchalik kichik bo'lmasa ham). Biroq, shu bilan birga, parlament to'liq demokratik emas, chunki umuman olganda hamma ham teng ovoz berish huquqiga ega emas. Neyron tarmoq bu borada ko'proq Facebookga o'xshaydi, chunki bir nechta yaqin do'stlar minglab do'stlarga arziydi - ular siz eng ko'p ishonadigan va sizga eng ko'p ta'sir qiladigan odamlardir. Agar do'stingiz sizga film tavsiya qilsa, siz uni ko'rasiz va uni yoqtirasiz, ehtimol keyingi safar uning maslahatiga yana amal qilasiz. Boshqa tomondan, agar sizning do'stingiz siz yoqtirmaydigan filmlar haqida doimo maqtovga sazovor bo'lsa, siz uning fikriga e'tibor bermaysiz (va ehtimol do'stlik sovib ketishi mumkin).
Rosenblatt perseptron algoritmi kirishlarning og'irligini shunday o'rganadi.
Keling, kognitiv nevrologlarning sevimli fikrlash tajribasi bo'lgan "buvi hujayrasi" ni ko'rib chiqaylik. "Buvim hujayrasi" - bu miyangizdagi neyron bo'lib, u faqat buvingizni ko'rganingizda yonadi. Bunday hujayra haqiqatan ham mavjudmi yoki yo'qmi - ochiq savol, ammo keling, mashinani o'rganish uchun maxsus ixtiro qilaylik. Perseptron buvini tanib olishni quyidagi tarzda o'rganadi. Ushbu katakka kirish signallari xom piksellar yoki turli qattiq kodlangan tasvir xususiyatlari, masalan. jigarrang ko'zlar: Agar rasmda jigarrang ko'zlar bo'lsa, kirish 1 bo'ladi, agar bo'lmasa 0 bo'ladi. Dastlab, xususiyatlardan neyronlarga olib boradigan barcha ulanishlarning og'irligi yangi tug'ilgan chaqaloqning miyasidagi sinapslar kabi kichik va tasodifiydir. Keyin biz perseptronga bir qator rasmlarni ko'rsatamiz, ularning ba'zilari buvingizga tegishli, ba'zilari esa yo'q. Agar perseptron buvisini ko'rganda o't ochsa yoki boshqa birovni ko'rganda o't ochmasa, unda hech qanday trening kerak emas (ishlayotganini tuzatmang). Ammo agar perseptron buviga qaraganida yonmasa, bu uning kirish qiymatlarining vaznli yig'indisi yuqori bo'lishi va faol kirishlarning og'irligini oshirish kerakligini anglatadi (masalan, agar buvisi jigarrang ko'zli bo'lsa, bu xususiyatning og'irligi ortadi). Aksincha, agar perseptron kerak bo'lmaganda yonsa, faol kirishlarning og'irligi kamayishi kerak. Xatolar o'rganishning dvigatelidir. Vaqt o'tishi bilan, buvisini ko'rsatadigan xususiyatlar katta vaznga ega bo'ladi va bo'lmaganlar kichik vaznga ega bo'ladi. Perseptron sizning buvingizni ko'rganda doimo yonib ketgandan so'ng va noto'g'ri pozitivlar yo'qolsa, mashg'ulot tugallanadi.
Perseptron ilmiy jamoatchilikda hayajonga sabab bo'ldi. U sodda edi, lekin u bosma harflar va nutq tovushlarini taniy olardi: buning uchun faqat namuna bo'yicha mashq qilish kerak edi. Rozenblatning Kornel universitetidagi hamkasbi isbotladiki, agar ijobiy va salbiy misollarni giperplan bilan ajratish mumkin bo‘lsa, perseptron bu tekislikni topadi. Rosenblatt va boshqa olimlar uchun miya o'rganadigan printsiplarni va u bilan kuchli ko'p maqsadli o'rganish algoritmini haqiqiy tushunish mumkin bo'lib tuyuldi.
Ammo keyin perseptron devorga urildi. Bilim muhandislari Rosenblattning bayonotlaridan g'azablanishdi: ular umuman neyron tarmoqlar va ayniqsa perseptronlar jalb qilayotgan e'tibor va mablag'larga hasad qilishdi. Shunday tanqidchilardan biri Rozenblatning sobiq fan sinfdoshi Marvin Minski edi. o'rta maktab Bronksda, u o'sha paytda Massachusets texnologiya institutida sun'iy intellekt guruhini boshqargan. (Qizig‘i shundaki, uning dissertatsiyasi neyron tarmoqlar haqida edi, lekin keyin u ulardan hafsalasi pir bo‘ldi.) 1969 yilda Minski va uning hamkasbi Seymur Papert “Perceptrons: an Introduction to Computational Geometry” nomli kitobni nashr etishdi, unda ular birin-ketin, oddiy, batafsil tasvirlab berishdi. bir xil nomga ega bo'lgan narsalarni algoritm o'rganishga qodir emas. Eng oddiy va shuning uchun eng dahshatli misol eksklyuziv OR funksiyasi (qisqacha XOR) bo'lib, u bitta kirish emas, balki ikkalasi ham to'g'ri bo'lsa, to'g'ri bo'ladi. Misol uchun, Nike xaridorlarining ikkita eng sodiq guruhi o'smir o'g'il bolalar va o'rta yoshli ayollardir. Boshqacha qilib aytganda, agar siz yosh XOR ayol bo'lsangiz, Nike krossovkalarini sotib olish ehtimoli ko'proq. Yoshlik mos keladi, ayol jinsi ham, lekin ikkala omil ham emas. Agar siz yosh va ayol bo'lmasangiz, siz Nike reklamasi uchun istiqbolli maqsad ham emassiz. XOR bilan bog'liq muammo shundaki, ijobiy misollarni salbiylardan ajrata oladigan to'g'ri chiziq yo'q. Rasmda ikkita nomaqbul nomzod ko'rsatilgan:
Perseptronlar faqat chiziqli chegaralarni topishlari mumkinligi sababli, XOR ular uchun mavjud emas va agar ular bunga qodir bo'lmasa, perseptron emas. eng yaxshi model miya qanday o'rganishi va Oliy algoritmlar uchun mos bo'lmagan nomzod.
Perseptron faqat bitta neyronni o'rganishni modellashtiradi. Minsky va Papert bir-biriga bog'langan neyronlarning qatlamlari ko'proq qobiliyatga ega bo'lishi kerakligini tan oldilar, ammo ular bunday qatlamlarni qanday o'rgatish kerakligini tushunishmadi. Boshqa olimlar ham buni bilishmagan. Muammo shundaki, chiqish qatlamidagi neyronlarning xatolarini kamaytirish uchun "yashirin" qatlamlardagi neyronlarning og'irliklarini o'zgartirishning aniq usuli yo'q. Har bir yashirin neyron o'z chiqishiga turli yo'llar bilan ta'sir qiladi va har bir xato minglab otalarga ega. Kim aybdor? Va aksincha, to'g'ri chiqish yo'li uchun kimga rahmat aytishimiz kerak? Ishonch koeffitsientlarini belgilash muammosi har safar murakkab modelni o'qitishga harakat qilganimizda paydo bo'ladi va mashinani o'rganishning markaziy muammolaridan birini ifodalaydi.
Perseptronlar juda aniq, matematik jihatdan benuqson edi va o'sha paytda asosan neyron tarmoqlar bilan bog'liq bo'lgan mashinani o'rganishga halokatli ta'sir ko'rsatdi. Aksariyat tadqiqotchilar (foydalanuvchilarni hisobga olmaganda) aqlli tizimni yaratishning yagona yo‘li uni aniq dasturlashdir, degan xulosaga kelishdi, shuning uchun bilim injeneriyasi fanda 15 yil davomida hukmronlik qildi va mashina o‘rganish tarix axlatxonasida qolib ketishi tayin edi.
Fizik shishadan miya yasaydi
Agar mashinani o'rganish tarixi Gollivud blokbasteriga aylantirilsa, Marvin Minski asosiy yovuz odam - Qor Oppoqiga zaharlangan olma berib, uni o'rmonga tashlab qo'ygan yovuz malika bo'lardi (1988 yildagi inshoda Seymur Papert hatto hazil bilan taqqoslagan). O'zini qirolicha Qorqizni o'ldirish uchun o'rmonga yuborgan ovchiga). Oq otli shahzoda Jon Xopfild ismli Kaliforniya texnologiya institutining fizikasi bo'lardi. 1982 yilda Xopfild statistik fiziklar yoqadigan ekzotik material bo'lgan miya va spin ko'zoynaklari o'rtasidagi ajoyib o'xshashlikni payqadi. Ushbu kashfiyot bir necha yil o'tgach, ishonch koeffitsientlari muammosini hal qilishga qodir bo'lgan birinchi algoritmlarni ixtiro qilish bilan eng yuqori cho'qqiga ko'tarilgan aloqadorlikning qayta tiklanishiga olib keldi. Bu, shuningdek, sun'iy intellekt fanida dominant paradigma sifatida mashina o'rganish bilim muhandisligini almashtirgan yangi davrni boshladi.
Spin ko'zoynaklari aslida ko'zoynak emas, garchi ular oynaga o'xshash xususiyatlarga ega. Aksincha, ular magnit materiallardir. Har bir elektron kichik magnitdir, chunki u "yuqoriga" yoki "pastga" yo'naltirishi mumkin bo'lgan spinga ega. Temir kabi materiallarda elektron spinlari odatda bir yo'nalishda to'g'ri keladi: agar aylanadigan elektron aylanadigan elektronlar bilan o'ralgan bo'lsa, u burilish ehtimoli bor. Temir bo'lagidagi aylanishlarning aksariyati bir qatorga kelganda, u magnitga aylanadi. An'anaviy magnitlarda qo'shni spinlar orasidagi o'zaro ta'sir kuchi barcha juftliklar uchun bir xil bo'ladi, lekin spinli oynada u farq qilishi va hatto salbiy bo'lishi mumkin, bu esa qo'shni spinlarning qarama-qarshi yo'nalishga ega bo'lishiga olib keladi. Oddiy magnitning energiyasi, agar barcha aylanishlar bir xil bo'lsa, eng past bo'ladi, lekin aylanadigan oynada hamma narsa unchalik oson emas: umuman olganda, spin shishasi uchun eng past energiya holatini topish NP-to'liq muammodir, ya'ni deyarli har qanday boshqa qattiq. optimallashtirish muammosini unga kamaytirish mumkin. Natijada, spin shishasi eng past energiya holatiga kelishi shart emas: u global minimumga emas, balki mahalliy minimumga, ya'ni o'zgarib borishi mumkin bo'lgan barcha holatlarga qaraganda pastroq energiya holatiga tushib qolishi mumkin. aylanish. Ko'p jihatdan, bu to'g'ridan-to'g'ri okeanga emas, balki ko'lga oqib tushadigan yomg'ir suviga o'xshaydi.
Xopfild spin shishasi va neyron tarmoqlar o'rtasidagi qiziqarli o'xshashlikni payqadi. Elektronning spini o'z qo'shnilarining xatti-harakatlariga neyron kabi javob beradi: agar qo'shnilarining og'irligi chegara qiymatidan oshsa, u yuqoriga aylanadi va agar u o'zgarmasa, pastga tushadi (yoki o'zgarmaydi). Ushbu faktdan ilhomlangan Xopfild neyron tarmoq turini aniqladi, u vaqt o'tishi bilan spin shishasi kabi rivojlanadi va ushbu tarmoq uchun minimal energiya holatlari uning xotiralari ekanligini ta'kidladi. Har bir bunday holat unga yaqinlashadigan dastlabki holatlar uchun "tortishish hududi" ni ifodalaydi va bu tufayli neyron tarmoq naqshlarni taniy oladi: masalan, agar xotiralardan biri to'qqizinchi raqamni tashkil etuvchi qora va oq piksellar bo'lsa. , va tasvir buzilgan to'qqizni ko'rsatadi, tarmoq uni "ideal" raqamga qisqartiradi va bilib oladi. To'satdan mashinani o'rganishga keng ko'lamli fizikaviy nazariyalarni qo'llash mumkin edi va statistik fiziklarning to'lqini bu fanga kirib, uni mahalliy minimal darajadan olib tashlashga yordam berdi.
Biroq, spin shisha hali ham miyaning juda real bo'lmagan modelidir. Birinchidan, spinning o'zaro ta'siri nosimmetrikdir, ammo miyadagi neyronlar o'rtasidagi aloqalar bunday emas. Xopfild modeli e'tiborsiz qoldirgan yana bir katta muammo shundaki, haqiqiy neyronlar statistik qonunlarga muvofiq ishlaydi: ular kiritilgan ma'lumotlarga qarab deterministik ravishda yoqilmaydi va o'chirilmaydi, balki kattaroq ehtimollik bilan yoqiladi, ammo aniqlik bilan emas, chunki vaznli kirishlar summasi oshadi. 1985 yilda tadqiqotchilar Devid Okli, Jefri Xinton va Terri Seynovski Xopfild tarmoqlaridagi deterministik neyronlarni ehtimollik bilan almashtirdilar. Neyron tarmoq o'z holatlari bo'yicha ehtimollik taqsimotiga ega bo'ldi va yuqori energiyali holatlar past energiyali holatlarga qaraganda eksponent ravishda kamroq bo'ldi. Tarmoqning ma'lum bir holatda bo'lish ehtimoli termodinamikada yaxshi ma'lum bo'lgan Boltsman taqsimoti tomonidan berilgan, shuning uchun olimlar o'z tarmog'ini Boltsman mashinasi deb atashgan.
Boltzmann mashinasi sezgir va yashirin neyronlar aralashmasidan iborat (masalan, ko'zning to'r pardasi va miyaga o'xshash) va xuddi odam kabi galma-gal uxlash va uyg'onish orqali o'rganadi. Uyg'onganda, sensorli neyronlar ma'lumotlarga ko'ra yonadi, yashirin neyronlar esa tarmoq dinamikasi va sensorli kirishlarga ko'ra rivojlanadi. Misol uchun, agar tarmoqda to'qqizta tasvir ko'rsatilsa, tasvirning qora piksellariga mos keladigan neyronlar yoqiladi, boshqalari o'chadi va yashirin neyronlar ushbu piksel qiymatlari uchun Boltzmann taqsimotiga ko'ra tasodifiy ravishda yoqiladi. Uyqu paytida sezgi va yashirin neyronlar erkin aylanib yuradi va yangi kun tongidan oldin, mashina uyqu paytida va kechagi faoliyat davomida o'z holatlari statistikasini taqqoslaydi va bu holatlarni moslashtirish uchun ulanishlar og'irligini o'zgartiradi. Agar ikkita neyron odatda kun davomida birga yonib ketsa, lekin uyqu paytida kamroq bo'lsa, ularning ulanishining og'irligi ortadi. Agar aksincha bo'lsa, u kamayadi. Sensor neyronlar o'rtasidagi bashorat qilingan korrelyatsiyalar kundan-kunga, ular haqiqiylarga to'g'ri kelguncha rivojlanadi: bu vaqtda Boltsman mashinasi ma'lumotlarning yaxshi modeliga ega, ya'ni ishonch koeffitsientlarini belgilash muammosi samarali hal qilinadi.
Geoff Xinton o'z tadqiqotini davom ettirdi va keyingi o'n yilliklarda Boltzmann mashinasining ko'plab variantlarini sinab ko'rdi. Xinton, psixolog, kompyuter olimi va barcha raqamli kompyuterlarda qo'llaniladigan mantiqiy hisob-kitoblarning ixtirochisi Jorj Bulning nevarasi, dunyodagi yetakchi bog'lovchi hisoblanadi. U miyaning qanday ishlashini tushunish uchun boshqalarga qaraganda ko'proq va ko'proq harakat qildi. Xintonning aytishicha, u bir kuni ishdan uyga keldi va hayajon bilan baqirdi: “Ha! Men miya qanday ishlashini tushundim! ” Qizi javob berdi: "Dada, yana?!" IN yaqinda u chuqur o'rganishga qiziqdi, biz bu bobda keyinroq gaplashamiz, shuningdek, Boltzman mashinalariga qaraganda ancha rivojlangan algoritm bo'lgan orqaga tarqalish usulini ishlab chiqishda ishtirok etdi. muammoni hal qiluvchi ishonch kreditlarini tayinlash (bu keyingi bobda muhokama qilinadi). Boltzmann mashinalari bu muammoni printsipial jihatdan hal qila oladi, ammo amalda o'rganish juda sekin va qiyin, shuning uchun bu yondashuv ko'p hollarda amaliy emas. Keyingi yutuq Makkallok va Pittsga borib taqaladigan yana bir haddan tashqari soddalashtirishdan voz kechishni talab qildi.
Dunyodagi eng muhim egri chiziq
Qo'shnilariga nisbatan neyron faqat ikkita holatda bo'lishi mumkin - faol va nofaol. Biroq, bu erda etishmayotgan narsa muhim nuance. Harakat potentsiallari uzoq davom etmaydi: kuchlanish atigi bir soniyaga ko'tariladi va darhol dam olish holatiga qaytadi. Ushbu sakrash qabul qiluvchi neyron tomonidan deyarli qayd etilmaydi: hujayrani uyg'otish uchun qisqa vaqt oralig'ida bir qator sakrashlar kerak bo'ladi. Oddiy neyronlar vaqti-vaqti bilan hech qanday stimulyatsiyasiz yonadi. Rag'batlantirish to'planganda, neyron tez-tez yonadi va keyin to'yinganlik darajasiga etadi, u qodir bo'lgan kuchlanishning eng yuqori chastotasiga etadi, shundan keyin ortib borayotgan stimulyatsiya ta'sir qilmaydi. Neyron mantiqiy eshikdan ko'ra ko'proq kuchlanishni chastotaga aylantiruvchiga o'xshaydi. Chastota va kuchlanish egri chizig'i quyidagicha ko'rinadi:
Bu cho'zilgan S egri chizig'i boshqacha nomlanadi: logistik, S shaklidagi, sigmasimon. Buni diqqat bilan ko'rib chiqing, chunki u dunyodagi eng muhim egri chiziqdir. Dastlab, chiqish kirish bilan birga asta-sekin ko'tariladi: shunchalik sekinki, u doimiy ko'rinadi. Keyin u tezroq, keyin juda tez o'zgara boshlaydi, keyin sekinroq va sekinroq va nihoyat yana deyarli doimiy bo'lib qoladi. Kirish va chiqish kuchlanishini bog'laydigan tranzistor egri chizig'i ham S shaklida bo'ladi, shuning uchun kompyuterlar va miyalar S-egri chiziqlar bilan to'ldiriladi. Lekin bu hammasi emas. Barcha turdagi fazali o'tishlar sigmasimon shaklga ega: qo'llaniladigan maydonga qarab elektronning spinni o'zgartirish ehtimoli, temirning magnitlanishi, xotira bitini qattiq diskka yozish, hujayradagi ion kanalining ochilishi, erishi. muz, suvning bug'lanishi, yosh koinotning inflyatsion kengayishi, evolyutsiyadagi tiniq muvozanat, o'zgaruvchan ilmiy paradigmalar, yangi texnologiyalarning tarqalishi, aralash hududlardan oq parvoz, mish-mishlar, epidemiyalar, inqiloblar, imperiyalarning qulashi va boshqalar. Tegishli nuqta: Qanday qilib kichik narsalar katta farq qilishi mumkin (garchi unchalik jozibali bo'lmasa ham) Sigmoid deb atash mumkin. Zilzila - bu ikkita qo'shni tektonik plitalarning nisbiy pozitsiyalarining fazaviy o'zgarishi va biz ba'zan tunda eshitadigan taqillatish - bu oddiygina uyning devorlaridagi mikroskopik "tektonik plitalar" ning siljishi, shuning uchun vahima qo'ymang. Jozef Shumpeterning aytishicha, iqtisod mos ravishda rivojlanadi va boshlanadi: ijodiy halokat ham S shakliga ega. Moliyaviy daromadlar va yo'qotishlar ham sigmasimonga ko'ra inson baxtiga ta'sir qiladi, shuning uchun siz juda ko'p stress va tashvishlanmasligingiz kerak. Ixtiyoriy mantiqiy formulaning qoniqarli bo'lish ehtimoli - NP-to'liq muammolarning mohiyati - formula uzunligi oshgani sayin deyarli birdan deyarli nolga o'tish fazasidan keyin. Statistik fiziklar o'z hayotlari davomida fazaviy o'tishlarni o'rganishlari mumkin.
Xemingueyning “Quyosh ham chiqadi” romanida Mayk Kempbelldan qanday bankrot bo‘lganligi so‘raladi va shunday javob beradi: “Ikki yo‘l. Avval asta-sekin, keyin esa birdaniga.” Lehman Brothers ham xuddi shunday deyishi mumkin edi. Bu sigmasimon bezning mohiyatidir. Futurolog Pol Saffo tomonidan ishlab chiqilgan prognozlash qoidalaridan biri: S shaklidagi egri chiziqlarni qidiring. Agar siz dushda qulay haroratni "ushlay olmasangiz" - suv avval juda sovuq, keyin esa darhol juda issiq - S-egri chizig'ini ayblang. Popkorn pishirganda S shaklidagi egri chiziq bo'ylab rivojlanish aniq ko'rinadi: avvaliga hech narsa bo'lmaydi, keyin bir nechta yadrolar yorilib ketadi, keyin birdaniga ko'p, keyin ularning deyarli barchasi otashinlarga aylanadi, keyin biroz ko'proq - va siz' ovqatga tayyor. Mushaklar harakati ham sigmasimon naqshga amal qiladi: sekin, tez va yana sekin: Disney animatorlari buni tushunib, unga taqlid qila boshlaganlarida, multfilmlar yanada tabiiyroq bo'ldi. Ko'zlar S-egri chizig'i bo'ylab harakatlanadi, ong bilan u yoki bu narsaga mahkamlanadi. Fazali o'tishga ko'ra, kayfiyat o'zgaradi. Tug'ilish, balog'atga etish, sevish, turmush qurish, homiladorlik, ishga qo'shilish va ketish, boshqa shaharga ko'chib o'tish, lavozimga ko'tarilish, pensiya va o'lim bilan bir xil. Olam fazaviy o'tishlarning ulkan simfoniyasidir, kosmikdan mikroskopikgacha, eng oddiydan bizning hayotimizni o'zgartiradiganlargacha.
Sigmasimon bez nafaqat model sifatida muhimdir. U matematika fanida tinmay ishlaydi. Agar siz uning markaziy segmentini kattalashtirsangiz, u to'g'ri chiziqqa yaqin bo'ladi. Biz chiziqli deb o'ylaydigan ko'p narsalar aslida S-egri chiziqlardir, chunki hech narsa cheksiz o'sib bo'lmaydi. Nisbiylik tufayli va Nyutondan farqli o'laroq, tezlanish kuchayib borayotgan kuch bilan chiziqli ravishda o'smaydi, balki nolga markazlashgan sigmasimon egri chiziqdan keyin boradi. Shunga o'xshash rasm giyohvandlik bilan kuzatiladi elektr toki rezistorlardagi kuchlanishdan elektr zanjirlari va yorug'lik lampalarida (filament eritmaguncha, bu o'z-o'zidan boshqa fazaga o'tishdir). Agar siz S-egri chizig'iga uzoqdan qarasangiz, u chiqish bo'lgan qadam funktsiyasiga o'xshaydi chegara qiymati birdan noldan bittaga o'zgaradi. Shuning uchun, kirish kuchlanishiga qarab, xuddi shu egri raqamli kompyuterlar va kuchaytirgichlar va tyunerlar kabi analog qurilmalarda tranzistorning ishlashini tavsiflaydi. Sigmasimon ichakning boshlang'ich segmenti asosan eksponent bo'lib, to'yinganlik nuqtasiga yaqin joyda u eksponensial parchalanishga yaqinlashadi. Kimdir eksponentsial o'sish haqida gapirganda, o'zingizdan so'rang: qanchalik tez orada u S-egri chizig'iga aylanadi? Aholining portlovchi o'sishi sekinlashganda, Mur qonuni o'z imkoniyatlarini tugatadi va o'ziga xoslik hech qachon kelmaydi? Sigmasimonni farqlang va siz Gauss egri chizig'ini olasiz: "sekin - tez - sekin" "past - yuqori - past" bo'ladi. Yuqoriga va pastga siljiydigan bir qator bosqichli S-egri chiziqlarni qo'shing va siz sinus to'lqiniga yaqinroq narsani olasiz. Darhaqiqat, har bir funktsiyani S shaklidagi egri chiziqlar yig'indisi bilan yaqindan aniqlash mumkin: funktsiya yuqoriga ko'tarilganda, siz sigmasimonni qo'shasiz, pastga tushganda esa ayirasiz. Bolaning o'rganishi bosqichma-bosqich takomillashtirish emas, balki S-egri chiziqlarning to'planishidir. Bu texnologik o'zgarishlarga ham tegishli. Nyu-Yorkka uzoqdan qarang va ufq bo'ylab osmono'par binolarning burchaklaridek o'tkir sigmasimonlar to'plamini ko'rasiz.
Biz uchun eng muhimi, S-egri chiziqlar ishonch koeffitsientlari muammosini yangicha yechimga olib keladi. Koinot fazaviy o'tishlarning simfoniyasi bo'lgani uchun, keling, uni fazaviy o'tishdan foydalanib modellashtiramiz. Miya aynan shunday qiladi: u ichidagi fazali o'tish tizimini tashqaridagi shunga o'xshash tizimga moslashtiradi. Shunday qilib, keling, perseptron qadam funktsiyasini sigmasimon bilan almashtiramiz va nima sodir bo'lishini ko'ramiz.
Giperkosmosda alpinizm
Perseptron algoritmida xato signali hammasi yoki hech narsa tamoyili asosida ishlaydi: to'g'ri yoki noto'g'ri. Ko'p emas, ayniqsa ko'plab neyronlarning tarmoqlari bo'lsa. Chiqish neyroni xato qilganini tushunishingiz mumkin (uy, bu sizning buvingiz emasmi?), Ammo miyaning chuqurligidagi ba'zi neyronlar haqida nima deyish mumkin? Va umuman olganda, chuqur neyron uchun to'g'ri va noto'g'ri nimani anglatadi? Biroq, agar neyronning chiqishi ikkilik emas, balki uzluksiz bo'lsa, rasm o'zgaradi. Avvalo, biz baholay olamiz narxi qancha qabul qilingan va kerakli chiqish o'rtasidagi farq asosida chiqish neyroni xato. Agar neyron faollik bilan porlashi kerak bo'lsa ("Oh, buvijon! Salom!") va u biroz faol bo'lsa, u umuman o't olmaganidan ko'ra yaxshiroqdir. Eng muhimi, endi biz bu xatoni yashirin neyronlarga ham kengaytirishimiz mumkin: agar chiqish neyroni faolroq bo'lsa va neyron unga ulangan bo'lsa. A, keyin neyron faolroq A, ular orasidagi aloqani qanchalik kuchaytirishimiz kerak. Agar A neyron tomonidan bostiriladi B, Bu B kamroq faol bo'lishi kerak va hokazo. U bog'langan barcha neyronlarning fikr-mulohazalari tufayli, har bir neyron qancha ko'p yoki kamroq otish kerakligini hal qiladi. Bu va faoliyat o'ziniki Kirish neyronlari unga ular bilan aloqalarni kuchaytirish yoki zaiflashtirishni buyuradi. Men faolroq bo'lishim kerak va neyron B Bu meni bosib ketyaptimi? Bu uning vaznini kamaytirish kerakligini anglatadi. Neyron C juda faol, lekin uning men bilan aloqasi zaifmi? Keling, uni kuchaytiraylik. Keyingi bosqichda tarmoqning pastdagi mijoz neyronlari menga vazifani qanchalik yaxshi bajarganimni aytib berishadi.
O'rganish algoritmining "to'r pardasi" har safar yangi tasvirni ko'rganda, signal chiqish hosil qilguncha tarmoq bo'ylab tarqaladi. Olingan natijani kerakli chiqish bilan taqqoslash xato signalini hosil qiladi, keyin u barcha qatlamlar bo'ylab tarqaladi va retinaga etib boradi. Qaytgan signal va oldinga tarqalish paytida olingan kirishga asoslanib, har bir neyron o'z vaznini moslashtiradi. Tarmoq sizning buvingiz va boshqa odamlarning ko'proq va ko'proq tasvirlarini ko'rishi bilan, vaznlar asta-sekin bir-biridan farqlash imkonini beradigan qadriyatlarga yaqinlashadi. Orqa tarqalish usuli, bu algoritm deyilganidek, perseptronga qaraganda beqiyos kuchliroqdir. Bitta neyron faqat to'g'ri chiziqni topa oladi, lekin ko'p qatlamli perseptron deb ataladigan narsa, agar u etarli darajada yashirin neyronlarga ega bo'lsa, o'zboshimchalik bilan chigallashgan chegaralarni topishi mumkin. Bu backpropagatsiyani eng yuqori ulanish algoritmiga aylantiradi.
Orqa tarqalish - bu tabiatda va texnologiyada juda keng tarqalgan strategiyaning alohida holati: agar siz tezda toqqa chiqishingiz kerak bo'lsa, siz topa oladigan eng tik qiyalikni tanlang. Ushbu hodisaning texnik atamasi "gradient ko'tarilish" (agar siz yuqoriga chiqmoqchi bo'lsangiz) yoki "gradient tushish" (agar siz pastdagi vodiyga qarasangiz). Bakteriyalar, aytaylik, glyukoza kontsentratsiyasi gradienti bo'ylab harakatlanib, oziq-ovqat izlashlari va ularning gradientiga qarshi harakat qilish orqali zaharlardan qochishlari mumkin. Gradient tushishi samolyot qanotlaridan tortib antenna tizimlarigacha bo'lgan ko'p narsalarni optimallashtirishi mumkin. Orqaga tarqalish - samarali usul Ko'p qatlamli perseptronda bunday optimallashtirish: xatolik ehtimolini kamaytirish uchun og'irliklarni sozlashni davom eting va sozlashlar hech narsa qo'shmasligi aniq bo'lganda to'xtating. Orqa tarqalish bilan siz har bir neyronning og'irligini noldan qanday qilib sozlashni aniqlashingiz shart emas (bu juda sekin bo'lar edi): buni qatlamma-qatlam qilishingiz mumkin, har bir neyronni u allaqachon ulanganiga qarab sozlashingiz mumkin. Agarda favqulodda siz butun mashinani o'rganish asboblar to'plamini tashlab, bitta narsani qutqarishingiz kerak bo'ladi, ehtimol siz gradient tushishini qutqarishga qaror qilasiz.
Xo'sh, orqaga tarqalish mashinani o'rganish muammosini qanday hal qiladi? Balki biz bir nechta neyronlarni to'plashimiz kerak, ular o'zlariga kerak bo'lgan hamma narsani tasavvur qilishlarini kutishimiz kerak va keyin bankka boradigan yo'lda miyaning qanday ishlashi printsipini kashf etgani uchun Nobel mukofotini olish uchun to'xtashimiz kerak? Afsuski, hayot unchalik oddiy emas. Tasavvur qiling-a, sizning tarmog'ingiz faqat bitta vaznga ega; xatoning unga bog'liqligi ushbu grafikda ko'rsatilgan:
Xato eng past bo'lgan optimal og'irlik 2,0 dir. Agar tarmoq, masalan, 0,75 dan boshlansa, xatoning orqaga tarqalishi bir necha bosqichda optimal darajaga etadi, masalan, tepalikdan dumalab tushayotgan to'p. Biroq, agar biz 5,5 dan boshlasak, biz 7,0 og'irligiga tushamiz va u erda tiqilib qolamiz. Og'irlikdagi bosqichma-bosqich o'zgarishlar bilan xatoning orqaga tarqalishi xatoning global minimumini topa olmaydi va mahalliy minimal o'zboshimchalik bilan yomon bo'lishi mumkin: masalan, buvini shlyapa bilan aralashtirish mumkin. Agar bitta og'irlik bo'lsa, siz barcha mumkin bo'lgan qiymatlarni 0,01 bosqichda sinab ko'rishingiz va shu bilan optimalni topishingiz mumkin. Ammo millionlab yoki milliardlab og'irliklar mavjud bo'lganda, bu variant emas, chunki griddagi nuqtalar soni og'irliklar soni bilan eksponent ravishda oshadi. Global minimum giperfazoning tubsiz tubida yashirin bo'ladi - pichanzordan igna qidiring.
Tasavvur qiling-a, o'g'irlab ketilgan, ko'zlari bog'langan va Himoloy tog'larida tashlab ketilgan. Sizning boshingiz urayapti, xotirangiz unchalik yaxshi emas, lekin siz Everest cho'qqisiga chiqishingiz kerakligini aniq bilasiz. Nima qilishim kerak? Oldinga bir qadam tashlab, daraga deyarli sirg‘alib ketasiz. Nafas olayotganda, siz tizimliroq harakat qilishga qaror qilasiz va eng yuqori nuqtani aniqlash uchun oyog'ingiz bilan atrofdagi tuproqni diqqat bilan his qilasiz. Keyin siz qo'rqoqlik bilan unga qarab qadam qo'yasiz va hamma narsa takrorlanadi. Sekin-asta siz balandroq va balandroq ko'tarilasiz. Biroz vaqt o'tgach, har qanday qadam pastga tusha boshlaydi va siz to'xtaysiz. Bu gradient ko'tarilish. Agar Himoloyda faqat Everest bo'lsa va ideal konus shakli bo'lsa, hamma narsa yaxshi bo'lar edi. Ammo, ehtimol, barcha zinapoyalar pastga tushadigan joy hali ham tepadan juda uzoqda bo'ladi: siz shunchaki pastdagi tepalikka yopishib qolasiz. Aynan shu narsa orqaga tarqalish bilan sodir bo'ladi, faqat u biznikiga o'xshab uch o'lchovli fazoda emas, balki giperfazoda tog'larga ko'tariladi. Agar sizning tarmog'ingiz bitta neyrondan iborat bo'lsa va siz eng yaxshi og'irliklarga bosqichma-bosqich ko'tarilsangiz, siz yuqoriga chiqasiz. Ammo ko'p qatlamli perseptronda landshaft juda qo'pol - faqat eng baland cho'qqini qidiring.
Qisman shuning uchun Minsky, Papert va boshqa tadqiqotchilar ko'p qatlamli perseptronlarni qanday o'rgatish mumkinligini tushunishmadi. Ular qadam funktsiyalarini S-egri chiziqlari va gradient tushishi bilan almashtirishni tasavvur qilishlari mumkin edi, lekin keyin mahalliy xatolik minimal muammosiga duch kelishdi. O'sha paytda olimlar kompyuter simulyatsiyalariga ishonmadilar va algoritm ishlashining matematik isbotini talab qilishdi, ammo xatolarning orqaga tarqalishi uchun bunday dalil yo'q edi. Ammo, biz allaqachon ko'rganimizdek, ko'p hollarda mahalliy minimum etarli. Xatoning yuzasi ko'pincha kirpi kabi bo'ladi: juda ko'p tik cho'qqilar va cho'qqilar va biz eng chuqur, mutlaq chuqurni topishimiz muhim emas - har qanday narsa qiladi. Bundan ham yaxshiroq, mahalliy minimal qiymat hatto afzalroq bo'lishi mumkin, chunki u globalga qaraganda haddan tashqari moslashishga kamroq moyil.
Giperkosmos ikki qirrali qilichdir. Bir tomondan, ko'ra ko'proq miqdor o'lchovlar, juda murakkab yuzalar va mahalliy ekstremallar uchun ko'proq joy mavjud. Boshqa tomondan, mahalliy ekstremalga yopishib olish uchun siz tiqilib qolishingiz kerak hamma o'lchamlarga ega va uchtadan ko'ra bir vaqtning o'zida ko'pchilikka yopishib olish qiyinroq. Giperkosmosda butun (giper) er bo'ylab o'tadigan o'tish joylari mavjud, shuning uchun ozgina inson yordami bilan orqa tarqalish ko'pincha mukammal tarozilar to'plamiga yo'l topishi mumkin. Ehtimol, bu dengiz sathi emas, balki faqat afsonaviy Shangri-La vodiysi, lekin giperfazoda millionlab bunday vodiylar va har biriga olib boradigan milliardlab dovonlar bo'lsa, nimadan shikoyat qilish kerak?
Biroq, orqaga tarqalish topadigan og'irliklarga juda ko'p e'tibor bermaslik kerak. Esda tutingki, ehtimol juda ko'p turli xillar bor, lekin bir xil yaxshi variantlar. Ko'p qatlamli perseptronni o'qitish xaotik ma'noda, bir oz boshqacha joylardan boshlab, juda ko'p narsaga olib kelishi mumkin turli yechimlar. Ushbu hodisa asl og'irliklarda ham, o'quv ma'lumotlarida ham kichik farqlar mavjud bo'lganda yuzaga keladi va faqat orqaga tarqalish emas, balki barcha kuchli o'rganish algoritmlarida sodir bo'ladi.
Biz mumkin Sigmasimon bezlarni olib tashlash va har bir neyronga o'z kirishlarining og'irlashtirilgan summasini chiqarishga imkon berish orqali mahalliy ekstremal muammolardan xalos bo'ling. Bunday holda, xato yuzasi juda silliq bo'ladi va faqat bitta minimal qoladi - global. Gap shundaki, chiziqli funktsiya chiziqli funksiyalar hali ham chiziqli funktsiyadir, shuning uchun chiziqli neyronlar tarmog'i bitta neyrondan yaxshiroq emas. Chiziqli miya, qanchalik katta bo'lmasin, qurtdan ko'ra ahmoq bo'ladi. S-egri chiziqli funktsiyalarning bema'niligi va bosqichli funktsiyalarning murakkabligi o'rtasidagi yaxshi to'xtash joyidir.
Perseptronlar orqaga zarba berishadi
Backpropagation 1986 yilda San-Diegodagi Kaliforniya universiteti psixologi Devid Rumelxart tomonidan Jeff Xinton va Ronald Uilyams bilan hamkorlikda ixtiro qilingan. Ular, boshqa narsalar qatorida, backpropagatsiya XORni boshqarishi mumkinligini isbotladilar va shu tariqa ulanishchilarga Minsky va Papertga tillarini ko'rsatish imkoniyatini berdilar. Nike krossovkalari misolini eslang: o'smirlar va o'rta yoshli ayollar ularning eng ko'p xaridorlari. Buni uchta neyron tarmog‘i sifatida tasavvur qilish mumkin: biri o‘smirni ko‘rganda yonadi, ikkinchisi o‘rta yoshli ayolni ko‘rganda yonadi, uchinchisi esa ikkalasi ham yonib ketganda. Orqaga tarqalish orqali tegishli og'irliklarni o'rganish va bo'lajak Nike xaridorlarining muvaffaqiyatli detektorini olish mumkin. (Mana shunday, Marvin.)
Orqa tarqalish kuchining birinchi namoyishlarida Terri Seynovski va Charlz Rozenberg ko'p qatlamli perseptronni ovoz chiqarib o'qishga o'rgatishdi. Ularning NETtalk tizimi matnni skanerladi, fonemalarni kontekstga qarab tanladi va ularni nutq sintezatoriga o‘tkazdi. NETtalk nafaqat bilimga asoslangan tizimlar qila olmaydigan yangi so'zlar uchun to'g'ri umumlashtirdi, balki odamga juda o'xshash gapirishni ham o'rgandi. Seynovski ilmiy tadbirlarda NETtalk treningining yozuvini ijro etish orqali tomoshabinlarni maftun etishni yaxshi ko'rardi: avval g'o'ng'irlash, keyin tushunarliroq narsa va nihoyat vaqti-vaqti bilan xatolar bilan butunlay silliq nutq. (Sejnowski nettalk yordamida misollar uchun YouTube'dan qidiring.)
Neyron tarmoqlarning birinchi katta muvaffaqiyati prognozlash edi fond birjasi. Tarmoqlar juda shovqinli ma'lumotlarda kichik nochiziqlilikni aniqlay olganligi sababli, ular mashhurlikka erishdilar va moliya sohasida keng tarqalgan chiziqli modellarni almashtirdilar. Oddiy investitsiya fondi ko'plab qimmatli qog'ozlarning har biri uchun tarmoqlarni o'qitadi, so'ngra eng istiqbollilarini tanlashga imkon beradi, shundan so'ng inson tahlilchilari qaysi biriga sarmoya kiritishni hal qiladi. Biroq, bir qator mablag'lar oxirigacha ketdi va mashinani o'rganish algoritmlariga mustaqil ravishda sotib olish va sotishni amalga oshirishga imkon berdi. Ulardan qanchasi muvaffaqiyatga erishganligi sir, ammo algoritm bo'yicha mutaxassislarning to'siq fondlari tubida g'oyib bo'lishi bilan, buning uchun nimadir bo'lishi mumkin.
Nochiziqli modellar nafaqat birjada muhim ahamiyatga ega. Olimlar chiziqli regressiyadan keng foydalanadilar, chunki ular buni yaxshi bilishadi, lekin o'rganilayotgan hodisalar ko'pincha chiziqli emas va ko'p qatlamli perseptron ularni modellashtirishi mumkin. Chiziqli modellar fazali o'tishlarni ko'rmaydi, lekin neyron tarmoqlar ularni shimgich kabi o'zlashtiradi.
Ilk neyron tarmoqlarning yana bir e'tiborga loyiq muvaffaqiyati mashina haydashni o'rganish edi. Oʻz-oʻzidan boshqariladigan avtomobillar birinchi marta 2004 va 2005-yillarda DARPA Grand Challenge musobaqasida keng eʼtibor qozongan, biroq bundan oʻn yildan koʻproq oldin Karnegi Mellon universiteti olimlari avtomobilni boshqarish uchun koʻp qatlamli perseptronni muvaffaqiyatli oʻrgatishgan: videoda yoʻlni tanib olish va rulni burish. mos ravishda. to'g'ri joyda. Inson yordamchi uchuvchining ozgina yordami bilan ushbu mashina butun Qo'shma Shtatlar bo'ylab okeandan okeangacha harakat qilishga muvaffaq bo'ldi, garchi uning "ko'rinishi" juda bulutli (30 × 32 piksel) va miyasi qurtnikidan kichikroq edi. . (Loyiha "No Hands Across America" deb nomlangan edi.) Bu haqiqatan ham o'zini o'zi boshqaradigan birinchi avtomobil bo'lmagan bo'lishi mumkin, lekin hatto u boshqarayotgan o'smirlarning ko'pchiligidan ajralib turardi.
Backpropagation son-sanoqsiz ilovalarga ega. Uning shon-shuhrati oshgani sayin, uning tarixi ko'proq ma'lum bo'ldi. Ma'lum bo'lishicha, ko'pincha fanda bo'lgani kabi, usul bir necha bor ixtiro qilingan: frantsuz kompyuter olimi Yann LeKun va boshqa olimlar Rumelxart bilan bir vaqtda unga qoqilib ketishgan. 1980-yillarda, sun'iy intellekt bo'yicha etakchi konferentsiyada orqaga tarqalish haqidagi maqola rad etilgan edi, chunki sharhlovchilarning fikriga ko'ra, Minsky va Papert perseptronlar ishlamasligini isbotlagan. Umuman olganda, Rumelxart "Kolumb testi" ga ko'ra usulning ixtirochisi hisoblanadi: Kolumb Amerikani birinchi kashf etgan odam emas, balki u oxirgi bo'lgan. Ma'lum bo'lishicha, Garvard universiteti aspiranti Pol Verbos 1974 yilda o'z dissertatsiyasida shunga o'xshash algoritmni taklif qilgan va eng katta istehzo shundaki, nazorat nazariyotchilari Artur Brayson va Xe Yuki bunga 1969 yilda - aynan Minsky va Papert nashr etgan paytda erishgan. ularning kitobi Perceptrons! Demak, mashinani o‘rganish tarixining o‘zi bizga o‘rganish algoritmlari nima uchun kerakligini ko‘rsatadi: agar algoritmlar 1969 yildan beri ilmiy adabiyotlarda biror mavzu bo‘yicha maqolalar borligini avtomatik ravishda aniqlaganida edi, biz o‘nlab yillarni behuda o‘tkazmagan bo‘lardik va kim biladi, qanday kashfiyotlar qilingan bo‘lardi. tezroq.
Perseptron tarixida juda ko'p istehzolar mavjud, ammo achinarlisi shundaki, Frenk Rozenblat o'z ijodining ikkinchi harakatini hech qachon ko'rmagan: u 1969 yilda Chesapeake ko'rfazida cho'kib ketgan.
To'liq hujayra modeli
Tirik hujayra chiziqli bo'lmagan tizimning ajoyib namunasidir. U o'zining barcha funktsiyalarini xom ashyoni yakuniy mahsulotga aylantiradigan murakkab kimyoviy reaktsiyalar tarmog'i orqali amalga oshiradi. Oldingi bobda ko'rganimizdek, ushbu tarmoqning tuzilishini ramziy usullar yordamida, masalan, teskari deduksiya yordamida aniqlash mumkin, ammo hujayra ishlashining to'liq modelini yaratish uchun miqdoriy yondashuv kerak: biz parametrlarni aniqlashimiz kerak. turli genlarning ifoda darajasini bog'laydigan, o'zgaruvchilarni korrelyatsiya qiluvchi muhit ichki o'zgaruvchilar bilan va boshqalar. Bu oson emas, chunki bu miqdorlar o'rtasida oddiy chiziqli munosabatlar mavjud emas. Hujayra o'zining barqarorligini kesishgan qayta aloqa zanjirlari orqali saqlaydi va uning harakati juda murakkab. Orqa tarqalish usuli bu muammoni hal qilish uchun juda mos keladi, chunki u chiziqli bo'lmagan funktsiyalarni samarali o'rganishi mumkin. Agar qo'limizda metabolik yo'llarning to'liq xaritasi va barcha tegishli o'zgaruvchilar bo'yicha etarli kuzatuv ma'lumotlari bo'lsa, orqa tarqalish nazariy jihatdan hujayraning batafsil modelini ishlab chiqishi mumkin va ko'p qatlamli perseptron har qanday o'zgaruvchini uning bevosita sabablari funktsiyasi sifatida bashorat qilishi mumkin edi.
Biroq, yaqin kelajakda biz hujayra metabolizmi haqida faqat qisman tushunchaga ega bo'lamiz va bizga kerak bo'lgan parametrlarning faqat bir qismini kuzatishimiz mumkin bo'ladi. Kam ma'lumot va muqarrar nomuvofiqliklar sharoitida foydali modellarni olish uchun biz 6-bobda to'xtalamiz Bayes usullari kerak. Agar model allaqachon mavjud bo'lsa, xuddi shu narsa bemorga xos bashoratlarga ham tegishli: Bayes xulosasi eng ko'p foyda keltiradi. muqarrar ravishda to'liq bo'lmagan va shovqinli rasm. Yaxshi tomoni shundaki, saraton kasalligini davolash uchun o'simta hujayralarining ishlashini to'liq va har bir tafsilotda tushunish shart emas: oddiy hujayralarga zarar bermasdan ularni oddiygina zararsizlantirish kifoya. 6-bobda biz bilmagan va bilish shart bo'lmagan narsalarga qanday e'tibor qaratishni ko'rib chiqamiz.
Ushbu bosqichda biz ma'lumotlar va oldingi ma'lumotlardan uyali tarmoqlarning tuzilishini aniqlash uchun orqaga cheklovdan foydalanishimiz mumkinligini bilamiz, ammo uni qo'llash usullari soni kombinatsion portlashni keltirib chiqaradi, shuning uchun qandaydir strategiya talab etiladi. Metabolik tarmoqlar evolyutsiya tomonidan yaratilganligi sababli, algoritmlarni o'rganishda evolyutsiyani simulyatsiya qilish shunchaki chipta bo'lishi mumkin. Keyingi bobda buni qanday qilishni ko'rib chiqamiz.
Miyaning chuqurligida
Orqaga tarqalish usuli mashhur bo'lganda, ulanishchilar tasavvur qilishdi tez o'rganish Kattaroq va kattaroq tarmoqlar, agar apparat imkon bersa, ular sun'iy miyaga tenglashguncha. Hammasi noto'g'ri ekanligi ma'lum bo'ldi. Bitta yashirin qatlamli o'quv tarmoqlari yaxshi o'tdi, ammo shundan keyin hamma narsa keskin murakkablashdi. Bir nechta qatlamli tarmoqlar, agar ular ma'lum bir dastur uchun (masalan, belgilarni aniqlash) ehtiyotkorlik bilan ishlab chiqilgan bo'lsa, ishlaydi va bu ramkadan tashqarida, orqaga tarqalish muvaffaqiyatsiz tugadi. Qatlamlar qo'shilgach, xato signali tobora ko'proq tarqalib bordi, xuddi daryoning kichik kanallarga shoxlanib, alohida sezilmaydigan tomchilargacha. O'nlab yoki yuzlab yashirin qatlamlar bilan o'rganish, xuddi miyadagi kabi, uzoq orzu bo'lib qoldi va 1990-yillarning o'rtalariga kelib, ko'p qatlamli perseptronlar haqidagi hayajon so'ndi. Aloqachilarning doimiy yadrosi saqlanib qoldi, ammo umumiy e'tibor mashinani o'rganishning boshqa sohalariga qaratildi (bularni 6 va 7-boblarda ko'rib chiqamiz).
Biroq, bugungi kunda aloqadorlik qayta tiklanmoqda. Biz har qachongidan ham chuqurroq tarmoqlarni o'rgatmoqdamiz va ular ko'rish, nutqni aniqlash va rivojlantirishda yangi standartlarni o'rnatmoqda. dorilar va boshqa sohalar. Yangi hudud- chuqur o'rganish - hatto Nyu-York Taymsning birinchi sahifasida paydo bo'ldi, ammo agar biz kaput ostiga qarasak, xuddi o'sha yaxshi eski dvigatel - orqaga tarqalish usuli g'uvullayotganini ko'rib hayron qolamiz. Nima o'zgardi? Umuman olganda, yangi hech narsa yo'q, tanqidchilar aytadilar: kompyuterlar shunchaki tezlashdi va ko'proq ma'lumotlar mavjud. Bunga Xinton va boshqalar javob berishadi: “To'g'ri! Biz mutlaqo haq edik!”
Darhaqiqat, aloqachilar katta yutuqlarga erishdilar. So'nggi konnektizmning qahramonlaridan biri bu avtokoder deb ataladigan oddiy qurilma - kirish sifatida qabul qilgan narsani chiqaradigan ko'p qatlamli perseptron. U buvingizning rasmini oladi va xuddi shu tasvirni ko'rsatadi. Bir qarashda bu ahmoqona fikrdek tuyulishi mumkin: bu narsadan qayerda foydalanish mumkin? Ammo hamma narsa shundaki, yashirin qatlam kirish va chiqishdan ancha kichik bo'lishi kerak, ya'ni tarmoq kirishni yashirin qatlamga, yashirin qatlamni esa chiqishga nusxalashni o'rgana olmaydi, chunki bu holda qurilma umuman yaxshi emas. Biroq, agar yashirin qatlam kichik bo'lsa, qiziqarli narsa sodir bo'ladi: tarmoq uni yashirin qatlamda ifodalash uchun kirishni bir necha bitga kodlashga majbur bo'ladi va keyin bu bitlar to'liq hajmga qaytariladi. Tizim, masalan, buvining million pikselli tasvirini atigi yetti harf - "buvi" so'zi yoki o'z ixtirosining qisqacha kodi bilan kodlashni o'rganishi va shu bilan birga bu so'zni dekodlashni o'rganishi mumkin. yuragingizga aziz nafaqaxo'rning surati. Shunday qilib, avtokodlovchi fayllarni siqish vositasiga o'xshaydi, lekin uning ikkita afzalligi bor: u qanday siqishni tushunadi va Hopfield tarmoqlari kabi shovqinli, buzilgan tasvirni yaxshi va toza tasvirga aylantirishi mumkin.
Avtokoderlar 1980-yillarda ma'lum bo'lgan, ammo o'sha paytda faqat bitta yashirin qatlamga qaramay, ularni o'rganish juda qiyin edi. Ko'p ma'lumotni bir hovuch bitlarga qanday qilib to'plashni tushunish juda qiyin (bir kod buvingiz uchun, biroz boshqacha kod bobongiz uchun, ikkinchisi Jennifer Eniston uchun va hokazo): giperkosmos manzarasi ham yaxshi cho'qqisiga ko'tarilish uchun mustahkam va yashirin elementlar ortiqcha XOR kiritish nima ekanligini bilib olishlari kerak. Ushbu muammolar tufayli avtokoderlar o'sha paytda ishlay olmadi. Qiyinchiliklarni engish uchun o'n yildan ko'proq vaqt kerak bo'ldi. Quyidagi hiyla ixtiro qilindi: yashirin qatlam kirish va chiqishdan kattaroq bo'lishi kerak. Bu nima beradi? Bu aslida yechimning faqat yarmi: ikkinchi qism ma'lum miqdordagi yashirin bloklardan tashqari hammasini o'chirishga majburlashdir. hozirgi paytda. Bu hali ham yashirin qatlamning kirishni oddiygina nusxalashiga to'sqinlik qiladi va eng muhimi, o'qitishni ancha osonlashtiradi. Agar biz turli bitlarga turli xil kirishlarni ifodalashiga ruxsat bersak, kirishlar endi bir xil bitlarni o'rnatish uchun raqobatlashmaydi. Bundan tashqari, tarmoq yana ko'plab parametrlarga ega bo'ladi, shuning uchun giperbo'shliq ko'proq o'lchamlarga ega bo'ladi va shuning uchun mahalliy maksimal bo'lishi mumkin bo'lgan narsalardan qochishning yana ko'p usullari bo'ladi. Ushbu nozik hiyla siyrak avtokoder deb ataladi.
Biroq, biz hali chuqur o'rganishni ko'rmadik. Keyingi aqlli g'oya - siyrak avtokoderlarni katta sendvich kabi bir-birining ustiga qo'yish. Birinchisining yashirin qatlami ikkinchisining kirish/chiqishiga aylanadi va hokazo. Neyronlar chiziqli bo'lmaganligi sababli, har bir yashirin qatlam avvalgisiga asoslangan holda kirishning murakkabroq tasvirlarini o'rganadi. Agar sizda yuz tasvirlarining katta to'plami bo'lsa, birinchi avtokoder burchaklar va nuqtalar kabi kichik elementlarni kodlashni o'rganadi, ikkinchisi undan burun uchi va ko'zning irisi kabi yuz xususiyatlarini kodlash uchun foydalanadi, uchinchisi butun burun va ko'zlar bilan shug'ullanadi va hokazo. Va nihoyat, yuqori qatlam an'anaviy perseptron bo'lishi mumkin - u pastki qatlam tomonidan taqdim etilgan yuqori darajadagi xususiyatlardan buvingizni tanib olishni o'rganadi. Bu faqat bitta yashirin qatlamning xom ma'lumotlarini ishlatishdan yoki bir vaqtning o'zida barcha qatlamlar bo'ylab qayta tarqalishga harakat qilishdan ko'ra osonroqdir. New York Times tomonidan e'tirof etilgan Google Brain tarmog'i YouTube videolaridan mushuklarni tanib olishni o'rganadigan to'qqiz qatlamli avtokoderlar va boshqa ingredientlardan iborat sendvichdir. O'sha paytda bu tarmoq hozirgacha o'qitilgan eng katta tarmoq edi: u milliardlab ulanishga ega edi. Loyiha yetakchilaridan biri Endryu Ng inson ongini yagona algoritmga qisqartirish va uni topish juda oson degan g‘oyaning ashaddiy tarafdori bo‘lishi ajablanarli emas. Yumshoq xulq-atvori aql bovar qilmaydigan ambitsiyalarni inkor etuvchi Ng, ko'p bosqichli siyrak avtokoderlar bizni sun'iy intellektni ochishga bizni ilgari ega bo'lgan narsalarga qaraganda yaqinroq olib borishiga ishonadi.
Ko'p bosqichli avtokoderlar chuqur o'rganish algoritmlarining yagona turi emas. Yana biri Boltzman mashinalariga asoslangan; konvolyutsion neyron tarmoqlarga asoslangan vizual korteks modellari mavjud. Biroq, ajoyib muvaffaqiyatlarga qaramay, bularning barchasi hali ham miyadan juda uzoqda. Google tarmog'i mushuk yuzlarini faqat old tomondan taniy oladi, lekin odam mushukni har qanday pozada, hatto butunlay yuz o'girgan taqdirda ham taniy oladi. Bundan tashqari, Google tarmog'i hali ham juda sayoz, avtokoderlar uning to'qqizta qatlamidan faqat uchtasini tashkil qiladi. Ko'p qatlamli perseptron serebellumning qoniqarli modeli bo'lib, miyaning past darajadagi motor nazorati uchun mas'ul bo'lgan qismidir. Biroq, miya yarim korteksi butunlay boshqa masala. Unda, masalan, xatoni targ'ib qilish uchun zarur bo'lgan aloqa aloqalari yo'q, ammo o'rganishning haqiqiy sehri korteksda sodir bo'ladi. Jeff Xokins o'zining "Intelligence to'g'risida" kitobida miya yarim korteksining tuzilishini yaqindan takrorlashga asoslangan algoritmlarni ishlab chiqishni qo'llab-quvvatlaydi, ammo bu algoritmlarning hech biri hali bugungi kundagi chuqur tarmoqlar bilan raqobatlasha olmaydi.
Miyani yaxshiroq tushunganimizda, bu o'zgarishi mumkin. Inson genomi loyihasidan ilhomlangan, yangi intizom- konnektomika - barcha miya sinapslarini xaritaga tushirishga intiladi. Evropa Ittifoqi to'laqonli modelni yaratish uchun milliardlab evro sarmoya kiritdi va Amerika dasturi Xuddi shunday maqsadlarga ega bo'lgan BRAIN birgina 2014 yilda 100 million dollar mablag' oldi. Biroq, simvolistlar Oliy algoritmga olib boradigan bu yo'lga juda shubha bilan qarashadi. Agar biz butun miyani individual sinapslar darajasida tasavvur qilsak ham, bu rasmni simli diagrammalarga aylantirish uchun (hazil) yanada rivojlangan mashina o'rganish algoritmlari kerak bo'ladi: buni qo'lda qilish mumkin emas. Eng yomoni shundaki, agar bizda miyaning to'liq xaritasi bo'lsa ham, uning qanday ishlashini bilmay qolamiz. Caenorhabditis elegans qurtining asab tizimi bor-yo'g'i 302 neyrondan iborat bo'lib, 1986 yilda to'liq xaritaga kiritilgan, ammo biz hali ham uning ishlashini faqat bo'laklarda tushunamiz. Kichkina tafsilotlar botqog'idagi biror narsani tushunish va odamlarga xos bo'lgan tafsilotlarni va shunchaki evolyutsiyaning g'ayrioddiy xususiyatlarini "yo'q qilish" uchun yuqori darajadagi tushunchalar kerak. Biz samolyotlarni qush patlarini teskari muhandislik bilan yasamaymiz va samolyotlar qanotlarini qoqib qo'ymaydi, ammo samolyot dizayni barcha uchuvchi jismlarga tegishli aerodinamika tamoyillariga asoslanadi. Bizda hali ham shunga o'xshash fikrlash tamoyillari yo'q.
Ehtimol, konnektomika haddan tashqari ko'tariladi: ba'zi ulanishchilar mish-mishlarga ko'ra, orqaga tarqalish Master algoritmdir: siz shunchaki uni kengaytirishingiz kerak. Ammo simvolistlar bu qarashlarni masxara qilishadi va odamlar qila oladigan, ammo neyron tarmoqlari qila olmaydigan narsalarning uzun ro'yxatini taqdim etadilar. Misol uchun, "sog'lom fikr" ni olaylik, bu hech qachon yaqin bo'lmagan ma'lumotlarning bir-biriga bog'lanishini talab qiladi. Mariya tushlikda etik yeyadimi? U odam bo'lgani uchun ovqat yemaydi, odamlar faqat qutulish mumkin bo'lgan narsalarni eyishadi, lekin poyabzal yeyilmaydi. Simvolik tizimlar buni muammosiz hal qiladi - ular shunchaki tegishli qoidalar zanjirlarini hosil qiladilar - lekin ko'p qatlamli perseptronlar buni qanday qilishni bilishmaydi va bir marta o'qitilgandan so'ng, bir xil sobit funktsiyani qayta-qayta hisoblab chiqadilar. Neyron tarmoqlar kompozitsion emas va kompozitsionlik inson bilishining muhim elementidir. Yana bir katta muammo shundaki, odamlar ham, qoidalar to'plami va qarorlar daraxtlari kabi ramziy modellar ham o'zlarining fikrlarini tushuntira oladilar, neyron tarmoqlar esa hech kim tushuna olmaydigan katta raqamlar tog'laridir.
Ammo agar odamda bu qobiliyatlarning barchasi bo'lsa va miya ularni sinapslarni tanlab o'rganmasa, ular qayerdan keladi? Siz sehrga ishonmaysizmi? Keyin javob "evolyutsiya" bo'ladi. Aloqadorlikning ashaddiy tanqidchisi, evolyutsiya bola tug'ilishida biladigan hamma narsani qanday o'rganganini aniqlashi kerak - va biz tug'ma qobiliyatlarga qanchalik ko'p bog'lansak, vazifa shunchalik qiyin bo'ladi. Agar siz bularning barchasini tushunishga muvaffaq bo'lsangiz va kompyuterni bunday vazifani bajarish uchun dasturlashtirsangiz, sizga Oliy algoritm ixtirochisining yutuqlarini - hech bo'lmaganda uning variantlaridan birini rad etish juda qo'pollik bo'ladi.
Neyrit (nerv hujayrasining uzun silindrsimon kengayishi), u orqali chiquvchi signallar (nerv impulslari) hujayra tanasidan innervatsiya qilingan organlarga va boshqa nerv hujayralariga uzatiladi.
Uilyam Jeyms (1842-1910) - amerikalik faylasuf va psixolog, pragmatizm va funksionalizm asoschilaridan biri va yetakchi vakili.
Frenk Rozenblat (1928-1969) - psixologiya, neyrofiziologiya va sun'iy intellekt sohalaridagi mashhur amerikalik olim.
Jozef Alois Shumpeter (1883–1950) - avstriyalik va amerikalik iqtisodchi, siyosatshunos, sotsiolog va iqtisodiy fikr tarixchisi.
Ronald Uilyams Bostondagi Shimoli-Sharqiy Universitetining kompyuter fanlari professori va neyron tarmoqlarning kashshoflaridan biri.
Robot avtomobillar tanlovi AQSh hukumati homiyligida. Ushbu musobaqalarning maqsadi to'liq avtonom transport vositalarini yaratishdir.
Amerikalik aktrisa, "Do'stlar" teleserialidagi Reychel Grin roli bilan mashhur bo'lib, u Emmi va Oltin globus mukofotlarini oldi.
Yuklanmoqda...
