Böyük məlumatların öyrənilməsi üzrə pulsuz dərsləri olan saytların seçimi.

Əlfəcinlərə

orta əmək haqqı məlumat analitikası, HeadHunter-ə görə, - 120 min rubl. Materialda məlumat analitiki vakansiyaları üçün əsas tələblər və bu sahədə pulsuz bacarıq əldə edə biləcəyiniz yerlər vurğulanır.

Məlumat analitikləri kimlərdir

Böyük məlumat mütəxəssisləri necə çıxarmağı bilirlər faydalı məlumat müxtəlif mənbələrdən götürün və işgüzar qərarlar qəbul etmək üçün təhlil edin. Tipik olaraq, analitiklər fərqli məlumatlarla qarşılaşırlar, ona görə də lazımi məlumatları çıxara bilmək vacibdir.

İndi data analitiki peşəsi dünyanın ən cəlbedici və perspektivli peşələrindən biri hesab olunur. Yaxşı analitik olmaq üçün proqramlaşdırmadan daha çox statistikanı başa düşməlisiniz. Çünki iş zamanı problemi və faktiki məlumatları təsvir edən riyazi modellər qurmalısan.

Məlumat analitiki təsadüfi dəyişənlər və ehtimal modelləri ilə işləyir; Ona görə də ehtimal nəzəriyyəsi və riyazi statistika üzrə biliklər abituriyentlər üçün əsas tələblərdən biridir.

Siz həmçinin R və ya Python proqramlaşdırma dillərini bilməli və böyük verilənlərin emalı texnologiyalarını başa düşməlisiniz. Bu bilik məlumat analitiki kimi giriş səviyyəli vəzifəyə uyğun olmaq üçün kifayətdir.

Yaxşı analitik olmaq üçün siz təkcə proqramlaşdırma və ya statistikanı başa düşməməli, həm də məhsul haqqında mükəmməl biliyə malik olmalı, ən əsası isə fərziyyələri sınaqdan keçirməyi və təklif etməyi bacarmalısınız. Böyük data at düzgün istifadə məhsulu necə təkmilləşdirmək və ya nəyin vacib olduğunu müəyyənləşdirmək üçün çoxlu sərin fikir və ideyaları ehtiva edir.

Lakin əksər problemlərin dəqiq həlli və ya alqoritmi yoxdur: bu baxımdan məlumatların təhlili çox yaradıcı işdir. Düzgün vizuallaşdırma seçmək bacarığı da vacibdir. Eyni məlumatlar təsadüfi bir xal toplusu kimi görünə bilər və ya düzgün yanaşdıqda çox maraqlı şeylər deyə bilər.

VKontakte-də biz böyük həcmdə məlumatlarla işləyirik - gündə 20 milyarddan çox ölçmə. Biz Hadoop klasterində məlumat toplayırıq və emal üçün müxtəlif vasitələrdən istifadə edirik: cavablar sadə suallar Hive bizə verir və Spark, Pandas, Sklearn bizə daha mürəkkəb analitika aparmağa kömək edir.

Məhsul və texniki ölçüləri və A/B təcrübələrini təhlil etmək üçün komandamız tərəfindən hazırlanmış məlumat toplama, toplama və vizuallaşdırma sistemindən də istifadə edirik. Məlumatların təhlili sayəsində biz hər gün onlarla məhsul fərziyyəsini sınaqdan keçiririk və məhsulu daim təkmilləşdirməyə və xidmətlərimizi daha rahat və fərdiləşdirməyə imkan verən yüzlərlə təcrübə aparırıq.

Məsələn, 2015-ci ildə biz xəbər lentində istifadəçi fəaliyyətini təhlil etməyə başladıq və nəyin təkmilləşdirilə biləcəyinə baxaq. Çoxlu araşdırmalardan sonra biz hər şeyi daha rahat edə biləcəyimiz qənaətinə gəldik və 2016-cı ildə hər bir istifadəçi üçün mümkün qədər maraqlı və faydalı olacaq “ağıllı” lenti işə saldıq.

Biz daim tamaşaçı fəaliyyətini təhlil etməyə davam edirik. Bəzi məqamlarda biz istifadəçilərin maraq dairəsini genişləndirmək və yeni müəlliflərlə tanış olmaq istədiklərini praktikada aşkar etdik. Buna görə də 2017-ci ildə “Tövsiyələr” bölməsi fəaliyyətə başlayıb. İndi isə yeni xidmətdə artan fəallığı təhlil edəndə bunun düzgün qərar olduğunu görürük.

Andrey Zakonov

VKontakte-də İnkişaf və Tədqiqat Direktoru

Python və R bilikləri

"Python öyrənmək" kursu

Dil: İngilis.

Səviyyə: ilkin.

Codecademy interfeysi

Codecademy onlayn platforması qısa nəzəri məlumatların bir səhifəlik izahı və kod tərcüməçisi ilə Python dilinin interaktiv öyrənilməsini təklif edir. Kurs yeni başlayanlar üçün nəzərdə tutulub və proqramlaşdırma dilinin əsas əmrləri haqqında danışır.

Kurs ödənişsizdir: test tapşırıqlarına giriş və layihələr üzərində işləmək yalnız ödənişli abunə ilə mümkündür. Pulsuz dərslər sadə konstruksiyaları öyrənmək və dilin sintaksisini anlamaq üçün uyğundur.

"Yeni başlayanlar üçün Python 3" Dərsliyi

Dil: Rus.

Səviyyə: ilkin.

Musinin dərsliyi rus dilində Python haqqında ən böyük məlumat bazalarından biridir. Saytda modullar haqqında məlumatlar, Pandas kitabxanasından istifadə edərək məlumatların təhlili ilə bağlı materiallar, nəzəri məlumatlar, nümunə tapşırıqlar və faydalı bağlantılar. Həmçinin, dərc olunmuş məqalələr əsasında PDF formatında özünütədris vəsaiti hazırlanmışdır.

"Pythonda proqramlaşdırma" kursu

Dil: Rus.

Səviyyə: ilkin.

Kurs zamanı müəllimlər proqramlaşdırmanın əsas anlayışlarını təqdim edirlər. Böyük miqdarda ev tapşırığı təklif olunur praktik problemlər- bütün qərarlar avtomatik sistem tərəfindən yoxlanılır. Ancaq müəllimlər vermir fərdi məsləhətləşmələr. Kursa kursu keçmək üçün həll edilməsi tələb olunmayan qabaqcıl problemlər də daxildir.

“Python: Əsaslar və Tətbiqlər” kursu

Dil: Rus.

Səviyyə: orta.

Tələblər: Python və ya digər proqramlaşdırma dillərində əsas proqramlaşdırma bacarıqları.

Kursun tələbələri dilin əsas prinsiplərini öyrənirlər: tərcüməçi kodu necə yerinə yetirir, dəyişənləri və məlumatları harada saxlayır, öz məlumat növləri və funksiyaları necə müəyyən edilir. Kurs əsas proqramlaşdırma bacarıqları ilə tanış olan istifadəçilər üçün nəzərdə tutulmuşdur.

Kursda test tapşırıqları iki növə bölünür: materialı möhkəmləndirmək və öyrənilən bacarıqları tətbiq etmək yollarını tapmaq. Həll yolları sistem tərəfindən yoxlanılır.

"Python Proqramlaşdırmanın Əsasları" kursu

Dil: İngilis.

Səviyyə: ilkin.

Şagirdlər üç əsas mövzunu öyrənirlər: funksiyalardan istifadə, siniflər yaratmaq və istifadə etmək. Son dərs yaratmağa həsr olunub öz layihələri. Təlim mini-layihələr üzərində işləməyə və mühüm anlayışları öyrənməyə əsaslanır. Kurs proqramçı olmaq istəyən və ya onlarla işləməyi planlaşdıranlar üçün nəzərdə tutulub.

“R-də proqramlaşdırmanın əsasları” kursu

Dil: Rus.

Səviyyə: ilkin.

Bu kursda müəllimlər R-yə konkret problemlərin həlli üçün bir vasitə kimi deyil, proqramlaşdırma dili kimi baxırlar. Tələbələr əsas məlumat növlərini və universal semantik qaydaları, həmçinin məlumatların təhlili və emalı ilə bağlı mövzuları öyrənirlər.

“R-də məlumatların təhlili” kursu

Dil: Rus.

Səviyyə: orta.

Tələblər: Statistika üzrə əsas biliklər.

Müəllimlər R dilindən istifadə edərək məlumatların təhlilinin əsas mərhələlərini izah edirlər Statistik təhlil R, məlumatların oxunması və əvvəlcədən işlənməsi, əsas statistik metodların tətbiqi və nəticələrin vizuallaşdırılması.

“Məlumat Elmində R Proqramlaşdırma” kursu

Dil: İngilis.

Səviyyə: orta.

Tələblər: Kurs statistik layihələr üzərində işləmək üçün R biliyinə ehtiyacı olan analitiklər üçün nəzərdə tutulub.

Kurs Microsoft tərəfindən Danimarka Texniki Universiteti ilə birlikdə hazırlanmışdır. Kurs R-nin əsaslarını əhatə edir, sizə məlumatları oxumağı və yazmağı, onunla işləməyi və nəticə əldə etməyi öyrədir. Müəllimlər həmçinin R-dən istifadə edərək proqnozlaşdırıcı analitikanın necə həyata keçiriləcəyini və verilənlərin vizuallaşdırılmasını izah edirlər.

DataCamp Layihəsi

Dil: İngilis.

Səviyyə: ilkin.

DataCamp təlim sisteminin interfeysi

DataCamp elm, statistika və maşın öyrənmə mövzularında R və Python öyrənmək üçün interaktiv kurslar təklif edir. Layihə məlumatlarla işləməyə diqqət yetirir. DataCamp RStudio, Continuum Analytics, Microsoft ilə əməkdaşlıq edir və aparıcı şirkətlərdən Pfizer, Liberty Mutual, H2O, DataRobot və başqalarından müəllimləri cəlb edir.

Pulsuz abunə əsas kurslara və ödənişli kursların birinci fəslinə giriş imkanı verir. Limitsiz giriş əldə etmək üçün ayda 29 dollara və ya ildə 300 dollara abunə satın almalısınız.

Statistika və maşın öyrənməsi sahəsində biliklər

"Statistikanın əsasları" kursu

Dil: Rus.

Səviyyə: ilkin.

Kurs tədqiqat zamanı əldə edilən məlumatların təsvirinə yanaşmaları, statistik təhlilin əsas anlayışlarını, əldə edilmiş məlumatların şərhini və vizuallaşdırılmasını araşdırır. Əsas vurğu metodları və hesablama düsturlarını müəyyən edən riyazi fikirlərə, intuisiyaya və məntiqə verilir.

“Alqoritmlər: nəzəriyyə və təcrübə. Metodlar »

Dil: Rus.

Səviyyə: orta.

Tələblər: proqramlaşdırma dillərindən birini bilmək: looplar, massivlər, siyahılar, növbələr.

Kurs əsas alqoritmik metodları əhatə edir: “acgöz” alqoritmlər, “böl və fəth et” metodu, dinamik proqramlaşdırma. Bütün metodlar üçün müəllimlər düzgünlüyün riyazi sübutunu və vaxt təxminlərini göstərirlər.

Kurs həmçinin C++, Java və Python dillərində alqoritmlərin tətbiqi xüsusiyyətlərini əhatə edir. Kursun əhatə etdiyi alqoritmlərin əksəriyyəti tapşırıqların bir hissəsi kimi proqramlaşdırılmalıdır.

"Təsviri statistikaya giriş" kursu

Dil: İngilis.

Səviyyə: ilkin.

Kurs iştirakçıları verilənləri təsvir etmək üçün istifadə olunan əsas anlayışlarla tanış olacaqlar. Müəllimlər tədqiqat metodlarından danışacaq, statistik dəyərləri hesablamaq və şərh etməyi öyrədəcək, sadə ehtimalları hesablayacaqlar. Şagirdlər paylanma qanunlarını öyrənəcək və məlumatların ehtimal proqnozlarını yaratmaq üçün onlarla manipulyasiya etməyi öyrənəcəklər.

"Statistik nəticəyə giriş" kursu

Dil: İngilis.

Səviyyə: ilkin.

Tələblər: “Təsviri Statistikaya Giriş” kursunu keçmək.

Kurs qeyri-aşkar məlumatların nəticələrinin öyrənilməsinə həsr edilmişdir. Şagirdlər nümunə statistikasından istifadə edərək parametrlərin qiymətləndirilməsini öyrənəcək və fərziyyələri və etimad intervallarını sınamağı öyrənəcəklər. Müəllimlər t-testləri və dispersiya, korrelyasiya və reqressiyanın təhlili və statistik fərziyyələri yoxlamaq üçün digər üsulları izah edəcəklər.

“Məlumat Elminə Giriş” kursu

Dil: İngilis.

Səviyyə: orta.

Tələblər: Əsas Python proqramlaşdırma bacarıqları.

Kurs iştirakçıları məlumat elminin əsas anlayışlarını öyrənəcəklər: məlumatların idarə edilməsi, statistik metodlardan istifadə edərək verilənlərin təhlili və maşın öyrənməsi, məlumatların ötürülməsi və vizuallaşdırılması, böyük verilənlərlə işləmə.

"Maşın öyrənməsinə giriş" kursu

Dil: Rus.

Səviyyə: orta.

Tələblər: riyaziyyatın əsaslarına dair biliklər (funksiyalar, törəmələr, vektorlar, matrislər), Python proqramlaşdırma bacarıqları.

Kurs maşın öyrənməsindən istifadə etməklə həll edilən problemlərin əsas növlərini araşdırır: təsnifat, reqressiya və klasterləşdirmə. Şagirdlər modellərin keyfiyyətini qiymətləndirməyi və müəyyən bir problemin həlli üçün modelin uyğun olub-olmadığına qərar verməyi öyrənəcəklər. Müəllimlər öyrənilən modelləri həyata keçirən müasir kitabxanalar və onların keyfiyyətinin qiymətləndirilməsi üsulları haqqında danışacaqlar.

"Məlumat Elmi: Vizuallaşdırma" kursu

Dil: İngilis.

Səviyyə: ilkin.

Kurs məlumatların vizuallaşdırılması və kəşfiyyat xarakterli məlumatların təhlilinin əsaslarını öyrədir. Tələbələr fərdi süjetlər yaratmaq üçün R paketindən ggplot2 istifadə etməyi öyrənəcəklər. Müəllim verilənlərlə işləyərkən yol verilən əsas səhvlərdən də danışacaq.

"Süni intellektə giriş" kursu

Dil: İngilis.

Səviyyə: ilkin.

Tələblər: Laboratoriyalar Microsoft Azure-a əsaslanır və Azure abunəsi tələb olunur.

Kurs iştirakçıları proqnozlaşdırıcı modellər yaratmaq üçün maşın öyrənməsindən necə istifadə etməyi öyrənəcəklər. Kursun müəllimləri sizə nə deyəcəklər proqram təminatı təbii dilin, şəkillərin və videoların işlənməsi və təhlili üçün zəruridir. Tələbələr həmçinin intellektual chatbotların necə yaradılacağını öyrənəcəklər.

"Maşın öyrənmə" kursu

Dil: İngilis.

Səviyyə: ilkin.

Kurs iştirakçıları öyrənəcəklər təsirli üsullar maşın öyrənmək və onların həyata keçirilməsində praktiki bacarıqlar əldə etmək. Müəllimlər də danışacaqlar ən yaxşı təcrübələr Maşın öyrənməsi və süni intellekt sahəsində Silikon Vadisi.

Kurs maşın öyrənməsi, verilənlərin öyrənilməsi və tanınmasına geniş giriş təqdim edir statistik modellər. Kurs Case Studies və praktiki təcrübə- tələbələr “ağıllı” robotlar yaratmaq, mətni təhlil etmək üçün öyrənmə alqoritmlərindən istifadə etməyi öyrənəcək, kompüter görmə, tibbi informatika, audio, verilənlər bazası istehsalı və digər sahələrdə bacarıqlar əldə edəcəklər.

Böyük verilənlərin emalı

Hadoop kursu. Böyük həcmli məlumatların emalı sistemi »

Dil: Rus.

Səviyyə: orta.

Hadoop böyük həcmli məlumatların işlənməsi üçün məşhur açıq mənbə sistemlərindən biridir. Sistemin istifadəçiləri arasında Facebook, Twitter, Yahoo!, Bing, Mail.ru var. Şagirdlər böyük həcmli məlumatların saxlanması və işlənməsinin əsas üsullarını öyrənəcəklər. Həmçinin, kurs tələbələri tətbiqlərdən istifadə edərək inkişaf etdirməyi öyrənəcəklər proqram modeli MapReduce.

"Hadoop və MapReduce-a giriş" kursu

Dil: İngilis.

Səviyyə: orta.

Xüsusi tələblər

Kurs iştirakçıları Hadoop-un əsaslarını öyrənəcək və böyük verilənlərlə işləmək üçün ondan necə istifadə etməyi öyrənəcəklər. Müəllimlər sizə Hadoop-un hansı problemləri həll etdiyini və HDFS və MapReduce anlayışlarını izah edəcəklər. Kursun sonunda tələbələr MapReduce proqramından istifadə edərək proqram yazmağı öyrənəcək və müstəqil olaraq problemlərin həlli təcrübəsi qazanacaqlar.

"MongoDB istifadə edərək məlumatların transformasiyası" kursu

Dil: İngilis.

Səviyyə: orta.

Xüsusi tələblər: Əsas Python proqramlaşdırma bacarıqları.

Verilənlərin transformasiyası sonradan işləməyi asanlaşdırmaq üçün verilənlərin təmizlənməsi prosesidir. Bəzi elm adamları hələ də xərcləyirlər ən çox vaxt. Kursda tələbələr ümumi istifadə olunan formatlardan məlumat toplamaq və çıxarmaq yollarını öyrənəcəklər. Tələbələr məlumatların keyfiyyətini qiymətləndirməyi və araşdırmağı öyrənəcəklər ən yaxşı üsullar MongoDB istifadə edərək məlumatların təmizlənməsi - aparıcı NoSQL verilənlər bazalarından biri.

Böyük verilənlərlə işləmək

UCI Machine Learning

Resurs icma üçün 425 məlumat dəstini dəstəkləyir maşın öyrənməsi. Xidmət maşın öyrənmə metodlarının praktiki öyrənilməsi üçün istifadə edilə bilən yüksək keyfiyyətli, real və başa düşülən maşın öyrənmə məlumat dəstləri təklif edir.

Kaggle

Platforma tədqiqatçılar üçün müsabiqələr təklif edir müxtəlif səviyyələrdə onların modellərini ciddi və müvafiq məlumatlar üzərində sınaqdan keçirə biləcəkləri təlim. Kaggle ən yaxşı həll üçün pul mükafatı təqdim edir.

KDnuggets siyahısı

KDnuggets biznes analitikası, böyük məlumat, proqnozlaşdırıcı təhlil, məlumat elmi və maşın öyrənməsi. Layihənin müəllifləri bir səhifədə emal üçün 78 açıq məlumat mənbəyi toplayıblar.

Joe Rickert siyahısı

Joe Ricker R icmasının daimi iştirakçılarından biridir. O, R sistemində təhlil üçün açıq məlumatları tapa biləcəyiniz saytların siyahısını tərtib etdi.

Sberbank Technologies-in Super Data Competence Center-in İT mühəndisi Diana Borisovadan siyahıya şərh verməsini və bəyəndiyi digər kurslar barədə məlumat verməsini xahiş etdik.

Öz-özünə təlimat kitabçası "Yeni başlayanlar üçün Python 3"- əla dərslər. Material qısa və mövzu ilə bağlı təqdim olunur. Bu sayta təkcə təcrübəsiz proqramçılar deyil, həm də təcrübəli uşaqlar müraciət edirlər.

Yaxşı "Pythonda proqramlaşdırma" Python öyrənməyə başlayanlar üçün uyğundur. Bu işləyir, amma ən yaxşısı deyil. Əsaslar uzun müddət izah olunur - dərsliyə müraciət etmək daha yaxşıdır.

Müsbət cəhətlər odur ki, tapşırıqlar alqoritmik təfəkkür inkişaf etdirir, mənfi cəhətlər ən yaxşısı deyil optimal həll bəzi problemlər (müəyyən funksiyaları bilməklə, onları 15 əvəzinə iki sətirdə həll edə bilərsiniz).

HAQQINDA "Python: Əsaslar və Tətbiqlər"Çox yaxşı rəylər eşitmişəm. Yeni başlayanlar üçün çətin olacaq. Buna görə də əsaslarla tanış olanlar üçün daha uyğundur.

"R proqramlaşdırmanın əsasları"- R öyrənməyə başlayanlar üçün yaxşı kursdur. Təqdimat aydın və strukturlaşdırılmışdır, praktiki tapşırıqlar var və vacib detallara diqqət yetirirlər.

Yaxşı "R-də məlumatların təhlili" Müəllim əladır, kurs da əladır. R-də riyazi statistika və proqramlaşdırmanın əsaslarını öyrəndikdən sonra bu kurs mütləqdir.

"Statistikanın əsasları"- yeni başlayanlar üçün əla kurs. Nəzəriyyə sübutlara dalmadan və çoxlu sayda düsturlar olmadan sadə və başa düşülən nümunələrdən istifadə etməklə təqdim olunur. Təcrübə nəzəriyyəni möhkəmləndirməyə kömək edir.

Yaxşı “Alqoritmlər: nəzəriyyə və təcrübə. Metodlar" Proqramlaşdırma nəzəriyyəsinin yaxşı təqdimatı ilə tanınan Kompüter Elmləri Mərkəzi tərəfindən təşkil edilmişdir. İskəndər mərkəzin ən yaxşı müəllimlərindən biridir.

Kurs, artıq alqoritmlər haqqında bir qədər anlayışı olanlar üçün uyğundur. Praktik tapşırıqlar Onlar materialı birləşdirməyə kömək edir, bəzi tapşırıqlar daha uzun oturmanızı tələb edir.

Heç kim bu mövzunu kursun müəllimi Andrey Raiqorodskidən yaxşı izah edə bilməz. Hər şeyi izah edir, aydın misallar gətirir. Kurs mütləq diqqətə layiqdir.

Statistikanın əsaslarını öyrəndikdən sonra bu mövzuda biliklərinizi dərinləşdirməyə və ikinci kursa davam edə bilərsiniz. Anatoli Karpov materialı mümkün qədər aydın və sadə şəkildə təqdim edir.

Bioinformatika İnstitutundan daha bir möhtəşəm kurs. Yeni başlayanlar üçün bir az çətin ola bilər. Ancaq kurs istənilən halda diqqətə layiqdir.

Sayt Python-da proqramlaşdırmanın əsaslarını öyrənməyə kömək edəcək. İş birbaşa brauzerdə baş verir. Əvvəlcə məqaləni oxuyursunuz, sonra asandan mürəkkəb səviyyələrə qədər bir çox praktiki problemləri həll edirsiniz.

Kursdan yaxşı rəylər. Hesab edirəm ki, riyazi aparatı axsaq olanlar üçün kurs mütləqdir. Nəzəriyyə ilə təcrübənin birləşməsindən daha yaxşı bir şey düşünə bilməzsiniz.

Diana Borisova

Sberbank Technologies Super Data Competence Center-də İT mühəndisi


İşəgötürənlər arasında keçirilən sorğunun nəticələri göstərir ki, Big Data mütəxəssisləri şirkətlərin 6%-də çalışır. Big Data analitiklərinə əsas tələb İT və telekommunikasiya şirkətləri, banklar və böyük pərakəndə satış şəbəkələrindən gəlir.

Sual: "Şirkətiniz böyük həcmdə məlumatların (Big Data, Data Scientist) təhlili üçün mütəxəssisləri işə götürürmü?"

Mümkün cavab Bütün fəaliyyət sahələri İT/Telekom Banklar Pərakəndə
Bəli 6% 21% 17% 13%
Yox 75% 60% 50% 45%
Cavab verməkdə çətinlik çəkirəm 19% 19% 33% 42%

Şərhlərində nümayəndələr böyük şirkətlər böyük verilənlərin analitikasının mühüm biznes sahəsi olduğunu qeyd edib.

“Böyük məlumat analitikləri Rəqəmsal bölmənin bir hissəsidir. Bu, bizim üçün strateji istiqamətdir, birbaşa hesabat verir baş direktora. Bir ildən az əvvəl bu formatda bölmə yaradılıb. Bizim işimiz qəbulla bağlıdır böyük məbləğ data, ona görə də analitika bizim üçün çox vacibdir. Bizim çox güclü komandamız və çox iddialı hədəflərimiz var”, - telekommunikasiya operatorunun nümayəndəsi deyir.

“Bankda bu cür mütəxəssislərə tələbat olan 15-ə yaxın sahə/layihəmiz var. Hər bir layihənin öz mütəxəssislərinə ehtiyacı var və onlar müxtəlif məlumatları təhlil edə bilərlər”, - iri kommersiya bankından işə götürən şəxs şərh edir.

İşə qəbul üzrə mütəxəssislər böyük data analitiklərinin seçilməsində ixtisaslı kadr çatışmazlığı və səriştələrin qiymətləndirilməsi meyarlarının olmaması səbəbindən yaranan bir sıra çətinlikləri qeyd ediblər: “İxtisas və ekspertiza səviyyəsini qiymətləndirmək çətindir. Bizdə çox var yüksək tələblər. Analitik qabiliyyətləri yoxlayan testlərlə müsahibənin bir neçə mərhələsi ilə çox mərhələli seçim həyata keçiririk. Çox çoxlu sayda namizədlər sıradan çıxarılır”.

“Biz hamımız uğur qazanmış mütəxəssislər istəyirik, lakin bazarda onların sayı azdır. İnsanın səviyyəsini müəyyən etmək çətindir, çünki vəzifələr fərqlidir və onun təcrübəsinin bizim üçün adekvat olub-olmayacağı tam aydın deyil”, - iri kommersiya bankının nümayəndəsi əlavə edir.

Böyük məlumat analitikləri üçün ümumi iş başlığının olmaması və standart iş öhdəlikləri hovuzunun olmaması səbəbindən işə qəbulla bağlı çətinliklər artır.

Böyük verilənlərlə işləməyi əhatə edən işlərin tamamilə fərqli adları ola bilər, məsələn: böyük məlumat analitiki; riyaziyyatçı/riyaziyyatçı-proqramçı; sistem təhlili meneceri; böyük məlumat memarı; biznes analitiki; BI analitiki; informasiya analitiki; Data Mining mütəxəssisi; maşın öyrənmə mühəndisi.

Big Data mütəxəssislərini 2 sahəyə bölmək olar:
Big Data mühəndisləri - in daha böyük dərəcədə məlumatların saxlanması, konvertasiyası və onlara tez daxil olması üçün məsuliyyət daşıyır;
Big Data analitikləri - böyük verilənlərin təhlili, əlaqələrin müəyyən edilməsi və modellərin qurulması üçün məsuliyyət daşıyırlar.

IN iş öhdəlikləri Big Data analitikasına daxildir:

Onların sonrakı əməliyyat emalının mümkünlüyü üçün məlumatların toplanması prosesinin qurulması;
istehlakçı davranışının təhlili və proqnozlaşdırılması, seqmentləşdirmə müştəri bazası(klasterləşdirmə, təsnifat, modelləşdirmə, proqnozlaşdırma);
məhsul təkliflərinin fərdiləşdirilməsi;
daxili proseslərin və əməliyyat fəaliyyətlərinin səmərəliliyinin təhlili;
təhlilin nəticələrinə əsasən cari proseslərin optimallaşdırılması üçün həllərin işlənib hazırlanması;
risklərin təhlili, şübhəli əməliyyatlar, saxtakarlığın aşkarlanması;
müxtəlif mənbələrdən (çoxkanallı satış, marketinq, internet) məlumatların tamlığının və qarşılıqlı əlaqəsinin təmin edilməsi;
nəticələrin qiymətləndirilməsi üçün dövri hesabatların yaradılması, məlumatların vizuallaşdırılması və təqdimatı.

Big Data analitiklərinin maaşları və onların peşəkar bacarıqlarına olan tələblər

Əmək haqqı diapazonu Peşəkar bacarıqlara olan tələblər və arzular
- Ali təhsil(riyaziyyat, riyazi statistika)
- Riyazi statistika metodları, verilənlərin təhlili alqoritmləri və riyazi modelləşdirmə üzrə biliklər
- Bilik müasir texnologiyalar böyük məlumatların emalı
- Relational verilənlər bazası və SQL dilinin əsaslarını bilmək
- Bilik ingiliscə texniki sənədləri oxumaq səviyyəsində
80.000 - 110.000 rub. - Əla analitik bacarıqlar, problemlərin həllində yeni yollar görmək bacarığı
- SPSS, R, MATLAB, SAS Data Miner, Tableau statistik alətlərdə işləmə bacarığı
- Statistik məlumatların təhlili, qurulması üsullarını dərindən bilmək riyazi modellər(neyron şəbəkələri, Bayes şəbəkələri, klasterləşmə, reqressiya, faktor, variasiya və korrelyasiya təhlilləri və s.)
- Böyük məlumat dəstləri və əlaqəli verilənlər bazaları ilə işləmək təcrübəsi
- Asılılıqları və nümunələri müəyyən etməklə böyük həcmdə məlumatların təhlili təcrübəsi
- Məlumatların vizuallaşdırılması vasitələri ilə təcrübə (o cümlədən qrafiklərin qurulması üçün)
- Ən azı 1 il Big Data analitiki kimi iş təcrübəsi
- Python/Ruby/Perl skript proqramlaşdırma dilləri üzrə biliklər
- Maşın öyrənmə təcrübəsi
- Hadoop, Google böyük cədvəlindən istifadə təcrübəsi
- Ən azı 2 il Big Data analitiki kimi iş təcrübəsi

Mümkün arzu: səlis və ya danışıq səviyyəsində ingilis dili biliyi

- Kommersiya baxımından uğurlu kompleks davranışların qurulması təcrübəsi hədəf auditoriyası data mining alətlərindən istifadə etməklə
- Ən azı 3 il Big Data analitiki kimi iş təcrübəsi

Mümkün arzular:
- Big Data sahəsində elmi nəşrlərin mövcudluğu;
- Big Data ilə işləmək üçün sistemlərin tətbiqi təcrübəsi

Bloq yerləşdirmə kodu

Böyük məlumat analitiki

Superjob portalının tədqiqat mərkəzi Moskvada “Böyük Məlumat Analitiki” vəzifəsinə işəgötürənlərin təkliflərini və müraciət edənlərin gözləntilərini öyrənib.

  • Köhnəlmiş məlumatlar
  • Müxtəlif mənbələrdən məlumatları birləşdirməyə, zənginləşdirməyə və Biznes Kəşfiyyat sistemlərində istifadəyə hazırlamağa kömək edən kimi məhsul məlumatların yüklənməsi mərhələsində bir çox problemin həllinə kömək edə bilər.

    Məlumatların təhlili

    Artıq lazımi və vacib məlumatların uyğun miqdarı varmı? İndi onları saxlamaqla yanaşı, təhlil etmək lazımdır. Məlumatların təhlili bir çox biznes suallarına cavab verməyə, əsaslandırılmış qərarlar qəbul etməyə, müştərinizi “görməyə” və anbar və logistika proseslərini optimallaşdırmağa kömək edəcək. Ümumiyyətlə, verilənlərin təhlili istənilən sahədə, istənilən şirkətdə, istənilən səviyyədə vacibdir və lazımdır.

    Məlumatların təhlili həlli üç əsas blokdan ibarətdir:

    • Məlumat anbarı;
    • ETL prosedurları (məlumatların çıxarılması, çevrilməsi və yüklənməsi);
    • Hesabat və vizual analitika sistemi.

    Bütün bunlar olduqca mürəkkəb görünür, amma əslində o qədər də qorxulu deyil.

    Müasir analitik həllər

    Analitik heyəti olmayan şirkətlər nə etməlidir? Və proqramçı-developer yoxdur? Ancaq analitika etmək istəyi var!

    Əlbəttə ki, həll yolu var. Hal-hazırda bazarda analitika üçün kifayət qədər avtomatlaşdırılmış sistemlər var və - nə vacibdir! - məlumatlarınızın vizuallaşdırılması.

    Belə sistemlərin üstünlükləri nələrdir (növ):

    • Tez həyata keçirmək bacarığı (proqramı yükləyin və ən azı dizüstü kompüterinizə quraşdırın)
    • Mürəkkəb İT və ya riyazi biliyə ehtiyac yoxdur
    • Aşağı qiymət (2018-ci ilin mart ayından lisenziya üçün ayda 2000 rubldan)

    Beləliklə, hər hansı bir şirkət belə bir analitik məhsulu həyata keçirə bilər: nə qədər işçi işlətməsinin əhəmiyyəti yoxdur. Tableau həm fərdi sahibkarlar, həm də böyük şirkətlər üçün uyğundur. 2018-ci ilin aprel ayında BMT Tableau-nu dünyadakı bütün ofisləri üçün analitik platforma kimi seçdi!

    Belə avtomatlaşdırılmış analitika sistemləri ilə işləyən şirkətlər qeyd edirlər ki, əvvəllər qurulması 6 saat çəkən cədvəl hesabatları Tableau-da sözün əsl mənasında 10-15 dəqiqə ərzində toplanır.

    Mənə inanmırsan? Özünüz cəhd edin - Tableau-nun pulsuz sınaq versiyasını yükləyin və proqramla işləmək üçün təlim materialları əldə edin:

    Cədvəl yükləyin

    Tableau Desktop proqramının tam versiyasını PULSUZ, 14 gün yükləyin və Tableau biznes analitikası üzrə təlim materiallarını HƏDİYYƏ əldə edin.

    Məlumatların təhlili üçün müxtəlif platformaların və vasitələrin böyük çeşidi qabaqcıl müəssisə məlumatlarının təhlili əsasında biznes prosesi qurmaq vəzifəsi ilə üzləşmiş hər bir mütəxəssisi çaşdıra bilər. Bu gün maşın öyrənməsi və dərin məlumat təhlili artıq yeni bir şey deyil. Bu məcburi bir maddədir, onsuz bir iş müasir dünyada normal rəqabət apara bilməyəcək. Toplanmış məlumatların təhlili biznes fəaliyyətinin yaxşılaşdırılmasının açarıdır. Ancaq bunun üçün məlumatların təhlili üçün alətlərə sahib olmalı və işləməlisiniz. Hansılar? Gəlin bu məsələyə baxaq. Biz sizin üçün bazarda çərçivələrin, platformaların, həllərin və qabaqcıl analitik sistemlərin ən tam siyahısını tərtib etdik.

    Görünür, paylanmış hesablamanın aşağı qiyməti və emal sürəti Big Data üçün Hadoop-u bütün digər proqram məhsulları ilə eyni dəyərə gətirir. Açıq mənbəli Big Data platformalarının hər hansı bir siyahısı dəmirdən doğulmuş fildən başlayır, lakin Hadoop yeganə təməl daşı deyil.

    1 Hadoop

    Presto ANSI SQL-i dəstəkləyir, yəni JSON, ARRAY, MAP və ROW-a əlavə olaraq siz standart SQL məlumat tiplərindən, pəncərələmə funksiyalarından, statistik və təqribi məcmu funksiyalardan istifadə edə bilərsiniz.

    Hive ilə müqayisədə Presto istifadəçi tərəfindən müəyyən edilmiş funksionallığın dizaynında, qurulmasında və tətbiqində daha çox iştirak etmənin dezavantajına malikdir. Bununla belə, Presto Big Data təhlili üçün ən yaxşı açıq mənbə mühərriklərindən biri hesab olunur.

    7 Qazma

    9 IBM SPSS Modeler

    IBM SPPS Modeler platforması yeni başlayanlar üçün giriş üçün aşağı maneə olan RapidMiner-in kommersiya rəqibidir. Başlayanlar üçün başa düşülmə "avtopilot" rejimləri ilə təmin edilir. Avtomatik modellər (Avtomatik Rəqəm, Avtomatik Təsnifat) müxtəlif parametrlərə malik bir neçə mümkün modeli çeşidləyir, onların arasında ən yaxşısını müəyyən edir. Çox təcrübəli olmayan analitik belə bir həll əsasında adekvat model qura bilər.

    SPSS-in əsas xüsusiyyətlərinə aşağıdakılar daxildir:

    SPSS-in istifadəçi interfeysi daim təkmilləşərək sistemi intuitiv edir. Düsturlar yaratmaq kimi sadə tapşırıqların yerinə yetirilməsi heç bir hazırlıq tələb etmir. Bütün bunlar IBM SPSS Modeler-i yeni başlayanlar üçün məlumatların təhlili üçün yaxşı həll edir.

    IMB SPSS Modeler-in bütün üstünlükləri böyük bir istifadəçi auditoriyasını kəsən bir çatışmazlıq ilə kölgədə qala bilər. Məsələ ondadır ki, bu sistem Big Datanın təhlili üçün ən yaxşı vasitə deyil. SPSS-dən istifadəni asanlaşdıran atributlar böyük miqyaslı Big Data yanaşmaları üçün çox məhduddur. Çox pis hallarda, SPSS sadəcə həddindən artıq yüklənmə səbəbindən çökür.

    Bununla belə, IBM SPSS Modeler istifadəsi asanlığı və sadə interfeysi sayəsində populyar bir həll olaraq qalır.

    10 KNIME

    Qlik analitik platforması adətən iyerarxik məlumat modellərində gizlədilən çoxsaylı məlumat mənbələri arasında əlaqələr qurmağa imkan verən QIX assosiativ məlumat indeksləşdirmə mühərrikinə tam giriş təklif edir. “Hiylə” ondan ibarətdir ki, Qlik tərəfindən digər həlləri yaratarkən istifadə edilən QIX-dir. QIX Mühərriki RAM-da verilənlərin sütunlu düzülüşündən istifadə edir ki, bu da verilənlərin indeksləşdirilməsi və sıxılması zamanı yüksək performans təmin edir. Praktikada bu, ilk növbədə mümkün istifadəçi sorğularını müəyyən etməyə ehtiyac olmadan, verilənlərin əldə edilməsini daha sərbəst formada həyata keçirməyə imkan verir. Öz növbəsində proqramçılar Big Data texnologiyaları əsasında tətbiqləri daha tez yarada, istifadəçilər isə cavabları tez ala bilərlər.

    Qlik Analytics Platforma arxitekturasına aşağıdakı elementlər daxildir:

    1. Qlik İdarəetmə Konsolu (QMC) və Dev Hub.
    2. Tətbiq proqramlaşdırma interfeysləri (API) və Qlik Sense inkişaf dəstləri (SDK).
    3. Qlik Engine və Qlik Sense dəstək xidmətləri.

    Qlik data analitika platforması analitik proqramlar, informasiya xidmətləri və ya Əşyaların İnterneti platformalarını inkişaf etdirmək üçün istifadə edilə bilər. Və sistemin yaxşı vizual və interaktiv imkanlarla təmin edilməsi istifadəçiyə mövcud məlumatları daha yaxşı araşdırmaq imkanı verir.

    12

    Bu, Rusiya tərəfindən hazırlanmış platformadır. Sistem Data Mining üçün metodların ən tam dəstini təqdim edir. Xüsusilə, STATISTICA Data Miner yüz minlərlə mümkün proqnozlaşdırıcı arasından funksiyaları effektiv şəkildə seçməyə imkan verən ilkin emal, filtrləmə və məlumatların təmizlənməsi üçün alətlər tətbiq edir.

    Bu platformanın özəlliyi açıq-aşkar ixrac/idxal əməliyyatları həyata keçirmədən belə verilənlər bazalarına birbaşa çıxış əldə etmək imkanıdır. Proqram demək olar ki, bütün standart fayllardan məlumatları emal edə, oxuya və yaza bilər. Proqnozlaşdırma modellərinin özləri müxtəlif formatlarda (PMML, C++, C#, Java, SAS, verilənlər bazasında saxlanılan prosedurlar) yaradıla bilər.

    İstifadəçilər qeyd edirlər ki, modelləri avtomatik quran daxili Data Mining Wizard sayəsində STATISTICA Data Miner proqram təminatının hazırlanması ilə məşğul olmayan insanlar (məsələn, marketinq analitikləri) üçün əladır. Bununla belə, geniş spektrli klaster metodları, neyron şəbəkə arxitekturaları, təsnifat və reqressiya ağacları, çoxvariantlı modelləşdirmə, ardıcıllıq təhlili, assosiasiyalar və əlaqələr bu platformanı mütəxəssisin əlində güclü alətə çevirir.

    Onu da qeyd edirik ki, şirkət bu yaxınlarda yeni məhsulunu – STATISTICA Big Data Analytics-i təqdim edib ki, bu da adından göründüyü kimi Big Datanın təhlili üçün proqram təminatının siyahısını tamamlayır. Bu platforma genişləndirilə bilər; MapReduce istifadə edərək seçimlər yarada, Lucene/SOLR mühərrikində axtarış edə, Mahout analitikasını apara, buludda və Təbii Dil Emalı mətni ilə işləyə bilər. Və STATISTICA Big Data Analytics-i STATISTICA Enterprise-in korporativ versiyası ilə inteqrasiya etsəniz, bu, Böyük Məlumat analitikasını müəssisə səviyyəsində həyata keçirməyə imkan verəcək.

    13 Informatica Ağıllı Məlumat Platforması

    Informatica öz inkişafını “virtual məlumat yolu” adlandırır. Informatica Ağıllı Məlumat Platforması ən populyar məlumat və formatlarla işləyə bilən ağıllı və idarəetmə xidmətləri təqdim edir: veb, sosial şəbəkələr, maşın qeydləri.

    Bu ağıllı məlumat analitik platforması, korrelyasiya edilmiş məlumatları bir dəfə inteqrasiya etməyə və sonra onu bir neçə mühitdə işlətməyə imkan verən virtual mühərrik olan Vibe-ni ehtiva edir. STATISTICA Data Miner kimi, Informatica IDP də sürüklə və burax interfeysinə əsaslanır, yəni istifadəçi yalnız lazımi elementləri iş mühitinə sürükləməlidir və bütün təlimatlar sistem tərəfindən avtomatik olaraq yaradılır.

    Informatica Intelligent Data Platform-un əsas xüsusiyyəti onun eyni semantik dalğa uzunluğunda strukturlaşdırılmış, yarı strukturlaşdırılmış və strukturlaşdırılmamış məlumatların daxil edilməsinə yanaşmasıdır. Xəritəçəkmə, evristika və nümunə uyğunlaşdırma yanaşmaları sayəsində bu məlumatlar arasında anlaşma mümkündür.

    Big Data texnologiyaları ilə işləmək üçün analitik vasitələrin hazırlanmasında aparıcı oyunçulardan biri hesab edilən Informatica şirkəti qürur duyur ki, IDP demək olar ki, bütün məlumatların idarə edilməsi kateqoriyalarında həm Gartner, həm də Forresterdən mükafatlar alan yeganə platformadır.

    Arxitektura baxımından Informatica İntellektual Məlumat Platforması 3 qatdan ibarətdir:

    1. Vibe istənilən növ məlumatı idarə etmək üçün yuxarıda qeyd olunan mühərrikdir. Vibe artıq quraşdırılmış olduğundan, o, yerindən və formatından asılı olmayaraq məlumatlara universal girişi təmin edir. Vibe virtual maşın kimi həyata keçirildiyi üçün mühərrik istənilən yerli server platformasında, Hadoop klasterlərində və ya bulud xidmətində işləyə bilər.
    2. Məlumat İnfrastruktur. İnfrastruktur məlumat təbəqəsi Vibe virtual maşınının üstündə oturur. Buraya istənilən platformaya, Hadoop klasterlərinə və ya bulud xidmətinə istənilən miqyasda təmiz, təhlükəsiz və əlaqəli məlumatların fasiləsiz çatdırılmasını avtomatlaşdırmaq üçün nəzərdə tutulmuş bütün xidmətlər daxildir.
    3. Məlumat Kəşfiyyatı. Ağıllı məlumat təbəqəsi Məlumat İnfrastrukturunun üstündə oturur. O, bütün platformadan metadata, semantik məlumatlar və digər məlumatları toplayır. Məlumat toplandıqdan sonra Data Intelligence sonrakı emalını asanlaşdırmaq üçün onu seqmentlərə ayırır. Bu təbəqənin rolu Big Datanın işlənməsi üsullarını təmin etməkdir. Söhbət real vaxt rejimində analitika, biznes kəşfiyyatı (BI), eləcə də əməliyyat kəşfiyyatından (OI) gedir. Və bu yaxınlarda Data Intelligence maşın öyrənməsi ilə Informatica IDP "bacarıqları" siyahısını genişləndirdi.

    Beləliklə, Informatica-dan verilənlərin təhlili platformasının əsas xüsusiyyətləri hər hansı bir tətbiqi istənilən cihaza, sistemli və qlobal məlumatlara qoşmağa imkan verən hibrid strukturdur, həmçinin məlumatların demokratikləşdirilməsidir ki, bu da istifadəçinin proqram təminatının hazırlanması tələbini aradan qaldırır. məlumat təhlili üçün hər hansı bir proqramlaşdırma dili üzrə bacarıq və biliklər.

    Data Lake məlumatların bir yaddaşda birləşdirilməsinə cavabdehdir. Bu komponent çoxlu sayda fərqli məlumatla əlaqəli məlumat silosunun saxlanmasının mürəkkəbliyini aradan qaldırır. Data Curator data gölündəki dəyərlərə əsaslanır və həm Data Lake-in özündən, həm də xarici mənbələrdən alınan bütün araşdırılmış və indeksləşdirilmiş məlumat dəstləri üçün vahid format təqdim edir. Dell EMC-yə görə, məlumat kuratoru data alimlərinin analitika üçün məlumat hazırlayarkən vaxtlarının 80%-nə qədərinə qənaət edir. Data Governor məlumatların mənşəyi haqqında məlumatları ehtiva edir və təhlil prosesi boyunca onun təhlükəsizliyini təmin edir. Məlumat kuratoru həmçinin məlumat dəstlərini uçdan-uca formatda görməyə və istifadə etməyə imkan verir.

    Ümumilikdə, Dell EMC Analytic Insights Modulu ilə istifadəçi:

    • Data Curator-dan istifadə edərək bütün məlumatları bir formatda araşdırmaq, istifadə etmək və indeksləşdirmək;
    • Data Governor ilə bütün tətbiqlərin və məlumat anbarlarının mənşəyini, idarə olunmasını və təhlükəsizliyini kəşf edin;
    • bütün vacib məlumatları dataya əsaslanan tətbiqlərə və biznes modellərinə çevirin.

    21 Windows Azure HDInsight

    Azure Machine Learning təkcə proqnozlaşdırıcı analiz modelləri yaratmaq imkanı vermir, həm də istifadəyə hazır veb xidmətləri kimi proqnozlaşdırıcı modelləri yerləşdirmək üçün istifadə oluna bilən tam idarə olunan xidmət təqdim edir.

    Bütün funksionallığına baxmayaraq, Azure Machine Learning-in nəhəng miqyasda maliyyə resurslarını mənimsədiyini söyləmək olmaz. Xidmət Azure ictimai buludunda işlədiyi üçün avadanlıq və ya proqram təminatı almağa ehtiyac yoxdur.

    Bəlkə də Azure Machine Learning bu gün maşın öyrənməsi ilə işləmək üçün ən yaxşı vasitədir.

    23 Pentaho Data Integration

    Pentaho Data Integration (PDI) sistemi məlumatların çıxarılması, çevrilməsi və yüklənməsi (ETL) prosesinə cavabdeh olan Pentaho kompleksinin tərkib hissəsidir. ETL sistemlərini məlumat saxlama kompleksinin bir hissəsi kimi istifadə etmək üçün nəzərdə tutulmasına baxmayaraq, PDI alətləri aşağıdakılar üçün istifadə edilə bilər:

    • proqramlar və ya verilənlər bazası arasında məlumat mübadiləsi;
    • verilənlər bazası cədvəllərindən verilənlərin fayllara ixracı;
    • məlumat massivlərinin verilənlər bazasına yüklənməsi;
    • verilənlərin emalı;
    • tətbiqlərə inteqrasiya.

    Pentaho kod yazmaq ehtiyacını aradan qaldırır, çünki bütün inkişaf prosesi vizual formada həyata keçirilir ki, bu da PDI haqqında metadata yönümlü sistem kimi danışmağa əsas verir. İstifadəçilər tablosundan və interaktiv qrafik alətlərdən istifadə edərək məlumatları bir neçə ölçüdə təhlil edə bilərlər.

    Pentaho Data Integration, məlumatları anbarlardan Big Data anbarlarına köçürən sürüklə və burax alətindən istifadə edərək böyük həcmli məlumatların inteqrasiyasını asanlaşdırır. Sistem həmçinin strukturlaşdırılmış məlumat mənbələrini yarı strukturlaşdırılmış və strukturlaşdırılmamış mənbələrlə tamamlaya və birləşdirə bilir ki, nəticədə vahid bir şəkil yarada bilsin.

    Alət tam fərdiləşdirilə bilər: vizuallaşdırmaların fərdiləşdirilməsi, interaktiv hesabatlar, tablosuna və xüsusi analizlərin hamısı istifadəçi üçün əlçatandır. PDI RESTful veb xidməti kimi sənaye standartları üzərində qurulmuş 100% Java platforması olduğundan, istənilən proqramla inteqrasiya problemsizdir.

    24 Teradata Aster Analytics

    Teradata Aster Analytics bir interfeys və sintaksis daxilində mətn, qrafika, maşın öyrənməsi, nümunələr və statistika ilə işləməyə imkan verən bir vasitədir. Biznes analitikləri və məlumat alimləri vahid sorğu işlətməklə müəssisə üzrə məlumatların hərtərəfli təhlilini apara bilərlər. Teradata Aster Analytics-də 100-dən çox inteqrasiya olunmuş qabaqcıl analitik sorğular var.

    Bu alət sizə Graph, R və MapReduce-u bir çərçivədə birləşdirməyə imkan verir. SQL əmrləri kimi yerinə yetirilən bütün funksiyaları və alətə daxil edilmiş bütün analitik mühərrikləri ilə Aster Analytics böyük həcmli məlumatların işlənməsi zamanı yüksək performans təmin edir.

    Teradata Aster Analytics Hadoop və Amazon Web Services ekosistemində mövcuddur.

    Hadoop-da Aster Analytics:

    1. Data gölünün istifadə hallarını genişləndirir. Aster Analytics dəmirdən doğulmuş fili SQL və ya R bacarıqları olan əksər biznes analitikləri üçün əlçatan edir.
    2. Doğma olaraq işləyir. İstifadəçilərin məlumatların təhlili üçün Hadoop-dan serverlərə məlumat köçürməsinə ehtiyac yoxdur.
    3. Tez analitikanı həyata keçirir. İstifadəçilər eyni verilənlər üzərində eyni Hadoop klasterində sandboxed və sandboxed mühitlər yarada bilərlər.

    AWS-də Aster Analytics:

    1. Biznesin investisiyanın qaytarılmasını sürətləndirir. Şirkət buludda tez analitik sandbox hazırlaya və inkişaf prosesini sürətləndirmək üçün daxil edilmiş SQL sorğularından istifadə edə bilər.
    2. Analitik çevikliyi artırır. Məlumat analitikinə güclü müxtəlif alətlər dəsti verilir: hər bir analitik Big Data ilə işləmək üçün uyğun alət tapa bilər.
    3. Maliyyə yükünü azaldır. Şirkətlər yeni avadanlığa ehtiyac olmadan daxili qabaqcıl analitika və məlumat dəstlərindən istifadə edə bilərlər.

    25

    Bu, resursları optimallaşdırmaq və şirkət daxilində gəlirliliyi artırmaq məqsədi daşıyan bir vasitədir.

    Mütəxəssis analitikasının çıxış modeli meneceri ilə inteqrasiyası daha sürətli, daha dəqiq proqnoz nəticələri verir və biznes proseslərinə və tətbiqlərə – istifadəçilərin qarşılıqlı əlaqədə olduğu sahələrə proqnozlaşdırıcı fikirlər gətirir.

    SAP BusinessObjects Predictive Analytics ilə siz:

    • məlumatların hazırlanması, proqnozlaşdırılan modelləşdirmə, yerləşdirməni avtomatlaşdırmaq və nəticədə modeli asanlıqla yenidən hazırlamaq;
    • tez nəticə çıxarmaq üçün qabaqcıl vizuallaşdırma imkanlarından istifadə edin;
    • çox sayda istifadəçi skriptinə girişi təmin etmək üçün R proqramlaşdırma dili ilə inteqrasiya etmək;
    • SAP HANA ilə əməkdaşlıq edir.

    SAP BusinessObjects Predictive Analytics müştərilərə daha təkmil interaktiv məlumat analitikası təqdim etmək üçün Spark-ın imkanlarını genişləndirir. Alətin cari versiyası SAP HANA Vora-ya qoşulmağa və avtomatik olaraq proqnozlaşdırıcı modelləşdirməni həyata keçirməyə imkan verir. Eyni Spark instansiyalarında yerli Spark simulyasiyasından istifadə edərək, SAP HANA Vora avtomatlaşdırılmış alqoritmlərin paylanmış emalını təmin edir.

    Qeyd edək ki, Forrester Research 2015-ci ilin aprelində SAP-a Big Data əsasında proqnozlaşdırıcı analitikada lider statusu verib.

    26 Oracle Big Data Hazırlanması

    Ölçeklenebilirlik üçün Hadoop və Spark üzərində qurulan Oracle-ın Big Data Preparation bulud xidməti analitiklərə strukturlaşdırılmış, yarı strukturlaşdırılmış və strukturlaşdırılmamış məlumatları emal üçün hazırlamaq üçün yüksək intuitiv və interaktiv üsul təklif edir.

    Yuxarıda təsvir edilən alətlərin əksəriyyəti kimi, Oracle Big Data Preparation işgüzar istifadəçilər üçün nəzərdə tutulub, ona görə də xidmətdən istifadə etmək asandır. Ölçeklenebilirlik klaster hesablama mühitində iterativ maşın öyrənməsi ilə işləməyə imkan verir. Oracle Big Data Preparation proqramının digər üstünlüyü bir sıra bulud xidmətləri ilə inteqrasiyadır.

    Bu alətin funksiyalarına gəlincə, onları 4 hissəyə bölmək olar: istehlak, genişləndirmə, idarəetmə və nəşriyyat, həmçinin intuitiv müəlliflik.

    İstehlak zamanı (inest) xidmət heterojen məlumatları idxal edir və işləyir, məlumatları təmizləyir (məsələn, əhəmiyyətsiz simvollardan), tarixləri, telefon nömrələrini və digər məlumatları standartlaşdırır, həmçinin lazımsız dublikat məlumatları hesablayır və silir.

    Zənginləşdirmə məlumat kateqoriyalarının müəyyən edilməsini və atributlar, xassələr və sxemlər baxımından onların xüsusiyyətlərinin müəyyən edilməsini, metaməlumatların aşkar edilməsini (sxemanın kəşfi başlıqlarda, sahələr və ya teqlərdə birbaşa və ya dolayısı ilə müəyyən edilmiş sxem/metaməlumatları müəyyən edir) daxildir.

    İdarəetmə və nəşrlər əlavə təfərrüatlı audit və təhlil üçün əlaqəli ölçülər və imkanlarla bütün işlənmiş məlumat dəstlərinin vahid qrafikini təmin edən interaktiv tablosuna aiddir. Öz növbəsində, müxtəlif nəşr formatları maksimum çeviklik təmin edir.

    Xülasə

    Biz Big Data həllərinin ən yaxşı istehsalçılarının məlumat təhlili üçün bir sıra alətləri nəzərdən keçirdik. Bildiyiniz kimi, həllərin əksəriyyəti açıq mənbədir, yəni açıq mənbə koduna malikdir. Həqiqətən çoxlu çərçivələr, verilənlər bazaları, analitik platformalar və digər alətlər var, ona görə də tapşırığı dəqiq başa düşməlisiniz. Məqsədinizə qərar verərək, tam məlumat təhlili aparmağa imkan verəcək düzgün aləti (və ya alətlər dəstini) asanlıqla seçə bilərsiniz.