prosojnice - LUKS - Univerza v Ljubljani
UMETNI INTELIGENTNI SISTEMI (UN2-1-IZB-UM.INTEL.SIS 2012/2013) UMETNA NEVRONSKA OMREŽJA Simon Dobrišek Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko TEME PREDAVANJA Model nevronskega sistema Vrste nevronskih omrežij Predkrmiljeno več-plastno omrežje Uporaba umetnih nevronskih omrežij Zgled hierarhičnega nevronskega modela Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko UMETNA NEVRONSKA OMREŽJA So model naravnih bioloških nevronskih sistemov Temeljijo na paralelnem obdelovanju podatkov Imajo sposobnost učenja in prilagajanja Z zelo enostavnimi sestavinami tvorijo zelo vsestransko obnašanje So zmogljiv sistem za reševanje problemov Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko MODEL NEVRONSKEGA SISTEMA dendriti telo nevrona jedro nevrona akson akson dražljaji sinapsa sinapsa mielitičen ovoj Nevronski sistem tvori množica podobnih elementov nevronov, ki so vseskozi povezani. Nevron sestavljajo vhodni dendriti, telo nevrona z jedrom in izhodni aksoni. Dražljaji iz aksona ene celice do dendritov druge celice potujejo preko sinaps. Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko ČLOVEKOV NEVRONSKI SISTEM Različen razvoj nevronskih celic v različnih delih možganov in hrbtenjače. Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko PRIMERJAVA Z RAČUNALNIKOM Ključna razlika med računalnikom in možgani je način obdelave podatkov procesnih enot velikost enot poraba energije hitrost obdelave 10 11 celic 10 14 sinaps 10 -6 m 30 W 100 Hz 10 8 transistorjev 10 -6 m 30W 109 Hz Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 način obdelave odporn. na napake učenje inteligenca in zavest paralelno porazdeljeno da da ponavadi zaporedno centralizirano ne malo ne še Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko MCCULLOCH-PITTSOV MODEL NEVRONA Jakost izhodnih dražljajev je “stisnjena” linearna funkcija vhodnih dražljajev. sinapsa x0 x1 w0i dendrit w1i xj f z 1.0 wji 0.8 0.6 akson 0.4 0.2 f ∑ wij x j j oi = f ∑ wij x j j 10 5 5 10 z telo nevrona Groba poenostavitev, ki omogoča razvoj matematičnega modela umetnega nevronskega omrežja. Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko UMETNO NEVRONSKO OMREŽJE Funkcijski model nevronskega omrežja. Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko VRSTE UMETNIH NEVRONSKIH OMREŽIJ Več-slojna predkrmiljena nevronska omrežja. Samoorganizirajoča nevronska omrežja Povratno-zančno nevronsko omrežje. Hopfieldovo, Hammingovo Bolzmanovo nevronsko omrežje Asociativna nevronska omrežja. Nevronska omrežja, ki temeljijo na adaptivni resonančni teoriji. Hierarhično Bayesovo omrežje Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko PREDKRMILJENO VEČ-SLOJNO UMETNO NEVRONSKO OMREŽJE 1,0 f ∑ wij x j j 1,0 x1 yk (x) = f ∑ wki f ∑ wij x j i j xj preslikava vektorskih naključnih spremenljivk g : X →Y Izhodi omrežja so nelinearne funkcije linearnih kombinacij nelinearnih funkcij linearnih kombinacij … Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko ZGOŠČEN ZAPIS FUNKCIJE NEVRONA Zapis funkcije i-tega nevrona navadno zapišemo v vektorski obliki 1 x 1 x= x j wi1 w i2 wi = wij 𝑧𝑖 = 𝐰𝑖𝑇 𝐱 = � 𝑤𝑖𝑖 𝑥𝑗 𝑗 𝑓(𝑧𝑖 ) = 𝑓(𝐰𝑖𝑇 𝐱) = 𝑓 � 𝑤𝑖𝑖 𝑥𝑗 𝑗 Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko NELINEARNA FUNKCIJA NEVRONA Nelinearna elementarna funkcija, ki je monotono naraščajoča in odvedljiva, kot je na primer sigmoidalna funkcija. f ( z) = f z 1.0 1 1 + e−z 0.8 f ' ( z ) = f ( z )(1 − f ( z )) 0.6 0.4 0.2 10 5 Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 5 10 z 𝑓(𝑧𝑖 ) = 𝑓(𝐰𝑖𝑇 𝐱) = 1 𝑇 1 + 𝑒 𝐰𝑖 𝐱 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko IZHOD OMREŽJA KOT IZRAŽAVA PO PARAMETRIČNIH TEMELJNIH FUNKCIJAH Izvajamo izražavo funkcije tako, da določamo tako utežne koeficiente kot tudi parametre parametričnih temeljnih funkcij yk ( x) = f ( + wki f ( w i , x) + + wk 2 f ( w 2 , x) + wk1 f ( w1 , x) + wk 0 ) Modelirana funkcija ni znana, na razpolago so le njeni odtipki/vzorci na poljubnih mestih (ni enakomernega vzorčenja). Pri tipanju funkcije imamo navadno opravka s šumom, zato je izražava v bistvu regresija (modeliranje iz podatkov). Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko INICIALIZACIJE VREDNOSTI UTEŽI NEVRONOV Ločilna meja nevrona je določena pri 𝐰 𝑇 𝐱 = 𝟎 ⟹ 𝑓(𝐰 𝑇 𝐱) = 0,5 Začetni položaj ločilne meje vsakega nevrona lahko določimo naključno ali glede na rezultat predhodne analize vzorcev. 𝑓(𝐰𝑘𝑇 𝐱) 𝑓(𝐰𝑖𝑇 𝐱) 1.0 1.0 0.8 0.8 𝐰2𝑇 𝐱 = 𝟎 0.6 𝐰1𝑇 𝐱 =𝟎 0.4 0.6 0.4 0.2 5 𝐰1𝑇 = [2 , −4] 0.2 5 10 15 𝑧𝑖 𝐰2𝑇 = [−0,4 , −2] Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 5 0 5 10 𝐰𝑘𝑇 = [20 , 20 , 25] 15 𝑧𝑘 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko UČENJE Z VZVRATNIM RAZŠIRJANJEM Računamo gradient, ki zmanjšuje izhodno napako. Napako vzvratno razširjamo po nevronskem omrežju. 1 ε (x n ) = ∑ ε k 2 (x n ) 2 k ε k (x n ) = yk (x n ) − yˆ k (x n ) ∂ε k (x n ) ∂ε k (x n ) ∂f ( z k ) = ∂wki ∂f ( z k ) ∂wki δ k (x n ) = ( yk (x n ) − yˆ k (x n )) f ' ( z k ) wki (x n ) = wki (x n ) − ηδ k (x n ) yˆ i (x n ) δ i ( x n ) = f ' ( zi )∑ δ k ( x n ) wij (x n ) = wij (x n ) − ηδ i (x n ) yˆ j (x n ) k Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko UPORABA UMETNIH NEVRONSKIH OMREŽIJ Razvrščanje Razpoznavanje vzorcev Določanje značilk Poravnavo slik … Zmanjševanje šuma Razpoznavanje znanih vzorcev in odstranjevanje šuma Napovedovanje Ekstrapolacija iz znanih podatkov Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko LITERATURA IN VPRAŠANJA Sistematični pregled umetnih klasičnih nevronskih omrežij: http://page.mi.fu-berlin.de/rojas/neural/index.html.html Opišite osnovni model nevronske omrežja. Katere vrste klasični umetnih nevronskih omrežij poznamo? Kako učimo klasično predkrmiljeno umetno nevronsko omrežje? Kakšne probleme rešujemo z umetnimi nevronskimi omrežji? Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko ZGLED HIERARHIČNEGA BAYESOVEGA NEVRONSKEGA MODELA V zadnjem času se precej razvijajo modeli, ki temeljijo na verjetnostni teoriji Bayesovega sklepanja. Eden najuspešnejših tovrstnih modelov je hierarhični začasni pomnilnik - HTM HTM odkriva stvari, ki se pojavljajo v njegovem svetu. HTM sklepa o stvareh na osnovi novih zaznav. Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko HIERARHIČNI ZAČASNI POMNILNIK (HTM) ljudje avtomobili zgradbe besede pesmi ideje svet Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 vzorci zaznave HTM/Cortex Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko HIERARHIČNI ZAČASNI POMNILNIK (HTM) “stvari” “prepričanja” ljudje avtomobili zgradbe besede pesmi ideje svet Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 vzorci zaznave stvar 1 stvar 2 stvar 3 stvar 4 stvar 5 stvar 6 0.22 0.07 0.00 0.63 0.00 0.08 HTM/Cortex Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko HIERARHIČNI ZAČASNI POMNILNIK (HTM) “prepričanje” senzorski podatki Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko HIERARHIČNI ZAČASNI POMNILNIK (HTM) “prepričanja” Vsako vozlišče: odkriva „stvari“ na svojem vhodu, posreduje prepričanja navzgor in posreduje napovedi navzdol. senzorski podatki Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko HIERARHIČNI ZAČASNI POMNILNIK (HTM) “prepričanja” Vsako vozlišče: odkriva stvari na svojem vhodu, posreduje prepričanja navzgor in posreduje napovedi navzdol. Vsako vozlišče: shranjuje pogosta zaporedja, spreminjajoči senzorski podatki ustvarjajo stabilna prepričanja navzgor in Stabilna prepričanja ustvarjajo spreminjajoče napovedi senzorskih podatkov navzdol. senzorski podatki Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko ZAKAJ JE HIERARHIJA TAKO POMEMBNA Deljene predstavitve omogočajo večjo generalizacijo in učinkovitost Hierarhija HTM se lahko prilega prostorski in časovni hierarhiji „stvari“ v svetu. Razširjanje prepričanja omogoča, da se vsa vozlišča hitro uskladijo glede skupnega prepričanja. 90% mačka Pogojne verjetnosti 80% lajanje 20% mijavkanje Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 70% slika prašička 30% slika mačke Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko KAKO HTM ODKRIVA STVARI Zapomni si pogoste vzorcev (ugotavljanje rojenja) in zavrže redke vzorce (šum). Pogosti vzorci Redki vzorci Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko KAKO HTM ODKRIVA STVARI Zapomni si pogosta časovna zaporedja vzorcev in zavrže redka zaporedja vzorce (šum). Pogosto zaporedje: (pripiši stvari) Pogosto zaporedje: (pripiši stvari) Redko zaporedje: (zavrzi) čas Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko PREPROST PRIMER RAČUNALNIŠKEGA VIDA nivo 3 nivo 2 nivo 1 4 piksli Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko UČNE SLIKE Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko PRAVILNO RAZPOZNANE SLIKE Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko LITERATURA IN VPRAŠANJA Osnovni opis hierarhičnega začasnega pomnilnika: http://en.wikipedia.org/wiki/Hierarchical_temporal_memory Na čem temeljijo hierarhični Bayesovi modeli? Opišite osnovne značilnosti hierarhičnega začasnega pomnilnika Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013 Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
© Copyright 2024