prosojnice - LUKS - Univerza v Ljubljani

UMETNI INTELIGENTNI SISTEMI
(UN2-1-IZB-UM.INTEL.SIS 2012/2013)
UMETNA NEVRONSKA OMREŽJA
Simon Dobrišek
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
TEME PREDAVANJA

Model nevronskega sistema

Vrste nevronskih omrežij

Predkrmiljeno več-plastno omrežje

Uporaba umetnih nevronskih omrežij

Zgled hierarhičnega nevronskega modela
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
UMETNA
NEVRONSKA OMREŽJA

So model naravnih bioloških nevronskih sistemov

Temeljijo na paralelnem obdelovanju podatkov

Imajo sposobnost učenja in prilagajanja


Z zelo enostavnimi sestavinami tvorijo zelo
vsestransko obnašanje
So zmogljiv sistem za reševanje problemov
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
MODEL NEVRONSKEGA SISTEMA
dendriti
telo nevrona
jedro nevrona
akson akson
dražljaji
sinapsa
sinapsa
mielitičen ovoj



Nevronski sistem tvori množica podobnih elementov nevronov, ki so vseskozi povezani.
Nevron sestavljajo vhodni dendriti, telo nevrona z jedrom in
izhodni aksoni.
Dražljaji iz aksona ene celice do dendritov druge celice
potujejo preko sinaps.
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
ČLOVEKOV NEVRONSKI SISTEM

Različen razvoj nevronskih celic v različnih delih možganov
in hrbtenjače.
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
PRIMERJAVA Z RAČUNALNIKOM

Ključna razlika med računalnikom in možgani je način
obdelave podatkov
procesnih
enot
velikost
enot
poraba
energije
hitrost
obdelave
10 11 celic
10 14 sinaps
10 -6 m
30 W
100 Hz
10 8
transistorjev
10 -6 m
30W
109 Hz
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
način
obdelave
odporn.
na
napake
učenje
inteligenca
in zavest
paralelno
porazdeljeno
da
da
ponavadi
zaporedno
centralizirano
ne
malo
ne še
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
MCCULLOCH-PITTSOV MODEL NEVRONA


Jakost izhodnih dražljajev je “stisnjena” linearna funkcija
vhodnih dražljajev.
sinapsa
x0
x1
w0i
dendrit
w1i
xj
f z
1.0
wji
0.8
0.6
akson
0.4
0.2


f  ∑ wij x j 

 j


oi = f  ∑ wij x j 

 j
10
5
5
10
z
telo nevrona

Groba poenostavitev, ki omogoča razvoj matematičnega
modela umetnega nevronskega omrežja.
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
UMETNO NEVRONSKO OMREŽJE

Funkcijski model nevronskega omrežja.
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
VRSTE UMETNIH NEVRONSKIH OMREŽIJ

Več-slojna predkrmiljena nevronska omrežja.

Samoorganizirajoča nevronska omrežja

Povratno-zančno nevronsko omrežje.

Hopfieldovo, Hammingovo Bolzmanovo nevronsko omrežje

Asociativna nevronska omrežja.

Nevronska omrežja, ki temeljijo na adaptivni resonančni teoriji.

Hierarhično Bayesovo omrežje
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
PREDKRMILJENO VEČ-SLOJNO UMETNO
NEVRONSKO OMREŽJE
1,0


f  ∑ wij x j 

 j
1,0
x1



yk (x) = f  ∑ wki f  ∑ wij x j  
 i


 j

xj
preslikava vektorskih
naključnih spremenljivk
g : X →Y

Izhodi omrežja so nelinearne funkcije linearnih kombinacij
nelinearnih funkcij linearnih kombinacij …
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
ZGOŠČEN ZAPIS FUNKCIJE NEVRONA

Zapis funkcije i-tega nevrona navadno zapišemo v vektorski
obliki
1
x 
 1
x= 
 
x j 
  
 wi1 
w 
 i2 
wi =   
 
 wij 
  
 =   = �  

( ) = ( ) =  �  

Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
NELINEARNA FUNKCIJA NEVRONA


Nelinearna elementarna funkcija, ki je monotono naraščajoča in
odvedljiva, kot je na primer sigmoidalna funkcija.
f ( z) =
f z
1.0
1
1 + e−z
0.8
f ' ( z ) = f ( z )(1 − f ( z ))
0.6
0.4
0.2
10
5
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
5
10
z
( ) = ( ) =
1

1 +   
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
IZHOD OMREŽJA KOT IZRAŽAVA PO
PARAMETRIČNIH TEMELJNIH FUNKCIJAH
Izvajamo izražavo funkcije tako, da določamo tako utežne
koeficiente kot tudi parametre parametričnih temeljnih funkcij

yk ( x) = f ( + wki f ( w i , x) +  + wk 2 f ( w 2 , x) + wk1 f ( w1 , x) + wk 0 )


Modelirana funkcija ni znana, na razpolago so le njeni
odtipki/vzorci na poljubnih mestih (ni enakomernega vzorčenja).
Pri tipanju funkcije imamo navadno opravka s šumom, zato
je izražava v bistvu regresija (modeliranje iz podatkov).
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
INICIALIZACIJE VREDNOSTI UTEŽI
NEVRONOV


Ločilna meja nevrona je določena pri
   =  ⟹ (  ) = 0,5
Začetni položaj ločilne meje vsakega nevrona lahko določimo
naključno ali glede na rezultat predhodne analize vzorcev.
( )
( )
1.0
1.0
0.8
0.8
2  = 
0.6
1 
=
0.4
0.6
0.4
0.2
5
1 = [2 , −4]
0.2
5
10
15

2 = [−0,4 , −2]
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
5
0
5
10
 = [20 , 20 , 25]
15

Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
UČENJE Z VZVRATNIM RAZŠIRJANJEM

Računamo gradient, ki zmanjšuje izhodno napako.

Napako vzvratno razširjamo po nevronskem omrežju.
1
ε (x n ) = ∑ ε k 2 (x n )
2 k
ε k (x n ) = yk (x n ) − yˆ k (x n )
∂ε k (x n ) ∂ε k (x n ) ∂f ( z k )
=
∂wki
∂f ( z k ) ∂wki
δ k (x n ) = ( yk (x n ) − yˆ k (x n )) f ' ( z k )
wki (x n ) = wki (x n ) − ηδ k (x n ) yˆ i (x n )
δ i ( x n ) = f ' ( zi )∑ δ k ( x n )
wij (x n ) = wij (x n ) − ηδ i (x n ) yˆ j (x n )


k
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
UPORABA UMETNIH NEVRONSKIH OMREŽIJ

Razvrščanje
Razpoznavanje vzorcev
 Določanje značilk
 Poravnavo slik
 …


Zmanjševanje šuma


Razpoznavanje znanih vzorcev in odstranjevanje šuma
Napovedovanje
 Ekstrapolacija iz znanih podatkov
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
LITERATURA IN VPRAŠANJA

Sistematični pregled umetnih klasičnih nevronskih omrežij:
http://page.mi.fu-berlin.de/rojas/neural/index.html.html

Opišite osnovni model nevronske omrežja.

Katere vrste klasični umetnih nevronskih omrežij poznamo?

Kako učimo klasično predkrmiljeno umetno nevronsko omrežje?

Kakšne probleme rešujemo z umetnimi nevronskimi omrežji?
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
ZGLED HIERARHIČNEGA BAYESOVEGA
NEVRONSKEGA MODELA


V zadnjem času se precej razvijajo modeli, ki temeljijo
na verjetnostni teoriji Bayesovega sklepanja.
Eden najuspešnejših tovrstnih modelov je hierarhični
začasni pomnilnik - HTM

HTM odkriva stvari, ki se pojavljajo v njegovem svetu.

HTM sklepa o stvareh na osnovi novih zaznav.
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
HIERARHIČNI ZAČASNI POMNILNIK (HTM)
ljudje
avtomobili
zgradbe
besede
pesmi
ideje
svet
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
vzorci
zaznave
HTM/Cortex
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
HIERARHIČNI ZAČASNI POMNILNIK (HTM)
“stvari”
“prepričanja”
ljudje
avtomobili
zgradbe
besede
pesmi
ideje
svet
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
vzorci
zaznave
stvar 1
stvar 2
stvar 3
stvar 4
stvar 5
stvar 6
0.22
0.07
0.00
0.63
0.00
0.08
HTM/Cortex
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
HIERARHIČNI ZAČASNI POMNILNIK (HTM)
“prepričanje”
senzorski podatki
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
HIERARHIČNI ZAČASNI POMNILNIK (HTM)
“prepričanja”

Vsako vozlišče:



odkriva „stvari“ na svojem vhodu,
posreduje prepričanja navzgor in
posreduje napovedi navzdol.
senzorski podatki
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
HIERARHIČNI ZAČASNI POMNILNIK (HTM)
“prepričanja”

Vsako vozlišče:
odkriva stvari na svojem vhodu,
 posreduje prepričanja navzgor in
 posreduje napovedi navzdol.


Vsako vozlišče:
shranjuje pogosta zaporedja,
 spreminjajoči senzorski podatki
ustvarjajo stabilna prepričanja
navzgor in
 Stabilna prepričanja ustvarjajo
spreminjajoče napovedi senzorskih
podatkov navzdol.

senzorski podatki
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
ZAKAJ JE HIERARHIJA TAKO POMEMBNA



Deljene predstavitve omogočajo večjo generalizacijo in
učinkovitost
Hierarhija HTM se lahko prilega prostorski in časovni
hierarhiji „stvari“ v svetu.
Razširjanje prepričanja omogoča, da se vsa vozlišča
hitro uskladijo glede skupnega prepričanja.
90% mačka
Pogojne verjetnosti
80% lajanje
20% mijavkanje
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
70% slika prašička
30% slika mačke
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
KAKO HTM ODKRIVA

STVARI
Zapomni si pogoste vzorcev (ugotavljanje rojenja) in
zavrže redke vzorce (šum).
Pogosti vzorci
Redki vzorci
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
KAKO HTM ODKRIVA

STVARI
Zapomni si pogosta časovna zaporedja vzorcev in
zavrže redka zaporedja vzorce (šum).
Pogosto zaporedje:
(pripiši stvari)
Pogosto zaporedje:
(pripiši stvari)
Redko zaporedje:
(zavrzi)
čas
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
PREPROST PRIMER RAČUNALNIŠKEGA VIDA
nivo 3
nivo 2
nivo 1
4 piksli
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
UČNE SLIKE
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
PRAVILNO RAZPOZNANE SLIKE
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko
LITERATURA IN VPRAŠANJA

Osnovni opis hierarhičnega začasnega pomnilnika:
http://en.wikipedia.org/wiki/Hierarchical_temporal_memory

Na čem temeljijo hierarhični Bayesovi modeli?

Opišite osnovne značilnosti hierarhičnega začasnega pomnilnika
Umetni inteligentni sistemi, UN2-1-IZB-vsi 2012/2013
Avtorske pravice pridržane © 2012 - Univerza v Ljubljani, Fakulteta za elektrotehniko