Učenje bez nadzora

Učenje bez nadzora je metoda u mašinskom učenju gde, za razliku od učenja pod nadzorom, algoritmi uče obrasce isključivo iz neoznačenih podataka. Očekuje se da će kroz mimikriju, koja je važan način učenja kod ljudi, mašina biti prinuđena da izgradi koncizan prikaz svog sveta, a zatim iz njega generiše imaginative sadržaj.

Druge metode u spektru nadzora su podržano učenje gde se mašini daje samo numerička ocena performansi kao smernica, i slab ili polunadzor gde je mali deo podataka označen i samonadziran.

Neuronske mreže

Zadaci naspram metoda

Tendencija da se za zadatak koriste metode pod nadzorom naspram nenadgledanih. Nazivi zadataka prelaze granice kruga namerno. To pokazuje da je klasična podela maštovitih zadataka (levo) korišćenjem metoda bez nadzora zamagljena u današnjim šemama učenja.

Zadaci neuronske mreže se često kategorišu kao diskriminativni (prepoznavanje) ili generativni (imaginacija). Često, ali ne uvek, diskriminativni zadaci koriste nadgledane metode, a generativni zadaci koriste nenadgledane (pogledajte Venov dijagram); međutim, razdvajanje je veoma maglovito. Na primer, prepoznavanje objekata favorizuje nadgledano učenje, ali učenje bez nadzora takođe može grupirati objekte u grupe. Štaviše, kako progress napreduje, neki zadaci koriste obe metode, a neki zadaci prelaze od jednih do drugih. Na primer, prepoznavanje slika je počelo kao pretežno nadgledano, ali je postalo hibridno korišćenjem nenadzirane prethodne obuke, a zatim je ponovo krenulo ka nadzoru sa pojavom eliminacije, ReLU-a i adaptivnih stopa učenja.

Trening

Tokom faze učenja, mreža bez nadzora pokušava da oponaša podatke koji su joj dati i koristi grešku u svom oponašanom izlazu da se ispravi (tj. ispravi svoje pondere i pristranosti). Ponekad se greška izražava kao niska verovatnoća da dođe do pogrešnog izlaza, ili se može izraziti kao nestabilno stanje visoke energije u mreži.

Za razliku od dominantne upotrebe bekpropagacije od strane nadgledanih metoda, nenadgledano učenje takođe koristi druge metode uključujući: Hopfieldovo pravilo učenja, Bolcmanovo pravilo učenja, kontrastivnu divergenciju, budno spavanje, varijaciono zaključivanje, maksimalnu verovatnoću, maksimalna aposteriornu procena, Gibsovo uzorkovanje i greške bekpropagacione rekonstrukcije ili reparametarizacije skrivenog stanja. Pogledajte tabelu ispod za više detalja.

Energija

Energetska funkcija je makroskopska mera aktivacionog stanja mreže. U Bolcmanovim mašinama ona igra ulogu funkcije troškova. Ova analogija sa fizikom inspirisana je analizom makroskopske energije gasa Ludviga Bolcmana iz mikroskopskih verovatnoća kretanja čestica $p\propto e^{-E/kT}$, gde je k Bolcmanova konstanta, a T je temperatura. U RBM mreži relacija je $p=e^{-E}/Z$, gde $p$ i $E$ variraju u svim mogućim aktivacioni obrascima i $Z=\sum _{\text{All Patterns}}{e}^{-E(\text{pattern})}$. Preciznije, $p(a)=e^{-E(a)}/Z$, gde je $a$ obrazac za aktiviranje svih neurona (vidljivih i skrivenih). Otuda neke rane neuronske mreže nose naziv Bolcmanova mašina. Pol Smolenski naziva $-E$ harmonijom. Mreža nastoji da ostvari nisku energiju koja je visoka harmonija.

Mreže

Ova tabela prikazuje dijagrame povezivanja različitih nenadziranih mreža, čiji će detalji biti dati u odeljku o poređenju mreža. Krugovi su neuroni, a ivice između njih su ponderisane veze. Kako se dizajn mreže menja, dodaju se funkcije koje omogućavaju nove mogućnosti ili se uklanjaju kako bi učenje bilo brže. Na primer, neuroni se menjaju između determinističkog (Hopfild) i stohastičkog (Bolcman) da bi omogućili robustan izlaz, težine se uklanjaju unutar sloja (RBM) da bi se ubrzalo učenje, ili je dozvoljeno da veze postanu asimetrične (Helmholc).

Hopfild	Bolcman	RBM	Složeni Bolcman
Mreža zasnovana na magnetnim domenima u gvožđu sa jednim samopovezanim slojem. Može se koristiti kao adresabilna memorija za sadržaj.	Mreža je podeljena na 2 sloja (skrivena vs. vidljiva), ali i dalje koristi simetrične dvosmerne težine. Prateći Bolcmanovu termodinamiku, pojedinačne verovatnoće stvaraju makroskopske energije.	Ograničena Bolcmanova mašina. Ovo je Bolcmanova mašina u kojoj su bočne veze unutar sloja zabranjene da bi analiza bila svodljiva.	Ova mreža ima više RBM-ova za kodiranje hijerarhije skrivenih karakteristika. Nakon što je jedan RBM obučen, dodaje se još jedan plavi skriveni sloj (vidi levi RBM), a gornja 2 sloja se obučavaju kao crveni i plavi RBM. Tako se srednji slojevi RBM-a ponašaju kao skriveni ili vidljivi, u zavisnosti od faze obuke u kojoj se nalaze.

Helmholc	Autoinkoder	VAE
Umesto dvosmerne simetrične veze naslaganih Bolcmanovih mašina, prisutne su odvojene jednosmerne veze da be formirala petlju. To se koristi za generaciju i diskriminaciju.	Mreža unapred koja ima za cilj da pronađe dobru reprezentaciju srednjeg sloja svog ulaznog sveta. Ova mreža je deterministička, tako da nije jednako robusna kao njen naslednik VAE.	Primenjuje varijaciono rezonovanje na automatski koder. Srednji sloj je sset srednjih vrednosti i varijansi za Gausove distribucije. Stohastička priroda omogućava robustniju imaginaciju od determinističkog autoenkodera.

Od mreža koje nose imena ljudi, samo je Hopfild radio direktno sa neuronskim mrežama. Bolcman i Helmholc su živeli pre ere veštačkih neuronskih mreža, ali je njihov rad u fizici i fiziologiji inspirisao analitičke metode koje su korištene.

Istorija

1969	Perceptroni Minskog & Paperta pokazuju da perceptron bez skrivenih slojeva ne uspeva na XOR-u
1970-te	(približni datumi) Prva AI zima
1974	Izingov magnetni model koji je predložio VA Litl za spoznaju
1980	Fukušima uvodi neokognitron, koji je kasnije nazvan konvoluciona neuronska mreža. Uglavnom se koristi u SL, ali zaslužuje da se pomene.
1982	Izingova varijanta Hopfildove mreže koju je Džon Hopfild opisao kao CAM i klasifikatori.
1983	Izingova varijanta Bolcmanove mašine sa probabilističkim neuronima koje su opisali Hinton i Sejnovski nakon Šeringtonovog i Kirkpatrikovog rada iz 1975. godine.
1986	Pol Smolenski objavljuje teoriju harmonije, koja je RBM sa praktično istom Bolcmanovom energetskom funkcijom. Smolenski nije dao šemu praktične obuke. Hinton je to učinio sredinom 2000-ih.
1995	Šmituber uvodi LSTM neuron za jezike.
1995	Dajan & Hinton predstavljaju Helmholcovu mašinu
1995-2005	(približni datumi) Druga AI zima
2013	Kingma, Rezende, & co. su uveli varijantne autokodere kao Bajesovu grafičku mrežu verovatnoće, sa neuronskim mrežama kao komponentama.

Specifične mreže

Ovde su itaknute neke od karakteristika odabranog seta mreža.

Literatura

• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book