Korištenje regija pozornosti u dubokim neuronskim mrežama : diplomski rad - Oštrek, Mirela (M. Oštrek, 2019)
Sažetak na hrvatskom: Jedna od glavnih značajki današnjeg doba su velike količine nestrukturiranih podataka koji su raspoloživi za korištenje, ali ne mogu se u potpunosti iskoristiti radi ograničavajućih faktora u procesima označavanja podataka. U isto vrijeme u kontekstu dubokog učenja, pokazalo se kako korištenje većih količina podataka za treniranje modela daje bolje rezultate u smislu preciznosti, uz pretpostavku da se koristi model koji ima zadovoljavajući kapacitet. Ne bi li premostili prepreku nedostatka označenih podataka tako da mogu iskoristi što više dostupnih podataka, znanstvenici se danas ponovo vraćaju klasičnim metodama računalnog vida i kombiniraju ih s principima dubokog učenja te na taj način omogućuju neuronskim mrežama da uče tek uz manju pomoć nadziranog faktora. Ovo se protivi principima potpuno nadziranog učenja gdje model treba eksplicitno naučiti funkciju koja preslikava parove ˇ (ulaz, izlaz). Ovaj rad je demonstracija kako je korištenjem anotacija za klasifikaciju slika moguce izvršiti i semanticku segmentaciju te, implicitno i lokalizaciju objekata na slici. U ovu svrhu, razvijena je nova metoda za vizualizaciju regija pozornosti u neuronskim mrežama treniranih s regijama pozornosti koja ne uzima u obzir samo regiju pozornosti posljednjeg sloja neuronske mreže, vec i regije pozornosti svih ostalih (unutrašnjih) slojeva. Prvi rezultati ukazuju kako je kombiniranjem regija pozornosti iz unutrašnjih slojeva neuronske mreže moguće dobiti regiju pozornosti veće rezolucije nego u prethodnim metodama. Rezultati su također usporedivi s trenutno vodećim metodama u slabo nadziranoj semantičkoj segmentaciji slika, čak i bez eliminacije šuma.