Model za klasifikaciju jedinstvene oznake
Skup podataka koji smo prikupili za naš pilot-razred za klasifikaciju slika bio je prikladan za treniranje modela za klasifikaciju jedne oznake - odnosno modela koji izlazi iz jedne kategorije po slici. Oznake ili kategorije iz skupa podataka za osposobljavanje poznate su i kao „temeljna istina”, što znači da su to istinite ili točne oznake za dane slike.
Koristili smo vrstu konvolucijske neuronske mreže kao naš klasifikator za slike, što je matematički model sa slojevitom strukturom inspiriranom funkcioniranjem mozga. Konvolucijska neuronska mreža je model dubokog učenja dizajniran za izdvajanje relevantnih informacija iz slika, a oni su uobičajeni izbor za aplikacije računalnog vida.
U našem slučaju, unos modela bio je slika, a izlaz je bio distribucija vjerojatnosti po svim kategorijama ciljnog vokabulara. Svakoj je kategoriji dao broj između 0 i 1 koji se često tumači kao rezultat pouzdanosti. Taj je model zatim treniran iterativnim predviđanjem slika iz skupa podataka i ispravljanjem dobivenih predviđanja uspoređujući ih sa stvarnom temeljnom istinom.
Nakon što je model treniran, procijenili smo njegovu izvedbu testirajući ga na nevidljivim slikama i uspoređujući je li predviđanje koje je napravio model odgovaralo konceptu prikazanom na slici. Upotrebljavali smo i neobjašnjivi algoritam umjetne inteligencije koji nam je pomogao razumjeti izlazne rezultate modela vizualizacijom regija od interesa za svaku od kategorija izlaznih proizvoda. To nam je omogućilo da razumijemo područja slike koja su najrelevantnija za svaku kategoriju, što je pružilo tragove o unutarnjem radu modela.
U nastavku možete vidjeti nekoliko primjera predviđanja na uzorcima dobivenima s pomoću API-ja za pretraživanje, zajedno s ocjenama pouzdanosti i kartama objašnjivosti. Model koristi sljedeće slike: aanzicht, Beeldbank van de Rijksdienst voor het Cultureel Erfgoed, Nizozemska, G.Th. Delemarre, 1965.-03., CC-BY-SA. Lerkärl, kärl, vessel@eng, Vasija, Världskulturmuseet, Švedska, CC-BY. Esimene rohelus, Eesti Sõjamuuseum - Kindral Laidoneri Muuseum, Estonija, Genin, CC0.
Naša učenja
Iz prethodnih rezultata možemo vidjeti da je model uspio uspješno uhvatiti najrelevantnije koncepte vokabulara za dane slike. Iako je daleko od savršenog, model može učiti iz naših obogaćenih zbirki i može se primijeniti na nove slike kako bi generirao potencijalno korisne metapodatke.
Glavno je ograničenje našeg pristupa to što pojmovi vokabulara nisu isključivi i to nije dobro usklađeno s jednim razredom po slici. Na primjer, slika može biti fotografija i sadržavati i zgradu i skulpturu, ali zbog pristupa jedinstvene oznake možemo samo trenirati i procijeniti naš model kako bismo identificirali jedan od tih aspekata.
To nam daje model koji često daje visoku ocjenu pouzdanosti samo za jednu od kategorija, s povjerenjem za ostale kategorije niske. Postavljanjem niskog praga za ocjene pouzdanosti outputa možemo dobiti više od jedne oznake kao output. Međutim, taj pristup nije idealan jer se sve ocjene pouzdanosti moraju zbrojiti do jedne (kao u bilo kojoj distribuciji pravne vjerojatnosti), što sprječava visoke vrijednosti povjerenja u slučaju vokabulara s više kategorija.
U idealnom slučaju, naš bi model bio višestruki klasifikator - model koji je treniran s više od jedne oznake po slici i koji može dati visoke ocjene pouzdanosti za nekoliko kategorija.
Važno je napomenuti i da je naš skup podataka sastavljen bez ljudskog nadzora (nismo pregledali dobivene slike niti provjerili jesu li doista usklađene s kategorijama). To znači da će kvaliteta skupa podataka ovisiti o metapodacima povezanima s predmetima kulturne baštine i o prethodnim automatskim obogaćivanjima na temelju metapodataka. U praksi nisu sve slike iz skupa podataka za osposobljavanje bile usklađene s ispravnim kategorijama.
Sljedeći koraci
Trenutno sastavljamo skup podataka za obuku za višestruku klasifikaciju i podijelit ćemo naš rad i pristup u budućem Pro news postu - ostanite u toku! U međuvremenu možete istražiti naš Github repozitorij za pilot-projekt i ovo Colab prijenosno računalo, gdje možete napraviti vlastite upite za Europeana Search API i primijeniti model klasifikacije jedinstvene oznake.
Slobodno nas kontaktirajte na [email protected] ako imate bilo kakvih pitanja ili ideja!