Mudell għall-klassifikazzjoni ta’ tikketta waħda
Is-sett ta’ data li ġbarna għall-proġett pilota tagħna dwar il-klassifikazzjoni tal-immaġnijiet kien adattat għat-taħriġ ta’ mudell uniku ta’ klassifikazzjoni tat-tikketti - jiġifieri, mudell li jipproduċi kategorija waħda għal kull immaġni. It-tikketti jew il-kategoriji mis-sett tad-data tat-taħriġ huma magħrufa wkoll bħala l-“verità bażika”, li jfisser li dawk huma t-tikketti veri jew korretti għall-immaġnijiet partikolari.
Aħna użajna tip ta 'netwerk newrali konvoluzzjonali bħala l-klassifikatur tagħna għall-immaġini, li huwa mudell matematiku bi struttura b'saffi ispirata mill-funzjonament tal-moħħ. Network newrali konvoluzzjonali huwa mudell ta’ tagħlim profond imfassal biex jiġbed l-informazzjoni rilevanti mill-immaġnijiet, u dawn huma l-għażla tas-soltu għall-applikazzjonijiet tal-viżjoni tal-kompjuter.
Fil-każ tagħna, l-input tal-mudell kien immaġni, u l-output kien distribuzzjoni tal-probabbiltà fuq il-kategoriji kollha tal-vokabularju fil-mira. Dan ta lil kull kategorija numru bejn 0 u 1 li spiss jiġi interpretat bħala punteġġ ta’ fiduċja. Dan il-mudell imbagħad ġie mħarreġ billi tbassar b’mod iterattiv l-immaġnijiet mis-sett tad-data, u billi kkoreġiet il-previżjonijiet li jirriżultaw billi qabbilhom mal-verità bażika attwali.
Ladarba l-mudell ġie mħarreġ, aħna vvalutajna l-prestazzjoni tiegħu billi ttestjah fuq immaġnijiet li ma dehrux u qabbilna jekk it-tbassir li sar mill-mudell kienx jikkorrispondi għall-kunċett muri fl-immaġni. Aħna użajna wkoll algoritmu tal-IA Spjegabbli li għenna nifhmu l-output tal-mudell billi vviżwalizzajna r-reġjuni ta’ interess għal kull waħda mill-kategoriji ta’ output. Dan ippermettielna nifhmu l-oqsma tal-immaġni li huma l-aktar rilevanti għal kull kategorija, li pprovdew ħjiel dwar il-ħidma interna tal-mudell.
Hawn taħt, tista’ tara diversi eżempji ta’ previżjonijiet fuq kampjuni miksuba bl-użu tal-API tat-Tiftix, flimkien mal-punteġġi ta’ fiduċja u l-mapep tal-ispjegabbiltà. Il-mudell juża l-istampi li ġejjin: aanzicht, Beeldbank van de Rijksdienst voor het Cultureel Erfgoed, Netherlands, G.Th. Delemarre, 1965-03, CC-BY-SA. Lerkärl, kärl, vessel@eng, Vasija, Världskulturmuseet, l-Iżvezja, CC-BY. Esimene rohelus, Eesti Sõjamuuseum - Kindral Laidoneri Muuseum, l-Estonja, Genin, CC0.
It-tagħlim tagħna
Mir-riżultati preċedenti, nistgħu naraw li l-mudell kien kapaċi jaqbad b’suċċess l-aktar kunċetti rilevanti tal-vokabularju għall-immaġnijiet partikolari. Filwaqt li huwa 'l bogħod milli jkun perfett, il-mudell jista' jitgħallem mill-kollezzjonijiet arrikkiti tagħna, u jista 'jiġi applikat għal immaġnijiet ġodda biex jiġġenera metadata potenzjalment utli.
Il-limitazzjoni ewlenija tal-approċċ tagħna hija li l-kunċetti tal-vokabularju mhumiex esklużivi, u dan ma jallinjax tajjeb ma’ klassi waħda għal kull immaġni. Pereżempju, immaġni tista’ tkun ritratt u jkun fiha kemm bini kif ukoll skultura, iżda minħabba l-approċċ ta’ tikketta unika nistgħu biss inħarrġu u nevalwaw il-mudell tagħna biex nidentifikaw wieħed minn dawn l-aspetti.
Dan jagħtina mudell li spiss jipproduċi punteġġ ta’ fiduċja għoli għal waħda biss mill-kategoriji, bil-fiduċja għall-bqija tal-kategoriji baxxa. Bl-iffissar ta 'limitu baxx għall-punteġġi ta' fiduċja tal-output, nistgħu niksbu aktar minn tikketta waħda bħala l-output. Madankollu, dan l-approċċ mhuwiex ideali peress li l-punteġġi ta’ fiduċja kollha jeħtieġ li jammontaw għal wieħed (bħal fi kwalunkwe distribuzzjoni ta’ probabbiltà legali), li jipprevjeni valuri ta’ fiduċja għoljin fil-każ ta’ vokabularju b’diversi kategoriji.
Idealment, il-mudell tagħna jkun klassifikatur b'ħafna tikketti - mudell li huwa mħarreġ b'aktar minn tikketta waħda għal kull immaġni u li huwa kapaċi jipproduċi punteġġi ta 'kunfidenza għolja għal diversi kategoriji.
Ta’ min isemmi wkoll li s-sett tad-data tagħna nġabar mingħajr superviżjoni umana (ma rrieżaminajnax l-immaġnijiet miksuba jew iċċekkjajna jekk humiex tabilħaqq allinjati mal-kategoriji jew le). Dan ifisser li l-kwalità tas-sett tad-data se tiddependi fuq il-metadata assoċjata mal-oġġetti tal-wirt kulturali u fuq arrikkimenti awtomatiċi preċedenti bbażati fuq il-metadata. Fil-prattika mhux l-immaġnijiet kollha mis-sett tad-data tat-taħriġ kienu allinjati mal-kategoriji korretti.
Il-passi li jmiss
Bħalissa qed niġbru sett ta’ data ta’ taħriġ għall-klassifikazzjoni b’diversi tikketti, u se naqsmu x-xogħol u l-approċċ tagħna f’post tal-aħbarijiet Pro futur - nibqgħu sintonizzati! Sadanittant, tista’ tesplora r-repożitorju Github tagħna għall-pilota, u dan in-notebook tal-Colab, fejn tista’ tagħmel il-mistoqsijiet tiegħek stess lill-API tat-Tiftix tal-Europeana u tapplika l-mudell ta’ klassifikazzjoni tat-tikketta unika.
Ħossok liberu li tikkuntattjana fuq [email protected] jekk għandek xi mistoqsijiet jew ideat!