Marco Rendina: Eirini, fangen wir mit den Grundlagen an. Was ist Crowdsourcing?
Eirini Kaldeli: Crowdsourcing ist der Prozess der Verteilung einer Aufgabe an eine Gruppe von Menschen, die in der Regel durch ihre Arbeit online beitragen. In einigen Fällen erhalten die Beitragszahler eine materielle Entschädigung; in anderen ist ihre Teilnahme freiwillig, wobei Belohnungen wie persönliche Befriedigung, kultureller Beitrag oder Wissenserwerb unwesentlich sind. Im Bereich des Kulturerbes wird Crowdsourcing seit langem zur Bewältigung verschiedener Herausforderungen eingesetzt, von der Sammlung und Transkription von Inhalten über das Tagging von Sammlungen bis hin zur Erkennung voreingenommener Begriffe bei der Beschreibung von Kulturerbeobjekten. Je nach Art der Aufgabe benötigen die Teilnehmer möglicherweise spezielle Fähigkeiten oder Kenntnisse.
MR: Was sind die Vorteile von Crowdsourcing für den Kulturerbesektor?
EK: Ein verantwortungsvolles und sinnvolles Crowdsourcing-Projekt kann Einrichtungen und Teilnehmern des Kulturerbes gegenseitigen Nutzen bringen. In erster Linie sollte Crowdsourcing als Mittel zur Einbeziehung der Bürgerinnen und Bürger in die Sammlungen des Kulturerbes betrachtet werden. Auf der einen Seite haben die Teilnehmer die Möglichkeit, mit dem kulturellen Erbe zu interagieren und sich mit ihm zu verbinden; nützliche Informationen über Gegenstände und Themen auf spielerische Weise zu erfahren; ihre Perspektiven und ihr Wissen zu teilen; die Art und Weise, wie Sammlungen präsentiert werden, mitgestalten; und kollaborieren mit Mitbürgern in einer partizipativen Erfahrung. Andererseits können Einrichtungen des Kulturerbes die Qualität ihrer Sammlungen verbessern und sie leichter auffindbar und zugänglich machen; das Bewusstsein für ihr kulturelles Erbe zu schärfen; neue Zielgruppen zu erreichen; und erhalten tiefere Einblicke, wie ihre Sammlungen von Gemeinschaften wahrgenommen werden.
MR: Spyros, könnten Sie uns ein paar Worte über die CrowdHeritage-Plattform sagen, an der Sie im Rahmen des AI4Culture-Projekts arbeiten?
Spyros Bekiaris: CrowdHeritage ist eine offene Plattform für die Organisation von Online-Crowdsourcing-Kampagnen, die Menschen mobilisieren, um die Qualität der Sammlungen des kulturellen Erbes zu verbessern. Dies könnte sich auf verschiedene Aspekte beziehen, von mehrsprachiger Berichterstattung bis hin zu semantischem Tagging. Die Teilnehmer werden aufgefordert, digitale Sammlungen zu bereichern, entweder durch die Erstellung neuer Informationen (z. B. Hinzufügen von Geolokalisierungen) oder durch die Bewertung und Validierung automatischer Ergebnisse, die von digitalen Tools erstellt werden (z. B. automatische Übersetzungen oder Erkennung voreingenommener Sprache).
CrowdHeritage wurde ausgiebig genutzt, um die Teilnahme an Bildungsumgebungen und Citizen Science-Umgebungen zu fördern, indem Gemeinschaften wie Studenten und Schüler, Kulturliebhaber, Fachleute für kulturelles Erbe und die breite Öffentlichkeit einbezogen wurden. Die Plattform wurde bisher genutzt, um 40 Crowdsourcing-Kampagnen mit mehr als 970 einzigartigen Mitwirkenden zu organisieren, rund 112.000 Anmerkungen zu generieren und mehr als 16.000 zu bewerten.
MR: Crowdsourcing basiert auf verteiltem manuellem Aufwand, während es bei AI4Culture um KI-Technologien geht. Können Sie die Beziehung zwischen der CrowdHeritage-Plattform und KI-Tools erklären?
SB: CrowdHeritage wurde ursprünglich entwickelt, um Kampagnen zu unterstützen, die Benutzer einladen, neue Anmerkungen von Grund auf hinzuzufügen. In den letzten Jahren sehen wir ein zunehmendes Interesse an der Kopplung von CrowdHeritage mit KI-Tools. Solche Tools bieten bemerkenswerte Möglichkeiten zur automatischen Verbesserung der Qualität digitaler Kulturerbesammlungen in großem Maßstab und mit minimalem manuellem Aufwand, von der optischen Zeichenerkennung und maschinellen Übersetzung bis hin zur automatischen Untertitelung und Bildklassifizierung.
Der Rückgriff auf rein automatische Methoden hat jedoch auch mehrere Probleme aufgedeckt, die behandelt werden müssen. Wir brauchen Möglichkeiten, um zu beurteilen, ob die Ergebnisse von KI-Algorithmen genau genug für unsere Standards sind, und um zu vergleichen, wie sich verschiedene Algorithmen auf bestimmten Daten und basierend auf bestimmten Kriterien verhalten. In diesem Zusammenhang ist Crowdsourcing ein hervorragendes Mittel, um kollektive menschliche Intelligenz zu nutzen und nützliche Erkenntnisse zu sammeln. Das gesammelte Feedback kann uns helfen, falsche automatische Ergebnisse herauszufiltern, geeignete Filter zur Aufrechterhaltung von Ergebnissen von guter Qualität anzuwenden und bestimmte Mängel von KI-Algorithmen zu erkennen. In diesem Zusammenspiel mit KI ist die CrowdHeritage-Plattform auch hilfreich für die Erstellung von Bodenwahrheitsdatensätzen, die weiter genutzt werden können, um KI-Tools in Bezug auf Daten zum Kulturerbe anzupassen.
MR: Eirini, können Sie einige konkrete Beispiele dafür nennen, wie CrowdHeritage in Kombination mit KI-Tools angewendet wurde?
EK: Ich kann viele zur Verfügung stellen! Im Rahmen des Projekts Europeana Translate führten wir eine Reihe von Kampagnen durch, bei denen die Teilnehmer die Ergebnisse eines maschinellen Übersetzungsalgorithmus bewerteten, der auf Europeana-Metadaten trainiert wurde (entwickelt von unserem AI4Culture-Partner Pangeanic). Dieses Feedback ermöglichte es uns, die Qualität der Ergebnisse zu verbessern, und führte auch zur Erstellung offener Datensätze, die im ELRC-SHARE-Repository veröffentlicht wurden, in dem Sprachressourcen in der gesamten EU gesammelt werden.
In einer weiteren Fallstudie zur Auswahl optimaler Super Resolution (SR)-Modelle für verschiedene Bildtypen (die Sie sehr gut kennen, Marco!) haben wir in Zusammenarbeit mit der European Fashion Heritage Association (EFHA) eine Kampagne gestartet, bei der die Teilnehmer gebeten wurden, eine Auswahl von Bildern zu vergleichen und zu bewerten, die von verschiedenen SR-Modellen hochskaliert wurden. Die Ergebnisse dieser Kampagne ermöglichten es der EFHA, den besten SR-Algorithmus je nach Bildmerkmalen auszuwählen und anzuwenden.
Im Rahmen des CRAFTED-Projekts wurde eine Reihe von Kampagnen organisiert, um Farben zu bewerten, die automatisch durch KI-Farberkennungsalgorithmen identifiziert wurden. Die Analyse des gesammelten Feedbacks führte uns zu dem Schluss, dass die automatischen Algorithmen wiederholt bestimmte fehlende Farben identifizierten und einige vorhandene verpassten, was uns half, unseren Filteransatz zu verbessern und das beste Algorithmus-Setup auszuwählen.
Im DE-BIAS-Projekt sind wir dabei, eine Reihe von Kampagnen einzurichten, in denen Gemeinschaften Begriffe überprüfen und bewerten, die von einem automatischen Bias-Erkennungstool als abfällig gekennzeichnet wurden.
MR: Das ist wirklich interessant, Eirini, aber werden Einrichtungen des Kulturerbes die CrowdHeritage-Plattform nutzen können, um ihre eigenen Crowdsourcing-Kampagnen einzurichten?
EK: Natürlich! Im Rahmen des AI4Culture-Projekts wurde auf CrowdHeritage ein neuer „Kampagnen-Editor“ zur Verfügung gestellt, mit dem jeder eine Crowdsourcing-Kampagne auf der Plattform einrichten und durchführen kann. Interessierte können sich dieses Video-Tutorial ansehen oder sich die CrowdHeritage-Dokumentation ansehen, um mehr zu erfahren!
Erfahren Sie mehr
Im September 2024 wird im Rahmen des Projekts eine Plattform eingerichtet, auf der eine Reihe offener Instrumente zusammen mit zugehöriger Dokumentation und Schulungsmaterial online zur Verfügung gestellt wird. Behalten Sie die Projektseite auf Europeana Pro für weitere Details im Auge und bleiben Sie auf dem Laufenden über das Projekt LinkedIn und X-Konto!