Projekt Europeana Common Culture ma na celu stworzenie zharmonizowanego i skoordynowanego środowiska dla krajowych agregatorów Europeany, a także poprawę jakości treści i metadanych w celu zwiększenia zadowolenia użytkowników. W ramach projektu trzy projekty pilotażowe (Metis Sandbox, Linked Open Data Aggregator i 3D Content in Europeana) eksperymentowały z nowatorskimi podejściami do agregacji, które zostały przetestowane przez krajowe agregatory i zatwierdzone przez instytucje dziedzictwa kulturowego. Pilotaż Metis Sandbox był prowadzony przez Deutsche Digitale Bibliothek (DDB) i realizowany w ścisłej współpracy z Fundacją Europeana.
Jako długoletni agregator Europeany, DDB miał praktyczne obserwacje i doświadczenie, które można było wnieść do projektu pilotażowego. Proces publikacji danych DDB w Europeanie często trwał długo (czasami do sześciu miesięcy) z różnych powodów: dane były nieprawidłowe zgodnie z modelem danych Europeany (EDM) i musiały zostać skorygowane przez DDB lub przez instytucję dziedzictwa kulturowego/dostawcę pośredniego; lub zauważono, że jakość danych była słaba i potrzebne były korekty danych lub mapowania. Towarzyszyła temu komunikacja między zespołem Europeany ds. usług publikowania danych (DPS), agregatorem, czasami pośrednim agregatorem, a CHI. Ta pętla musiała być powtarzana kilka razy, aż wszystko było poprawne, zabierając ogromną ilość czasu.
Doprowadziło to do pytania: Co by było, gdyby agregatorzy mogli zobaczyć, jak wyglądają dane w Europeanie bez angażowania zespołu ds. dynamicznego systemu zakupów? Będą one w stanie dokonać korekt jeszcze przed wysłaniem danych do Europeany. Mogłoby to przynieść korzyści wszystkim agregatorom dzięki ograniczeniu liczby kroków niezbędnych do publikowania danych za pośrednictwem Europeany, a także komunikacji typu to-and-fro!
Tak narodziła się Piaskownica Metisa.
Aspekty techniczne
Metis Sandbox umożliwia przetwarzanie przykładowych zbiorów danych zgodnie z przepływem pracy Metis. Od importu, walidacji, przekształcania, normalizacji i wzbogacania danych po publikację, odtwarza ona krok po kroku procesy stosowane w Metis, podstawowej infrastrukturze agregacji danych Europeany. System wydaje raporty dla każdego kroku w przypadku zgłoszenia błędu i zapewnia link do środowiska podglądu na końcu procesu, umożliwiając użytkownikowi zobaczenie swoich danych w kopii Europeany. Dane wyjściowe systemu zawierają wszystkie automatyczne wzbogacenia i metadane techniczne generowane przez Europeanę, a także poziomy jakości treści i metadanych.
DDB był pierwszym, który przetestował pilota. I cóż to była za radość! Nieczęsto słowa „dane” i „radość” występują w tym samym kontekście, ale możliwość zobaczenia danych wraz z poziomem treści i metadanych oznaczała, że tak było. Od momentu jego przetestowania piaskownica Metis miała bezpośredni wpływ na poprawę przepływu danych w DDB i jakości przekazywanych danych.
Nadszedł czas, aby zaangażować innych agregatorów z projektu Europeana Common Culture i uzyskać więcej informacji zwrotnych na temat piaskownicy Metis. W testowanie i ocenę zaangażowanych było kilku krajowych agregatorów, a wyniki były bardzo zachęcające: 83% uczestników uznało to za przydatne i zasygnalizowało, że chętnie wykorzysta Metis Sandbox do przyszłych dostaw do Europeany. Najbardziej cenionymi cechami narzędzia były obliczanie poziomu zawartości i metadanych, walidacja danych oraz szczegółowe raportowanie błędów / ostrzeżeń.
Co kryje się za przyszłością Metis Sandbox?
Przyszły rozwój
Piaskownica Metis jest obok niej jednym z filarów opublikowanej w październiku strategii agregacji Europeany. Opierając się na projekcie pilotażowym opracowanym w ramach projektu, Fundacja Europeana rozszerzy go, aby zapewnić, wraz z Metis, rozwiązanie, które zapewnia sposoby przyspieszenia procesu publikacji w Europeanie, aby wspierać transformację cyfrową agregatorów i instytucji dziedzictwa kulturowego oraz poprawić jakość danych. Publiczna wersja Metis Sandbox będzie dostępna wiosną 2021 roku.
Dowiedz się więcej o udostępnianiu danych Europeanie i przeczytaj naszą strategię agregacji.