Videoannotationsdatenbank Pan.do/ra in der HRA

Kunstgeschichtliche Analyse von Musikvideos

Thorsten Wübbena und Matthias Arnold | 26. 3. 2014 | DHd 2014 Passau

Losing My Religion - Einsatz der Videoannotationsdatenbank Pan.do/ra in der kunstgeschichtlichen Analyse von Musikvideos

Der Exzellenzcluster und die HRA

"Asia and Europe in a Global Context: The Dynamics of Transculturality“ Ziel: „…das Verständnis der vielschichtigen Austauschprozesse zwischen und innerhalb Asien und Europa zu verbessern.“ Ca. 60 Projekte in 17 interdisziplinären Forschungsgruppen verteilt über 4 Forschungsbereiche 5 neue Lehrstühle, Graduiertenschule, M.A. Transcultural Studies

DH unit: Heidelberg Research Architecture (HRA) Beratung – Schulung – Entwicklung Zusammenarbeit mit Partnern auf lokaler, nationaler und internationaler Ebene.

The Karl-Jaspers Centre for Advanced Transcultural Studies, Heidelberg Photo M. Arnold 2010

Kleines Team: 6 Personen - 3 Programmiererstellen Eng verbunden mit neu eingerichteter Junior Research Group “Digital Humanities - Digital Cultural Heritage” Project databases – Research analysis Entwicklung: Metadata Framework Tamboti Webportal: http://hra.uni-hd.de

Entwicklung: Tamboti Metadata Framework

A „suite of web applications that forms an integrated environment for interdisciplinary and internationally distributed studies in transcultural dynamics.“

• Modular structure, applications within eXist-db

• LDAP integration, granular access control

• Users can store, organise, share, and publish multilingual metadata records of different media formats: text, image, video, audio

• Different intl. standardized metadata schemas (sustainability, data exchange); one search for all data/schemas

currently integrated formats: MODS - VRA core - TEI, *Wiki records, *video annotation records (structured notes in MODS), text extracted from uploaded PDF files, *name authority files (e.g. MADS)

Source code: https://github.com/eXist-db/tamboti Heidelberg instance: http://tamboti.uni-hd.de

Tamboti Suche

Tamboti Suche - medienübergreifend

VRA 32nd Annual Conference | 2014/03/13 | Session 8: VRA Core 4 Unbound | Matthias Arnold, Heidelberg 5

Ein Framework für Metadaten und Annotationen

Bibliographische Informationen in MODS

Bild-Metadaten in VRA core 4 mit Ziziphus-Editor

Teil-von-Video und Teil-von-Audio Annotationen in pan.do/ra

Teil-von-Bild Annotationen in HyperImage

Anforderungen an Videoannotations-systeme Versuch einer Systematisierung

Diverse Anwendungsbereiche

Linguistische Analyse: ELAN, ANVIL, EXMARaLDA

Medienanstalten/Archive: LinkedTV, MediaGlobe

E-Learning, Vortragsportale: Catool, AAV/Opencast Matterhorn, Alexander Street

Streaming Plattformen/Archivportale: Kaltura, (AV Portal)

Musik/Performance: trAVis, MyStoryPlayer

Video: Mediathread, Pan.do/ra

Interactive storytelling: Klynt, HyperImage

Subtitling: Speedtrans, DotSub

Service based analysis: Semex, Videana

=> Alle Tools bieten Annotationen an. Viele fanden elegante - aber bereichs-spezifische Lösungen. Keins deckt alle Bereiche ab.

Online Aufstellung: Softwarelösungen mit Bezug zu Video-Annotationen

VRA 32nd Annual Conference | 2014/03/13 | Session 8: VRA Core 4 Unbound | Matthias Arnold, Heidelberg 9

Liste von über 50 Softwarelösungen mit Bezug zu Video-Annotationen Auswertung verfügbarer Listen und Online-Recherche: Zugang (bitte kommentieren / ergänzen!): http://bit.ly/1oUYPNH

Bamboo http://dirt.projectbamboo.org/tags/video 2011-12

Harvard http://www.annotations.harvard.edu/icb/icb.do?keyword=k80243&pageid=icb.page466612 2010

Jost et al. 2013

Jost, Christofer, Daniel Klug, Axel Schmidt, Klaus Neumann-Braun, and Armin Reautschnig. Computergestützte Analyse von audiovisuellen Medienprodukten. Qualitative Sozialforschung 22. Springer Fachmedien Wiesbaden, 2013. http://link.springer.com/book/10.1007%2F978-3-531-19459-2. 2013

Linked TV

LinkedTV, Evlampios Apostolidis, Michail Dimopoulos, Vasileios Mezaris, Daniel Stein, Jaap Blom, Ivo Lasek, et al. State of The Art and Requirements Analysis for Hypervideo. Pdf. LinkedTV - Television Linked To The Web, September 30, 2012. http://www.slideshare.net/linkedtv/linked-tv-d11state-of-the-art-and-requirements-analysis-for-hypervideo. 2012

UCLA-KB http://kb.ucla.edu/articles/video-annotation-tools 28.04.2009

Requirements of a Video Annotation System

Requirements of a Video Annotation System (Annotations at Harvard, 2010) http://www.annotations.harvard.edu/icb/icb.do?keyword=k80243&pageid=icb.page466612

1 – Annotation of entire video 2 – Sound visualisation (detail highlights) 3 - User-defined custom annotation markers 4 - A time range for each annotation 5 - Automatic captioning of spoken word as baseline annotations 6 - Overlays of user-generated annotation: • graphics for basic shapes • stroke and fill properties • short text tags with formatting • placement and positioning of graphic objects should be dependent upon the graphed waveform and zooming level [MA: Text altered]

Pan.do/ra in der HRA Analyse und Verlinkung von (Teilen von) Video/Audio Materialien

Pan.do/ra in der HRA

Gemeinsames Annotieren von Videos und Bildsequenzen Verschiedene Ebenen für unterschiedliche Annotationstypen (description, transcription, keywords, locations), frei erweiterbar

Film im Kontext

Insert -> Header/Footer -> check “Slide Number” and “Footer” with the respective line, e.g. Institute | Person | Title

Präsentation und Inhaltsanalyse

Visual Pilgrim: Eingebettete Videosequenzen

Visual Pilgrim: Eingebettete Videosequenzen

Einsatz im Unterricht und in Forschungsprojekten Bildsprache in

japanischen Visual Kei Videos

Analyse von islamischen

Predigten

Pan.do/ra – Entwicklung/Team

0x2620 Collaborative Archiving and Networked Distribution e.V., Berlin http://0x2620.org

Pad.ma - Public Access Digital Media Archive, http://pad.ma/

Start 2008, Material unabhängiger Filmemacher v.a. aus Mumbai und Bangalore

Weiterentwicklung pan.do/ra (user-client, seit Ende 2011)

Open Source, GNU General Public License https://wiki.0x2620.org/wiki/pandora

API: Nutzung über Ox.App (Ox.js) oder pandora_client (Python)

Annotationen in HTML5 (z.B. Einbinden von Bildern) Video-Formate: WebM, Ogg Theora

Anbindung an Tamboti

Anbindung an Tamboti

Ausgabe von Video-Annotationen als structured note in MODS <relatedItem>

Proof-of-concept Implementierung

Anbindung an Tamboti

Ausblick

Weiterentwicklungen in Pan.do/ra

Bereits umgesetzt:

• LDAP Integration

• Client/API Beispiele/Dokumentation

Nächste Features:

• Granularer Annotations-Export (MODS)

• Batch import (Firefogg in read-only directories)

• Anbindung kontrollierter Vokabulare

• Mehrere Audio-Tracks per Video

• verbessertes Gruppenmanagement, Admin-Funktionen

• Gleichberechtigung Video-Sound-Text/Bild-Annotationen

Weiterentwicklung in Tamboti

Einbinden von Videos in HyperImage -> Overlays/Marker, -> hervorgehobene Objekte -> item tracking over time DH Video-Annotation in Zukunft? Austauschbarkeit Notation? Schema? (z.B. DARIAH-2 Cluster 6) Automatisierte Inhaltsanalyse? Semex (HPI), Videana (Marburg)

Kontakt & weiterführende Links

http://vad.uni-hd.de – HRA Videoannotationsdatenbank (pan.do/ra)

http://tamboti.uni-hd.de – HRA Tamboti Metadatenframework

http://hra.uni-hd.de – HRA Web-Portal

https://pan.do/ra – pan.do/ra Website

https://wiki.0x2620.org/wiki/pandora – pan.do/ra SourceCode

Überblick Video Annotations Tools: http://bit.ly/1oUYPNH

hra@asia-europe.uni-heidelberg.de

arnold@asia-europe.uni-heidelberg.de