Skip to main content
Metadata in Multimedia Containers for Instantaneous Visualizations and Visual Analytics
Version 1.0
Schöning, Julius, 2025, "Metadata in Multimedia Containers for Instantaneous Visualizations and Visual Analytics", https://doi.org/10.26249/FK2/2W3WJV, osnaData, V1
Learn about Data Citation Standards.
Contact Owner
Dataset Metrics
130 Downloads
Description
With the rising amount of gaze behavior analysis, where participants get tracked watching video stimuli, the amount of corresponding gaze data records increases, too. Unfortunately, in most cases, these data are collected in separate files in custom-made or proprietary data formats. Thus these data are hard to access even for experts, and effectively inaccessible for non-experts. Expensive or custom-made software is necessary for the data analysis. By promoting the use of existing multimedia container formats for distributing and archiving eye tracking and gaze data bundled with the stimuli media, we define an exchange format that can be interpreted by standard multimedia players as well as streamed via the Internet. We converted several gaze data sets into our format, demonstrating the feasability of our approach and allowing to visualize these data with standard multimedia players. We also introduce two plugins for one of these players, allowing for further visual analytics. We discuss the benefit of gaze data in a multimedia containers and explain possible visual analytics approaches based on our implementations, converted datasets, and first user interviews.

Converted Eye Tracking Data Sets with Instantaneous Visualizations

The following data sets are provided for research purposes. By using these data sets in the proposed multimedia container format, please cite [S0], [S1], [S2], or [S3] and also the original dataset [A], [B], [C], [K], or [R].
  • Real World Visual Processing [S3] - 1 video
  • Açik et al. [A] dataset - 216 videos
  • Sundberg et al. [B] dataset - 7 videos
  • Coutrot & Guyader [C] dataset - 60 videos
  • Kurzhals et al. [K] dataset - 11 videos
  • Riche et al. [R] dataset - 24 videos

Source Code

VLC 3.0.0 patch

Modified version of the subsusf.c. Necessary for the playback of the USF files.

USF to ASS translation

XSL file for USF to ASS translation usf2ass.xsl.

VLC Visual Analytics Plugins

To install the extensions under Linux, please copy the SimSub.lua and/or MergeSub.lua into ~/.local/share/vlc/lua/extensions/ for the current user or /usr/lib/vlc/lua/extensions/ for all users. SimSub: Visualization of different eye tracking datasets in multiple windows MergeSub: Visualization of different eye tracking datasets in a single window

References

[S0] J. Schöning, C. Gundler, G. Heidemann, P. König & U. Krumnack. Visual Analytics of Gaze Data with Standard Multimedia Players. Journal of Eye Movement Research, 10(5) : 1-14, 2017. http://dx.doi.org/10.16910/jemr.10.5.4
[S1] J. Schöning, P. Faion, G. Heidemann & U. Krumnack. Eye Tracking Data in Multimedia Containers for Instantaneous Visualizations. In IEEE VIS Workshop on Eye Tracking and Visualization (ETVIS), pages: 74-78, 2016. IEEE. http://dx.doi.org/10.1109/ETVIS.2016.7851171
[S3] J. Schöning, A.L. Gert, A. Açik, T.C. Kietzmann, G. Heidemann & P. König. Exploratory Multimodal Data Analysis with Standard Multimedia Player --- Multimedia Containers: a Feasible Solution to make Multimodal Research Data Accessible to the Broad Audience. In Proceedings of the 12th Joint Conference on Computer Vision, Imagingand Computer Graphics Theory and Applications (VISAPP), pages: 272-279, ISBN: 978-989-758-225-7, 2017. SCITEPRESS. http://dx.doi.org/10.5220/0006260202720279
[A] A. Açik, A. Bartel & P. König. Real and implied motion at the center of gaze. Journal of Vision, 14(2) : 1-19, 2014. Association for Research in Vision and Ophthalmology (ARVO). http://dx.doi.org/10.1167/14.1.2
[B] P. Sundberg, T. Brox, M. Maire, P. Arbelaez & J. Malik. Occlusion boundary detection and figure/ground assignment from optical flow. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages: 2233-2240, 2011. IEEE. http://dx.doi.org/10.1109/cvpr.2011.5995364
[C] A. Coutrot & N. Guyader. How saliency, faces, and sound influence gaze in dynamic social scenes. Journal of Vision, 14(8) : 5-5, 2014. Association for Research in Vision and Ophthalmology (ARVO). http://dx.doi.org/10.1167/14.8.5
[K] K. Kurzhals, C.F. Bopp, J. Bässler, F. Ebinger & D. Weiskopf. Benchmark data for evaluating visualization and analysis techniques for eye tracking for video stimuli. In ACM Workshop on Beyond Time and Errors: Novel Evaluation Methods for Visualization (BELIV), pages: 54-60, 2014. ACM Press. http://dx.doi.org/10.1145/2669557.2669558
[R] N. Riche, M. Mancas, D. Culibrk, V. Crnojevic, B. Gosselin & T. Dutoit. Dynamic Saliency Models and Human Attention: A Comparative Study on Videos. Lecture Notes in Computer Science, pages: 586-598, ISBN: 978-3-642-37431-9, 2013. Springer Science + Business Media. http://dx.doi.org/10.1007/978-3-642-37431-9_45
(2017-10-23)
Subject Computer and Information Science; Other
Related Publication [S0] J. Schöning, C. Gundler, G. Heidemann, P. König & U. Krumnack. Visual Analytics of Gaze Data with Standard Multimedia Players. Journal of Eye Movement Research, 10(5) : 1-14, 2017. doi: 10.16910/jemr.10.5.4
Table
Tree
Share Dataset

Share this dataset on your favorite social media networks.

Dataset Citations

Citations for this dataset are retrieved from Crossref via DataCite using Make Data Count standards. For more information about dataset metrics, please refer to the User Guide.

Sorry, no citations were found.
Restricted Files Selected

The restricted file(s) selected may not be downloaded because you have not been granted access.

Restricted Files Selected

The restricted file(s) selected may not be downloaded because you have not been granted access.

Click Continue to download the files you have access to download.

Restricted Files Selected

The restricted file(s) selected may not be downloaded because you have not been granted access.

Click Continue to download the files you have access to download.

Delete Dataset

Are you sure you want to delete this dataset and all of its files? You cannot undelete this dataset.

Delete Draft Version

Are you sure you want to delete this draft version? Files will be reverted to the most recently published version. You cannot undelete this draft.

Unpublished Dataset Private URL

Private URL can only be used with unpublished versions of datasets.

Unpublished Dataset Private URL

Are you sure you want to disable the Private URL? If you have shared the Private URL with others they will no longer be able to use it to access your unpublished dataset.

Delete Files

The file(s) will be deleted after you click on the Delete button.

Files will not be removed from previously published versions of the dataset.

Compute

This dataset contains restricted files you may not compute on because you have not been granted access.

Deaccession Dataset

Are you sure you want to deaccession? The selected version(s) will no longer be viewable by the public.

Deaccession Dataset

Are you sure you want to deaccession this dataset? It will no longer be viewable by the public.

Version Differences Details

Please select two versions to view the differences.

Version Differences Details
 
Version:
Last Updated:
Version:
Last Updated:
Select File(s)

Please select a file or files to be downloaded.

Select File(s)

Please select a file or files for access request.

Select File(s)

Please select a file or files to be deleted.

Select File(s)

Please select unrestricted file(s) to be restricted.

Select File(s)

Please select restricted file(s) to be unrestricted.

Select File(s)

Please select a file or files to be edited.

Select File(s)

Please select a file or files to be edited.

Edit Tags

Select existing file tags or create new tags to describe your files. Each file can have more than one tag.

Request Access

  You need to Log In to request access to this file.

Data Not Published

In order to map your data with WorldMap, your data must be published. Please publish this dataset, then retry the Map Data feature.


Dataset Terms

Please confirm and/or complete the information needed below in order to continue.

  http://creativecommons.org/licenses/by-sa/4.0/
Preview Guestbook

Upon downloading files the guestbook asks for the following information.

Account Information

Package File Download

Use the Download URL in a Wget command or a download manager to download this package file. Download via web browser is not recommended. User Guide - Downloading a Package via URL

- -
:

https://osnadata.ub.uni-osnabrueck.de/api/access/datafile/

Request Access

Please confirm and/or complete the information needed below in order to request access to files in this dataset.

  http://creativecommons.org/licenses/by-sa/4.0/
Compute Batch
Clear Batch
Dataset Dataset Persistent ID
Compute Batch
File Restrictions
Enable access request
Submit for Review

You will not be able to make changes to this dataset while it is in review.

Lizenzvereinbarung – Deposit License

Hiermit gestatte ich der Universität Osnabrück, vertreten durch die Präsidentin/den Präsidenten, durchführende Organisationseinheit: Universitätsbibliothek (UB), vertreten durch die Leitende Bibliotheksdirektorin/den Leitenden Bibliotheksdirektor, meine digitalen Forschungsdaten einschließlich Abstract und Metadaten zu den unten genannten Lizenzbedingungen zur freien Nutzung im Internet bereitzustellen. Im Rahmen dieser Bereitstellung sind Nutzerinnen und Nutzer berechtigt, Forschungsdaten nach Maßgabe des Urheberrechts unentgeltlich zu nutzen, insbesondere, Forschungsdaten zum privaten und sonstigen eigenen Gebrauch herunter zu laden oder zu speichern.

Rechteeinräumung

Der Urheber/die Urheberin der Forschungsdaten räumt der Universität Osnabrück an seinen/ihren Forschungsdaten einschließlich Abstract und Metadaten zeitlich unbegrenzt und unwiderruflich das nicht ausschließliche Recht zur öffentlichen Zugänglichmachung, zur langfristigen Speicherung auf dem institutionellem Forschungsdatenrepositorium osnaData der Universität Osnabrück und zur Vervielfältigung zu diesen Zwecken ein. Der urheberrechtliche Schutz bleibt durch diese Lizenz unberührt. Die Universität Osnabrück behält sich vor, Forschungsdaten wegen inhaltlicher oder technischer Mängel oder eines ungeklärten rechtlichen Status abzulehnen.

Rechte Dritter

Der Urheber/die Urheberin der Forschungsdaten erklärt, dass mit der Bereitstellung seiner/ihrer Forschungsdaten und jedes Bestandteils (z. B. beschreibende Dokumentationen) keine Rechte Dritter (z. B. Miturheber, Co-Autoren, Verlage, Drittmittelgeber) verletzt werden. Insbesondere hat bisher kein Verlag oder sonstiger Dritter (z. B. Drittmittelgeber) ein ausschließliches Nutzungsrecht.

Der Urheber/die Urheberin der Forschungsdaten verpflichtet sich, die Universität Osnabrück von solchen Ansprüchen Dritter freizustellen, die sich daraus ergeben, dass es aufgrund schuldhafter falscher Angaben des Urhebers/der Urheberin bezüglich des Nichtbestehens von Rechten Dritter oder sonstiger von ihm/ihr zu vertretenden Umständen durch die Veröffentlichung seines/ihres Werkes auf osnaData zu einer Verletzung von Urheberrechten oder ausschließlichen Nutzungsrechten kommt. Das gilt nicht, wenn die Verletzung auf einem vorsätzlichen oder grob fahrlässigen Verhalten der Universität Osnabrück als Betreiberin von osnaData beruht und dem Urheber/der Urheberin der Forschungsdaten nicht in gleicher Weise Vorsatz oder grobe Fahrlässigkeit zu Last fällt. Im letzteren Fall erfolgt eine Aufteilung des Schadens insbesondere unter Abwägung der Verschuldensanteile.

Die Vertragsparteien verpflichten sich, einander unverzüglich zu informieren, wenn Dritte Ansprüche aufgrund der ihnen zustehenden Urheber- bzw. Nutzungsrechte an den digitalen Forschungsdaten gegen sie erheben.

Die Universität Osnabrück ist berechtigt, den Zugriff auf die Forschungsdaten zu sperren, soweit konkrete Anhaltspunkte für eine Verletzung von Rechten Dritter bestehen oder andere rechtliche Vorschriften dies erfordern.

Langzeitarchivierung und Transformation in andere Formate

Der Urheber/die Urheberin der Forschungsdaten räumt der Universität Osnabrück im Rahmen der Rechteeinräumung gemäß Ziffer 1 das Recht ein, seine/ihre bereitgestellten Forschungsdaten in einem Langzeitarchiv zu speichern und bei Bedarf (z. B. technische Nutzbarkeit, Migration, Barrierefreiheit, bessere Zugänglichkeit oder Erschließung) in andere elektronische Formate zu überführen (Formatkonvertierung).

Weitergabe von Metadaten und Dokumenten

Der Urheber/die Urheberin der Forschungsdaten räumt der Universität Osnabrück im Rahmen der Rechteeinräumung gemäß Ziffer 1 das Recht ein, die Metadaten einschließlich Abstract seiner/ihrer Forschungsdaten anderen Datenbanken gemäß den FAIR-Prinzipien unentgeltlich unter der Lizenz CC0 zur Verfügung zu stellen. Darüber hinaus räumt er/sie der Universität Osnabrück das Recht ein, seine/ihre Forschungsdaten Dritten im Rahmen nationaler Sammelaufträge zur Online-Bereitstellung oder Archivierung zur Verfügung zu stellen.

Die durch diesen Vertrag eingeräumten Rechte können ganz oder teilweise auf Dritte übertragen und einfache Nutzungsrechte an andere Repositorien vergeben bzw. ein Dritter mit der Bereitstellung des Dokuments beauftragt werden, ohne dass es hierzu einer gesonderten Zustimmung des Urhebers/der Urheberin der Forschungsdaten bedarf.

Ansprechpartner für alle osnaData betreffenden technischen und inhaltlichen Fragen ist die Administration von osnaData. Email: osnadata@ub.uni-osnabrueck.de

Publish Dataset

Lizenzvereinbarung – Deposit License

Hiermit gestatte ich der Universität Osnabrück, vertreten durch die Präsidentin/den Präsidenten, durchführende Organisationseinheit: Universitätsbibliothek (UB), vertreten durch die Leitende Bibliotheksdirektorin/den Leitenden Bibliotheksdirektor, meine digitalen Forschungsdaten einschließlich Abstract und Metadaten zu den unten genannten Lizenzbedingungen zur freien Nutzung im Internet bereitzustellen. Im Rahmen dieser Bereitstellung sind Nutzerinnen und Nutzer berechtigt, Forschungsdaten nach Maßgabe des Urheberrechts unentgeltlich zu nutzen, insbesondere, Forschungsdaten zum privaten und sonstigen eigenen Gebrauch herunter zu laden oder zu speichern.

Rechteeinräumung

Der Urheber/die Urheberin der Forschungsdaten räumt der Universität Osnabrück an seinen/ihren Forschungsdaten einschließlich Abstract und Metadaten zeitlich unbegrenzt und unwiderruflich das nicht ausschließliche Recht zur öffentlichen Zugänglichmachung, zur langfristigen Speicherung auf dem institutionellem Forschungsdatenrepositorium osnaData der Universität Osnabrück und zur Vervielfältigung zu diesen Zwecken ein. Der urheberrechtliche Schutz bleibt durch diese Lizenz unberührt. Die Universität Osnabrück behält sich vor, Forschungsdaten wegen inhaltlicher oder technischer Mängel oder eines ungeklärten rechtlichen Status abzulehnen.

Rechte Dritter

Der Urheber/die Urheberin der Forschungsdaten erklärt, dass mit der Bereitstellung seiner/ihrer Forschungsdaten und jedes Bestandteils (z. B. beschreibende Dokumentationen) keine Rechte Dritter (z. B. Miturheber, Co-Autoren, Verlage, Drittmittelgeber) verletzt werden. Insbesondere hat bisher kein Verlag oder sonstiger Dritter (z. B. Drittmittelgeber) ein ausschließliches Nutzungsrecht.

Der Urheber/die Urheberin der Forschungsdaten verpflichtet sich, die Universität Osnabrück von solchen Ansprüchen Dritter freizustellen, die sich daraus ergeben, dass es aufgrund schuldhafter falscher Angaben des Urhebers/der Urheberin bezüglich des Nichtbestehens von Rechten Dritter oder sonstiger von ihm/ihr zu vertretenden Umständen durch die Veröffentlichung seines/ihres Werkes auf osnaData zu einer Verletzung von Urheberrechten oder ausschließlichen Nutzungsrechten kommt. Das gilt nicht, wenn die Verletzung auf einem vorsätzlichen oder grob fahrlässigen Verhalten der Universität Osnabrück als Betreiberin von osnaData beruht und dem Urheber/der Urheberin der Forschungsdaten nicht in gleicher Weise Vorsatz oder grobe Fahrlässigkeit zu Last fällt. Im letzteren Fall erfolgt eine Aufteilung des Schadens insbesondere unter Abwägung der Verschuldensanteile.

Die Vertragsparteien verpflichten sich, einander unverzüglich zu informieren, wenn Dritte Ansprüche aufgrund der ihnen zustehenden Urheber- bzw. Nutzungsrechte an den digitalen Forschungsdaten gegen sie erheben.

Die Universität Osnabrück ist berechtigt, den Zugriff auf die Forschungsdaten zu sperren, soweit konkrete Anhaltspunkte für eine Verletzung von Rechten Dritter bestehen oder andere rechtliche Vorschriften dies erfordern.

Langzeitarchivierung und Transformation in andere Formate

Der Urheber/die Urheberin der Forschungsdaten räumt der Universität Osnabrück im Rahmen der Rechteeinräumung gemäß Ziffer 1 das Recht ein, seine/ihre bereitgestellten Forschungsdaten in einem Langzeitarchiv zu speichern und bei Bedarf (z. B. technische Nutzbarkeit, Migration, Barrierefreiheit, bessere Zugänglichkeit oder Erschließung) in andere elektronische Formate zu überführen (Formatkonvertierung).

Weitergabe von Metadaten und Dokumenten

Der Urheber/die Urheberin der Forschungsdaten räumt der Universität Osnabrück im Rahmen der Rechteeinräumung gemäß Ziffer 1 das Recht ein, die Metadaten einschließlich Abstract seiner/ihrer Forschungsdaten anderen Datenbanken gemäß den FAIR-Prinzipien unentgeltlich unter der Lizenz CC0 zur Verfügung zu stellen. Darüber hinaus räumt er/sie der Universität Osnabrück das Recht ein, seine/ihre Forschungsdaten Dritten im Rahmen nationaler Sammelaufträge zur Online-Bereitstellung oder Archivierung zur Verfügung zu stellen.

Die durch diesen Vertrag eingeräumten Rechte können ganz oder teilweise auf Dritte übertragen und einfache Nutzungsrechte an andere Repositorien vergeben bzw. ein Dritter mit der Bereitstellung des Dokuments beauftragt werden, ohne dass es hierzu einer gesonderten Zustimmung des Urhebers/der Urheberin der Forschungsdaten bedarf.

Ansprechpartner für alle osnaData betreffenden technischen und inhaltlichen Fragen ist die Administration von osnaData. Email: osnadata@ub.uni-osnabrueck.de

Are you sure you want to republish this dataset?

Select if this is a minor or major version update.

Publish Dataset

This dataset cannot be published until Fachbereich 08 - Humanwissenschaften is published by its administrator.

Publish Dataset

This dataset cannot be published until Fachbereich 08 - Humanwissenschaften and osnaData are published.

Return to Author

Return this dataset to contributor for modification.

int.ID: 5141
Contact osnaData Support

osnaData Support

Please fill this out to prove you are not a robot.

+ =