{"id":30,"identifier":"FK2/BFDUZO","persistentUrl":"https://doi.org/10.26249/FK2/BFDUZO","protocol":"doi","authority":"10.26249","publisher":"osnaData","publicationDate":"2021-05-10","storageIdentifier":"file://10.26249/FK2/BFDUZO","datasetVersion":{"id":7,"datasetId":30,"datasetPersistentId":"doi:10.26249/FK2/BFDUZO","storageIdentifier":"file://10.26249/FK2/BFDUZO","versionNumber":1,"versionMinorNumber":0,"versionState":"RELEASED","lastUpdateTime":"2021-05-10T13:37:35Z","releaseTime":"2021-05-10T13:37:35Z","createTime":"2021-05-06T09:55:44Z","license":"NONE","termsOfUse":"  http://creativecommons.org/licenses/by/4.0/","fileAccessRequest":false,"metadataBlocks":{"citation":{"displayName":"Citation Metadata","fields":[{"typeName":"title","multiple":false,"typeClass":"primitive","value":"Data from Neural Network Training in the Obstacle Tower Environment to Investigate Embodied, Weakly Supervised Learning"},{"typeName":"author","multiple":true,"typeClass":"compound","value":[{"authorName":{"typeName":"authorName","multiple":false,"typeClass":"primitive","value":"Clay, Viviane"},"authorAffiliation":{"typeName":"authorAffiliation","multiple":false,"typeClass":"primitive","value":"Osnabrück University"},"authorIdentifierScheme":{"typeName":"authorIdentifierScheme","multiple":false,"typeClass":"controlledVocabulary","value":"ORCID"},"authorIdentifier":{"typeName":"authorIdentifier","multiple":false,"typeClass":"primitive","value":"http://orcid.org/0000-0001-9152-0666"}}]},{"typeName":"datasetContact","multiple":true,"typeClass":"compound","value":[{"datasetContactName":{"typeName":"datasetContactName","multiple":false,"typeClass":"primitive","value":"Clay, Viviane"},"datasetContactAffiliation":{"typeName":"datasetContactAffiliation","multiple":false,"typeClass":"primitive","value":"Osnabrück University"},"datasetContactEmail":{"typeName":"datasetContactEmail","multiple":false,"typeClass":"primitive","value":"vkakerbeck@uni-osnabrueck.de"}}]},{"typeName":"dsDescription","multiple":true,"typeClass":"compound","value":[{"dsDescriptionValue":{"typeName":"dsDescriptionValue","multiple":false,"typeClass":"primitive","value":"Description:
\nThis repository presents data collected to investigate the role of embodiment and supervision in learning. This is done inside a simulated 3D maze world with a navigation task using mainly visual input in the form of RGB images. The main contribution of this data repository is to provide a network model trained in this environment with weak supervision and a closed loop between action and perception. Additionally, control networks are provided which were trained with varying degrees of supervision and embodiment. In the corresponding paper [1] the representations of these networks are compared based on sparsity measures and well as content of the encodings and the possibility to extract semantic labels. For the training of the control conditions several new data sets were created which are also included here. They contain a collection of images from the simulated world with corresponding semantic labels. Overall, they provide a good basis for further analysis and a more in-depth investigation of representation learning and the effect of embodiment and supervision on representations."},"dsDescriptionDate":{"typeName":"dsDescriptionDate","multiple":false,"typeClass":"primitive","value":"2020-12-05"}},{"dsDescriptionValue":{"typeName":"dsDescriptionValue","multiple":false,"typeClass":"primitive","value":"
Steps to reproduce:
\nData was generated through a 3D simulation of a maze environment called Obstacle Tower. The data of interest are the trained neural network weights and the networks activations corresponding with different input frames. Three main networks were trained. A reinforcement learning agent which trained through interaction with the simulated environment, an autoencoder trained to reconstruct images collected by the agent and a classifier, trained to classify objects in the images. Exact training and testing conditions, hyperparameter and network structure are provided in the corresponding paper.
\n\nFor the training of the reinforcement learning agent the Unity ml-agents toolkit PPO implementation is used with small modifications for extra data collection and control experiments. The code we used can be found here: https://github.com/vkakerbeck/ml-agents-dev . Model checkpoint files are saved for different points in training but mostly the final version of the network is analysed in the corresponding paper [1] . The autoencoder and classifier are trained using Python with TensorFlow and Keras. The corresponding code can be found here: https://github.com/vkakerbeck/Learning-World-Representations/tree/master/DataAnalysis . The data also contains activations in the hidden layer of the network corresponding to 4000 test images for all three networks. Code for this can be found in the same GitHub repository. The datasets used for training the autoencoder and classifier were created by collecting observations in the Obstacle Tower environment using the trained agent. These observations were then labelled automatically, and the labels were cross checked by hand.
\n\nA Description of the individual files is included in the data folder (Description.txt). Due to storage constraints no all model checkpoint files used to create figure 6 of the paper could be uploaded. However, feel free to contact me (vkakerbeck[at]uos.de) if you are intrested in these detailed checkpoint files of the controll runs and I will make them available to you."},"dsDescriptionDate":{"typeName":"dsDescriptionDate","multiple":false,"typeClass":"primitive","value":"2020-12-05"}}]},{"typeName":"subject","multiple":true,"typeClass":"controlledVocabulary","value":["Computer and Information Science"]},{"typeName":"ddc","multiple":true,"typeClass":"controlledVocabulary","value":["004 - Data processing, computer science"]},{"typeName":"keyword","multiple":true,"typeClass":"compound","value":[{"keywordValue":{"typeName":"keywordValue","multiple":false,"typeClass":"primitive","value":"Artificial Neural Networks"}},{"keywordValue":{"typeName":"keywordValue","multiple":false,"typeClass":"primitive","value":"Reinforcement Learning"}},{"keywordValue":{"typeName":"keywordValue","multiple":false,"typeClass":"primitive","value":"Cognitive Science"}},{"keywordValue":{"typeName":"keywordValue","multiple":false,"typeClass":"primitive","value":"Cognitive Representation"}}]},{"typeName":"publication","multiple":true,"typeClass":"compound","value":[{"publicationCitation":{"typeName":"publicationCitation","multiple":false,"typeClass":"primitive","value":"Clay, Viviane (2020), “Data from Neural Network Training in the Obstacle Tower Environment to Investigate Embodied, Weakly Supervised Learning”, Mendeley Data, V2."},"publicationIDType":{"typeName":"publicationIDType","multiple":false,"typeClass":"controlledVocabulary","value":"doi"},"publicationIDNumber":{"typeName":"publicationIDNumber","multiple":false,"typeClass":"primitive","value":"10.17632/zdh4d5ws2z.2"},"publicationURL":{"typeName":"publicationURL","multiple":false,"typeClass":"primitive","value":"http://dx.doi.org/10.17632/zdh4d5ws2z.2"}},{"publicationCitation":{"typeName":"publicationCitation","multiple":false,"typeClass":"primitive","value":"Clay, V., König, P., Kühnberger, K.-U. & Pipa, G. Learning sparse and meaningful representations through embodiment. Neural Networks (2020)."},"publicationIDType":{"typeName":"publicationIDType","multiple":false,"typeClass":"controlledVocabulary","value":"doi"},"publicationIDNumber":{"typeName":"publicationIDNumber","multiple":false,"typeClass":"primitive","value":"10.1016/j.neunet.2020.11.004"},"publicationURL":{"typeName":"publicationURL","multiple":false,"typeClass":"primitive","value":"https://doi.org/10.1016/j.neunet.2020.11.004"}}]},{"typeName":"depositor","multiple":false,"typeClass":"primitive","value":"Gronwald, Marco"},{"typeName":"dateOfDeposit","multiple":false,"typeClass":"primitive","value":"2021-05-06"},{"typeName":"licenseApproval","multiple":false,"typeClass":"primitive","value":"on 2021-05-10, user marco.gronwald@uni-osnabrueck.de approved the following license text:

Lizenzvereinbarung – Deposit License

Hiermit gestatte ich der Universität Osnabrück, vertreten durch die Präsidentin/den Präsidenten, durchführende Organisationseinheit: Universitätsbibliothek (UB), vertreten durch die Leitende Bibliotheksdirektorin/den Leitenden Bibliotheksdirektor, meine digitalen Forschungsdaten einschließlich Abstract und Metadaten zu den unten genannten Lizenzbedingungen zur freien Nutzung im Internet bereitzustellen. Im Rahmen dieser Bereitstellung sind Nutzerinnen und Nutzer berechtigt, Forschungsdaten nach Maßgabe des Urheberrechts unentgeltlich zu nutzen, insbesondere, Forschungsdaten zum privaten und sonstigen eigenen Gebrauch herunter zu laden oder zu speichern.

Rechteeinräumung

Der Urheber/die Urheberin der Forschungsdaten räumt der Universität Osnabrück an seinen/ihren Forschungsdaten einschließlich Abstract und Metadaten zeitlich unbegrenzt und unwiderruflich das nicht ausschließliche Recht zur öffentlichen Zugänglichmachung, zur langfristigen Speicherung auf dem institutionellem Forschungsdatenrepositorium osnaData der Universität Osnabrück und zur Vervielfältigung zu diesen Zwecken ein. Der urheberrechtliche Schutz bleibt durch diese Lizenz unberührt. Die Universität Osnabrück behält sich vor, Forschungsdaten wegen inhaltlicher oder technischer Mängel oder eines ungeklärten rechtlichen Status abzulehnen.

Rechte Dritter

Der Urheber/die Urheberin der Forschungsdaten erklärt, dass mit der Bereitstellung seiner/ihrer Forschungsdaten und jedes Bestandteils (z. B. beschreibende Dokumentationen) keine Rechte Dritter (z. B. Miturheber, Co-Autoren, Verlage, Drittmittelgeber) verletzt werden. Insbesondere hat bisher kein Verlag oder sonstiger Dritter (z. B. Drittmittelgeber) ein ausschließliches Nutzungsrecht.

Der Urheber/die Urheberin der Forschungsdaten verpflichtet sich, die Universität Osnabrück von solchen Ansprüchen Dritter freizustellen, die sich daraus ergeben, dass es aufgrund schuldhafter falscher Angaben des Urhebers/der Urheberin bezüglich des Nichtbestehens von Rechten Dritter oder sonstiger von ihm/ihr zu vertretenden Umständen durch die Veröffentlichung seines/ihres Werkes auf osnaData zu einer Verletzung von Urheberrechten oder ausschließlichen Nutzungsrechten kommt. Das gilt nicht, wenn die Verletzung auf einem vorsätzlichen oder grob fahrlässigen Verhalten der Universität Osnabrück als Betreiberin von osnaData beruht und dem Urheber/der Urheberin der Forschungsdaten nicht in gleicher Weise Vorsatz oder grobe Fahrlässigkeit zu Last fällt. Im letzteren Fall erfolgt eine Aufteilung des Schadens insbesondere unter Abwägung der Verschuldensanteile.

Die Vertragsparteien verpflichten sich, einander unverzüglich zu informieren, wenn Dritte Ansprüche aufgrund der ihnen zustehenden Urheber- bzw. Nutzungsrechte an den digitalen Forschungsdaten gegen sie erheben.

Die Universität Osnabrück ist berechtigt, den Zugriff auf die Forschungsdaten zu sperren, soweit konkrete Anhaltspunkte für eine Verletzung von Rechten Dritter bestehen oder andere rechtliche Vorschriften dies erfordern.

Langzeitarchivierung und Transformation in andere Formate

Der Urheber/die Urheberin der Forschungsdaten räumt der Universität Osnabrück im Rahmen der Rechteeinräumung gemäß Ziffer 1 das Recht ein, seine/ihre bereitgestellten Forschungsdaten in einem Langzeitarchiv zu speichern und bei Bedarf (z. B. technische Nutzbarkeit, Migration, Barrierefreiheit, bessere Zugänglichkeit oder Erschließung) in andere elektronische Formate zu überführen (Formatkonvertierung).

Weitergabe von Metadaten und Dokumenten

Der Urheber/die Urheberin der Forschungsdaten räumt der Universität Osnabrück im Rahmen der Rechteeinräumung gemäß Ziffer 1 das Recht ein, die Metadaten einschließlich Abstract seiner/ihrer Forschungsdaten anderen Datenbanken gemäß den FAIR-Prinzipien unentgeltlich unter der Lizenz CC0 zur Verfügung zu stellen. Darüber hinaus räumt er/sie der Universität Osnabrück das Recht ein, seine/ihre Forschungsdaten Dritten im Rahmen nationaler Sammelaufträge zur Online-Bereitstellung oder Archivierung zur Verfügung zu stellen.

Die durch diesen Vertrag eingeräumten Rechte können ganz oder teilweise auf Dritte übertragen und einfache Nutzungsrechte an andere Repositorien vergeben bzw. ein Dritter mit der Bereitstellung des Dokuments beauftragt werden, ohne dass es hierzu einer gesonderten Zustimmung des Urhebers/der Urheberin der Forschungsdaten bedarf.

Ansprechpartner für alle osnaData betreffenden technischen und inhaltlichen Fragen ist die Administration von osnaData. Email: osnadata@ub.uni-osnabrueck.de

"},{"typeName":"externalFile","multiple":true,"typeClass":"compound","value":[{"externalFileName":{"typeName":"externalFileName","multiple":false,"typeClass":"primitive","value":"Original dataset can be found here:"},"externalFileURL":{"typeName":"externalFileURL","multiple":false,"typeClass":"primitive","value":"http://dx.doi.org/10.17632/zdh4d5ws2z.2"}}]}]}},"files":[],"citation":"Clay, Viviane, 2021, \"Data from Neural Network Training in the Obstacle Tower Environment to Investigate Embodied, Weakly Supervised Learning\", https://doi.org/10.26249/FK2/BFDUZO, osnaData, V1"}}