Zero-Shot Learning

Zero-Shot Learning (englisch, auf Deutsch Nullschusslernen) bezeichnet ein Verfahrenskonzept des maschinellen Lernens, bei welchem ein Automat bestimmte Objekte verschiedenen Klassen zuordnen soll, ohne dass er für diese Klassen im zuvor abgeschlossenen Training vergleichbare Beispiele (gelabelte Daten) gesehen hat. Das Gegenstück stellen Few-Shot Learning und One-Shot Learning dar, bei welchen der Automat im Rahmen des Trainings mehrere bzw. ein vergleichbares Klassenbeispiel erhält und anschließend Objekte in diese Klassen einordnen soll. Beim Zero-Shot Learning muss der Automat zusätzliches Wissen über die Klassen aus der Trainingsphase einsetzen, zum Beispiel Attribute oder Textbeschreibungen, um Objekte auch in ihm unbekannte Klassen einzuordnen, die ebenfalls solche Attribute oder Textbeschreibungen haben.

Grundidee

Beim Nullschusslernen werden die Klassen für Training und Test absichtlich getrennt. Der Automat soll im Test also auch Klassen erkennen, zu denen er zuvor keine Trainingsbeispiele gesehen hat. Die zentrale Annahme ist dabei, dass es für jede Klasse eine Beschreibung gibt (etwa Eigenschaften oder semantische Codes) und dass diese Beschreibungen auch für bisher ungesehene Klassen verfügbar sind, sodass sich auch für fremde Klassen Rückschlüsse zur korrekten Einordnung der Objekte durch den Automaten ziehen lassen.

Funktionsweise

Viele Nullschusslernen-Methoden bringen Beobachtungen (z. B. Merkmale aus Bildern) und Klassenbeschreibungen in einen gemeinsamen Bedeutungsraum (einen Raum, in dem Ähnlichkeit semantische Nähe ausdrückt). Bei der Bewältigung der Aufgabe nach dem Training vergleicht der Automat dann eine Beobachtung mit den verfügbaren Klassenbeschreibungen und wählt die am besten passende Beschreibung als Lösung. In der Praxis werden dafür entweder von Menschen festgelegte Attribute verwendet (also bestimmte, definierte Eigenschaften einer Klasse, wie „hat Streifen“) oder automatisch gewonnene Sprachrepräsentationen, die aus Klassenbegriffen und Texten abgeleitet werden.

Varianten und typische Schwierigkeiten

Beim generalisierten Nullschusslernen enthält die Aufgabe nach dem Training sowohl von dem Automaten gesehene (also bereits aus dem Training bekannte) als auch ungesehene Klassen, was dazu führen kann, dass der Automat im Rahmen der Aufgabe stark dazu tendiert, Objekte überwiegend in die bereits gesehenen Klassen einzuordnen. Für faire Vergleiche zwischen Nullschusslernen-Verfahren sind außerdem standardisierte Datensplits und klare Auswertungsprotokolle wichtig. Andernfalls können Ergebnisse künstlich besser wirken, etwas durch ungeeignete Einstellungen oder weil Informationen über die Testklassen indirekt ins Training „durchsickern“ (Informationsleck).

Einzelnachweise

1 2 Wang, W., Zheng, V. W., Yu, H., & Miao, C. (2019). A Survey of Zero-Shot Learning: Settings, Methods, and Applications. ACM Transactions on Intelligent Systems and Technology, 10(2), Article 13, 13:1–13:37. https://doi.org/10.1145/3293318
1 2 Lampert, C. H., Nickisch, H., & Harmeling, S. (2014). Attribute-Based Classification for Zero-Shot Visual Object Categorization. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(3), 453–465. https://doi.org/10.1109/TPAMI.2013.140
↑ Palatucci, M., Pomerleau, D., Hinton, G. E., & Mitchell, T. M. (2009). Zero-shot Learning with Semantic Output Codes. In Advances in Neural Information Processing Systems 22 (pp. 1410–1418). Curran Associates, Inc.
↑ Frome, A., Corrado, G. S., Shlens, J., Bengio, S., Dean, J., Ranzato, M. A., & Mikolov, T. (2013). DeViSE: A Deep Visual-Semantic Embedding Model. In Advances in Neural Information Processing Systems 26 (pp. 2121–2129). Curran Associates, Inc.
↑ Chao, W.-L., Changpinyo, S., Gong, B., & Sha, F. (2016). An Empirical Study and Analysis of Generalized Zero-Shot Learning for Object Recognition in the Wild. In B. Leibe et al. (Eds.), Computer Vision – ECCV 2016 (Lecture Notes in Computer Science, Vol. 9906, pp. 52–68). Springer. https://doi.org/10.1007/978-3-319-46475-6_4
↑ Xian, Y., Lampert, C. H., Schiele, B., & Akata, Z. (2019). Zero-Shot Learning – A Comprehensive Evaluation of the Good, the Bad and the Ugly. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(9), 2251–2265. https://doi.org/10.1109/TPAMI.2018.2857768

[Wang-2019-1] 1 2 Wang, W., Zheng, V. W., Yu, H., & Miao, C. (2019). A Survey of Zero-Shot Learning: Settings, Methods, and Applications. ACM Transactions on Intelligent Systems and Technology, 10(2), Article 13, 13:1–13:37. https://doi.org/10.1145/3293318

[Lampert-2014-2] 1 2 Lampert, C. H., Nickisch, H., & Harmeling, S. (2014). Attribute-Based Classification for Zero-Shot Visual Object Categorization. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(3), 453–465. https://doi.org/10.1109/TPAMI.2013.140

[Palatucci-2009-3] Palatucci, M., Pomerleau, D., Hinton, G. E., & Mitchell, T. M. (2009). Zero-shot Learning with Semantic Output Codes. In Advances in Neural Information Processing Systems 22 (pp. 1410–1418). Curran Associates, Inc.

[Frome-2013-4] Frome, A., Corrado, G. S., Shlens, J., Bengio, S., Dean, J., Ranzato, M. A., & Mikolov, T. (2013). DeViSE: A Deep Visual-Semantic Embedding Model. In Advances in Neural Information Processing Systems 26 (pp. 2121–2129). Curran Associates, Inc.

[Chao-2016-5] Chao, W.-L., Changpinyo, S., Gong, B., & Sha, F. (2016). An Empirical Study and Analysis of Generalized Zero-Shot Learning for Object Recognition in the Wild. In B. Leibe et al. (Eds.), Computer Vision – ECCV 2016 (Lecture Notes in Computer Science, Vol. 9906, pp. 52–68). Springer. https://doi.org/10.1007/978-3-319-46475-6_4

[Xian-2019-6] Xian, Y., Lampert, C. H., Schiele, B., & Akata, Z. (2019). Zero-Shot Learning – A Comprehensive Evaluation of the Good, the Bad and the Ugly. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(9), 2251–2265. https://doi.org/10.1109/TPAMI.2018.2857768