Le contribuzioni di Koltun alla ricerca e alle pubblicazioni riguardano le aree delle rete neurale convoluzionale, della simulazione della realtà, della sintesi delle visualizzazione, del rendering fotorealistico, della simulazione di auto a guida autonoma in ambiente urbano, della grafica computerizzata 3D, della locomozione dei robot e della manovrabilità dei droni in ambiente dinamico.
È anche noto per il suo lavoro sul sistema di potenziamento del fotorealismo e per lo studio critico dell'indice di Hirsch, una metrica del lavoro degli scienziati comunemente utilizzata all'interno della comunità.
Gioventù e istruzione
Vladlen Koltun è nato nel 1980 a Kiev, in Ucraina ed è cresciuto in Israele. Ha ricevuto la laurea triennale in informatica magna cum laude presso l'Università di Tel Aviv nel 2000. Ha proseguito gli studi universitari conseguendo il dottorato con lode in informatica nel 2002, con una tesi dal titolo “Disposizioni in quattro dimensioni e strutture correlate”; il suo supervisore di dottorato è stato Micha Sharir. Successivamente ha completato il suo periodo di dottorato post-laurea sotto la supervisione di Christos Papadimitriou presso la University of California, Berkeley, dove ha condotto ricerche nell'ambito della scienza informatica teorica tra il 2002 e il 2005.
Carriera
Koltun ha ricoperto il ruolo di professore associato presso la Stanford University dal 2005 al 2013, dove ha tenuto corsi nei settori dell'informatica, della grafica computerizzata e degli algoritmi geometrici. Durante il suo incarico presso la Stanford University ha supervisionato studenti di dottorato e ricercatori post-dottorato. A Stanford, Koltun ha ricevuto la Sloan Research Fellowship e il National Science Foundation's Career Award.
Le ricerche di Koltun a Stanford hanno contribuito allo sviluppo della tecnologia di modellazione 3D basata su dati in collaborazione con Siddhartha Chaudhuri. Il lavoro di Chaudhuri, insieme a Koltun, Evangelos Kalogerakis e Leonidas Guibas, ha portato alla pubblicazione di un articolo su SIGGRAPH nel 2011. Di conseguenza, Mixamo ha ottenuto una licenza per la tecnologia da Stanford e successivamente Adobe Inc. ha acquisito Mixamo e ha ulteriormente sviluppato Adobe Fuse CC, un software di grafica computerizzata 3D che consentiva agli utenti di creare personaggi 3D. Nel 2014, Koltun si è unito ad Adobe per condurre ricerche nel campo dell'elaborazione visuale con un focus principale sulla ricostruzione tridimensionale.
Koltun ha lasciato Adobe per unirsi a Intel, dove ha ricoperto diverse posizioni fino al 2021, lavorando su progetti di ricerca e sviluppo per i sistemi intelligenti dell'azienda.
Dall'agosto 2021 Koltun è uno degli scienziati di spicco di Apple Inc.
Ricerca
Presso Intel, Koltun ha contribuito allo sviluppo di simulatori di realtà virtuale per la guida autonoma urbana, robot e droni, concentrandosi sulle tecniche di apprendimento profondo con reti neurali in ambienti virtuali. Queste reti hanno subito un apprendimento basato su tentativi ed errori nella realtà virtuale prima di essere trasferite a robot o droni per applicazioni nel mondo reale. Questo metodo è stato applicato al robot ANYmal, una macchina quadrupede con feedback propriocettivo nel controllo della locomozione.
Gli studi nel campo della guida autonoma urbana hanno portato il gruppo di Koltun allo sviluppo del progetto Car Learning to Act (CARLA) nel 2017. Si tratta di un simulatore open source, basato su Unreal Engine, che può essere utilizzato per testare tecnologie di guida autonoma in ambienti realistici con situazioni pericolose casuali. Il progetto è stato finanziato da Intel Labs e Toyota Research Institute.
Nel 2020, ispirato da Google Cardboard, Koltun ha sviluppato OpenBot insieme allo scienziato tedesco Matthias Müller. Si tratta di un insieme di software che trasforma gli smartphone Android in robot a quattro ruote capaci di navigazione, tracciamento degli oggetti e evitamento degli ostacoli. Il robot include un telaio stampabile in 3D, controller, LED, un supporto per smartphone e un cavo USB. Il software è composto dalla scheda Arduino Nano, che fa da ponte tra lo smartphone e le operazioni di attuazione del motore e delle batterie, e da un'app Android responsabile dell'integrazione dei dati. Il progetto è stato rilasciato come software open-source per applicazioni legate alla robotica, con il kit di sviluppo software disponibile su GitHub.
Koltun ha anche contribuito allo sviluppo ulteriore nei campi della sintesi e del rendering fotorealistico in 3D. Nel 2021, utilizzando il suo lavoro con altri ricercatori presso Intel, è stato testato un sistema di miglioramento del fotorealismo chiamato “Enhancing Photorealism Enhancement” in Grand Theft Auto 5.
Critica all'indice di Hirsch
Koltun ha espresso preoccupazioni riguardo all'affidabilità dell'indice h, evidenziando l'incremento dei valori causato dall'ampia diffusione di lavori con co-autori nelle comunità scientifiche. Questa critica è stata presentata in collaborazione con David Hafner.
Opere selezionate
Richter, Stephan R.; Hassan Abu AlHaija; Koltun, Vladlen (2021). "Enhancing Photorealism Enhancement". arXiv:2105.04619 [cs.CV].
Joonho Lee, Jemin Hwangbo, Lorenz Wellhausen, Vladlen Koltun, Marco Hutter; Learning Quadrupedal Locomotion over Challenging Terrain, Science Robotics (2020)
Elia Kaufmann, Antonio Loquercio, René Ranftl, Matthias Müller, Vladlen Koltun, Davide Scaramuzza; Deep Drone Acrobatics, Robotics: Science and Systems (2020)
Manolis Savva, Abhishek Kadian, Oleksandr Maksymets, Yili Zhao, Erik Wijmans, Bhavana Jain, Julian Straub, Jia Liu, Vladlen Koltun, Jitendra Malik, Devi Parikh, Dhruv Batra; Habitat: A Platform for Embodied AI Research, International Conference on Computer Vision (2019)[37]
Chen Chen, Qifeng Chen, Jia Xu, Vladlen Koltun, Learning to See in the Dark, Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, June 2018
Bai, Shaojie; Zico Kolter, J.; Koltun, Vladlen (2018). "An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling". arXiv:1803.01271 [cs.LG].
Zhou, Qian-Yi; Park, Jaesik; Koltun, Vladlen (2018). "Open3D: A Modern Library for 3D Data Processing". arXiv:1801.09847 [cs.CV].
Alexey Dosovitskiy, German Ros, Felipe Codevilla, Antonio López, Vladlen Koltun; CARLA: An Open Urban Driving Simulator, Conference on Robot Learning (CoRL) 2017
F Yu, V Koltun; Multi-Scale Context Aggregation by Dilated Convolutions, International Conference on Learning Representations (ICLR) 2016
Stephan R Richter, Vibhav Vineet, Stefan Roth, Vladlen Koltun; Playing for Data: Ground Truth from Computer Games, European Conference on Computer Vision (ECCV) 2016
Sergey Levine, Vladlen Koltun; Guided Policy Search, International Conference on Machine Learning (ICML) 2013
Philipp Krähenbühl, Vladlen Koltun; Efficient inference in fully connected CRFs with Gaussian edge potentials, Advances in Neural Information Processing Systems (NIPS) 2011
Note
12Vladlen Koltun, su ieeexplore.ieee.org, Institute of Electrical and Electronics Engineers. URL consultato il 7 septiembre 2024.
↑Alexey Dosovitskiy, German Ros, Felipe Codevilla, Antonio Lopez e Vladlen Koltun, CARLA: An Open Urban Driving Simulator, in Conference on Robot Learning (CoRL), novembre 2017, arXiv:1711.03938.
