Apja Holl Jenő GYSEV igazgató, anyja Nuridsány Etelka. Felesége H. Gyürky Katalin (1925–2002) régész.
Középiskolai tanulmányait Sopronban a Széchenyi István Gimnáziumban végezte. 1942–1945 között Pécsett jogot tanult, majd 1947-1951 között az Eötvös Loránd Tudományegyetem régészet és művészettörténet szakán végzett.
A magyarországi és a nemzetközi középkori régészet meghatározó jelentőségű szakembere volt. A budai és a kőszegi vár feltárásától a középkori falvak kutatásáig számos középkorász témával foglalkozott. Az anyagi kultúrából külön figyelmet szentelt a kályhacsempék kutatásának.
1948-tól előbb Gerevich László vezetésével a középkori budai királyi palota feltárásán vett részt.
Gulyás Pál: Magyar írók élete és munkái. Budapest, Magyar Könyvtárosok és Levéltárosok Egyesülete, 1939-2002. 7. kötettől sajtó alá rend. Viczián János.
Művészeti lexikon. Fel. szerk. Lajta Edit. Budapest, Akadémiai Kiadó, 1965-1968.
Ki kicsoda 2000. Magyar és nemzetközi életrajzi lexikon, csaknem 20000 kortársunk életrajza. Főszerk. Hermann Péter, vál., szerk. A. Gergely András et al. Budapest, Biográf Kiadó–Greger Média Kft., 1999.
Holl Imre emlékezete. in: Benkő Elek, Kovács Gyöngyi, Orosz Krisztina, eds. (2017) Mesterségek és műhelyek a középkori és kora újkori Magyarországon. MTA BTK Régészeti Intézet - Archaeolingua, Budapest, 2017.