1929 kehrte Karmi nach Palästina zurück, ließ sich in Jerusalem nieder und heiratete. 1932 gründete Karmi in Tel Aviv dann ein eigenes Architekturbüro. Gemeinsam mit anderen jungen Architekten, darunter Ze'ev Rechter and Arieh Sharon, gründete man einen eigenen Kreis, der sich stark von Walter Gropius und dem Bauhaus inspirieren ließ und die Architektur des Landes in den Jahren nach der Staatsgründung Israels bestimmte. Der erste große Erfolg Karmis war der Gewinn eines Wettbewerbs zur Erweiterung des Kulturzentrums in Tel Aviv. Den Entwurf hatte er gemeinsam mit Ze'ev Rechter eingereicht.
Ab Mitte der 1950er Jahre arbeitete er häufig mit seinem Sohn Ram Karmi – einem bekannten Vertreter des Brutalismus – zusammen, der nach seinem Studium in das väterliche Architekturbüro eingestiegen war. Karmi ist außerdem der Vater der Architektin Ada Karmi-Melamede.
Auszeichnungen
1957 erhielt Karmi als erster Architekt den Israel-Preis.
Werke
1935: Wohngebäude Zharsky, 9 Gordon Street, Tel Aviv
1936/1937: Beit Liebling, Rechov Idelson 29, Tel Aviv
1946: Ausbau des Kulturzentrum Tel Aviv (gemeinsam mit Ze'ev Rechter)
1948: Wohnhäuser in der Huberman Straße, Tel Aviv
1949: Bürogebäude für die Histadrut, 91–93 Arlozoroff Street, Tel Aviv
1956–1962: El-Al-Bürogebäude, Ben Yehuda Street, Tel Aviv (mit Ram Karmi)
Ohne Datierung
Blick 1964 südwärts über Baustellen auf den Campus Givʿat Ram zu Karmis Sherman-Bau mit fensterlosem Liftturm und Wise Auditorium unter geneigtem Dach vor weiteren Neubauten der Hebräischen Universität
Folgende weitere Gebäude erbaute Karmi außerdem:
Writers’ House, Kaplan Street, Tel Aviv
Nachmani Hall, Tel Aviv
Cameri Theater (heute Beit Lessin Theater), Tel Aviv
ORT Singalovski High School, Tel Aviv
Rabbinischer Gerichtshof, David Hamelekh Boulevard, Tel Aviv