Josef Klee war der Sohn eines Maurermeisters. Wahrscheinlich absolvierte auch er eine Maurer- und Steinmetzlehre. Jedenfalls erhielt er 1818 in Wien die Baumeisterkonzession und erscheint seit 1819 in der Zunfttafel mit Namen und eigenem Steinmetzzeichen. In der Folge erhielt Klee zahlreiche lukrative Bauaufträge und wurde Stadtbaumeister. Er machte auch Karriere im Staatsdienst, wurde k.k. Regierungsbaumeister, Direktionsadjunkt und beeideter Schätzmeister bei der Erbsteuer-Hofkommission. Ihm wurde in diesen Funktionen Korruption zu seinen und seines Schwiegersohns Leopold Mayr Gunsten vorgeworfen.
Er ist der Vater des Landschaftsmalers und Fotografen Hermann Klee.
Josef Klee war einer der meistbeschäftigten Baumeister des Vormärz in Wien. Er baute viele Häuser nach fremden Plänen als Baumeister, arbeitete aber auch nach eigenen Entwürfen. Typisch für ihn sind einfache und nüchterne Zinshäuser in den Vorstädten mit drei Geschoßen und Innenhof. Klee führte aber auch einige Gebäude aus, die er durch Versatzstücke aus älteren Stilperioden repräsentativ gestaltete.
