Carl Michael Ziehrer erlernte von seinem Vater das Handwerk des Hutmachers. Er spielte auch Klavier und verfasste bereits mit 19 Jahren eigene kleine Kompositionen. Der Verleger von Johann Strauss (Sohn), Carl Haslinger, der sich zu dieser Zeit mit seinem Walzer-Komponisten zu überwerfen begann, vermutete in ihm Talent und protegierte den jungen Carl Michael Ziehrer, indem er ihm Lehrmeister für Dirigenten- und Komponistentätigkeit zur Verfügung stellte. Ziehrers wichtigster Lehrer war der Wiener Musiker und Komponist Johann Emanuel Hasel, der auch mit Ziehrers Kapelle das Programm des ersten Konzerts einstudierte und seinem Schüler zahlreiche Eigenkompositionen zur Verfügung stellte, die Ziehrer bei seinem Debüt am 21. November 1863 im Dianabad-Saal in Wien-Leopoldstadt unter seinem Namen zur Aufführung brachte. Hasels Hilfestellung wurde von Ziehrer zeit seines Lebens konsequent verschwiegen. Im Jahr 1903 gelang es Ziehrer mithilfe eines Privatdetektivs, eine inkriminierende Partitur aus dem Besitz von Hasels Witwe an sich zu bringen, um das peinliche Bekanntwerden von Hasels wahrem Anteil an Ziehrers Frühwerk zu verhindern.
1865 wurde Ziehrer in die Blumensäle der Wiener Gartenbaugesellschaft engagiert, wo er als Ballregent fungierte und einige Neukompositionen zur Uraufführung brachte. Im November 1867 ernannte man Ziehrer zum Kapellmeister des Arbeiter-Bildungswerks.
Rechts: Das von Ziehrer zuzeiten vor dem Ersten Weltkrieg in Baden bei Wien genutzte Wohnhaus, in dem der Komponist seinen 70. Geburtstag feierte.
Nach Differenzen mit seinen Förderern und Gönnern in Wien zog Ziehrer nach Berlin, übernahm die Kapelle der Reichshallen und agierte als Varieté-Dirigent. Dabei arbeitete er mit Marianne Edelmann (eigentlich Maria Laura Münk) aus Linz zusammen, die er am 1. September 1888 heiratete.
Im Jahre 1885 erhielt Ziehrer den Posten als Kapellmeister des berühmten K.u.k. Infanterie-Regiments Hoch- und Deutschmeister Nr. 4, nachdem der im selben Jahr ernannte Heinrich Strobl (1839–1885) unerwartet verstorben war. Damit erlangte er auch in Wien Anerkennung, wo sich die „Strauss-Ära“ dem Ende zuneigte. Carl Michael Ziehrer gab Konzerte in ganz Europa und auch 1893 in Chicago im Rahmen der Weltausstellung.
Ab 1898 wandte sich Ziehrer wieder vermehrt dem Komponieren von Operetten zu. Er war zu dieser Zeit der populärste Operettenkomponist, da die großen Komponisten der goldenen Operettenära bereits verstorben waren und so dominierte Ziehrer bis zum Erscheinen der lustigen Witwe 1905 die Operettenlandschaft. Insbesondere seine populärsten Operetten dieser Phase "Die Landstreicher", "Die drei Wünsche" und "Der Fremdenführer" seien hier hervorgehoben. Auch während der silbernen Operettenära schuf Ziehrer noch Operetten und bildet somit den Übergang zwischen beiden Ären. Ziehrer konnte weiterhin Erfolge etwa mit dem "Liebeswalzer" erzielen, auch im Vergleich zur neuen Komponistengeneration, obwohl er sich dem neuen Stil nur teilweise anpasste. Auch international erhielt Ziehrer für seine Operetten Anerkennung, so wurden seine Operetten "Der Liebeswalzer" (unter dem Titel "the kiss waltz") und "Ein tolles Mädel" (unter dem Titel "mlle mischief") übersetzt und auf dem Broadway gespielt.