Rechenberg studierte an der Universität München Mathematik, Physik und Astronomie und schloss sein Studium 1964 mit dem Diplom ab. Er begann als Physiker mit experimentellen Arbeiten zum Magnetismus und kam 1964 ans Max-Planck-Institut für Physik in München, wo er 1968 bei Werner Heisenberg in theoretischer Physik über Quantenfeldtheorie promovierte (Zur Wechselwirkung selbstgekoppelter Spinorfelder in zwei Raum-Zeit Dimensionen). Von 1970 bis 1972 arbeitete er an der University of Texas at Austin zusammen mit Jagdish Mehra. Nach der Rückkehr aus den USA forschte er weiter am Max-Planck-Institut für Physik.
Er war wirkte mehrfach als Gastprofessor u.a. an den Universitäten Genf, Brüssel und Krakau (Mitte der 1970er bis Mitte der 1980er Jahre) und im Jahre 1990 an der Northwestern University in Evanston (Illinois) und in Kyōto. 2002 ging er offiziell in den Ruhestand.
Rechenberg war einer der führenden Historiker der Quantentheorie, Kernphysik und Elementarteilchenphysik. Er schrieb mit Jagdish Mehra ein 6-bändiges Standardwerk zur Geschichte der Quantenmechanik. Er beschäftigte sich zudem intensiv mit Werner Heisenberg (dessen letzter Doktorand er war). Rechenberg fungierte als Mitherausgeber der Gesammelten Werke von Werner Heisenberg und leitete ab 1977 das Werner-Heisenberg-Archiv. Des Weiteren erschien 2010 seine zweibändige Heisenberg-Biographie.
mit Jagdish Mehra: The historical development of quantum theory, Springer, mehrere Bände, 1982, 1987, 2001, 2002:
Bd. 1 (in 2 Teilen): The quantum theory of Einstein, Bohr, Planck and Sommerfeld 1900–1925 – its foundation and the rise of its difficulties, 1982
Bd. 2: The discovery of quantum mechanics 1925, 1982
Bd. 3: The formulation of matrix mechanics and its modifications 1925–1926, 1982
Bd. 4: Fundamental equations of quantum mechanics – reception of the new quantum mechanics, 1982
Bd. 5: Erwin Schrödinger and the rise of wave mechanics, 1987 (Teil 1: Schrödinger in Wien and Zürich 1887–1925, Teil 2: The creation of wave mechanics. Early response and applications 1925–1926)
Bd. 6: The completion of quantum mechanics 1926–1941, Teil 1: The probability interpretation and the statistical transformation theory, the physical interpretation, and the empirical and mathematical foundations of quantum mechanics, 1926–1932, 2000, Teil 2: The conceptual completion and the extensions of quantum mechanics, 1932–1941. Epilogue: Aspects of the further development of quantum theory, 1942–1999, 2001
mit Laurie Brown: Origin of the concept of nuclear forces, Taylor and Francis 1996
mit Gerald Wiemers (Hrsg.): Werner Heisenberg – Gutachten und Prüfungsprotokolle 1929–1942, Berlin, ERS Verlag 2001.
Herausgeber: Werner Heisenberg. Deutsche und Jüdische Physik, Piper 1992
Die Farm-Hall-Berichte, ein Kommentar (Vorwort). In: Farm-Hall-Berichte. Die abgehörten Gespräche der 1945/46 in England internierten deutschen Atomwissenschaftler. Hirzel, Stuttgart, 1994.
Die Physikalisch-Technische Reichsanstalt/Bundesanstalt 1887–1987. Ein Überblick, PTB, Braunschweig 1993.
Aufsätze
50 Jahre Kernspaltung – Transurane, Uranspaltung und das deutsche Uranprojekt– Eine erläuterte Chronologie zum 50. Jubiläum der Entdeckung der Uranspaltung durch Otto Hahn und Fritz Straßmann am Kaiser Wilhelm-Institut für Chemie in Berlin-Dahlem, in: Physikalische Blätter 44 (1988), Nr. 12, Seite 453ff. online, PDF