Dette var Tysklands første klinikk for idrettsmedisin og ble generøst støttet av regjeringen. Samfunnstopper som Hitler og Hess avla besøk, og kjentfolk som den amerikanske løperen Jesse Owens ble behandlet der. I 1938 ble Gebhardt Himmlers personlige lege, og etter hvert forfremmet til Gruppenführer i SS.
Gebhardt beordret, samordnet og deltok i eksperimenter på fanger i flere konsentrasjonsleirer, spesielt i kvinneleiren Ravensbrück (som lå nær Hohenlychen) og i Auschwitz. Dette gjorde han i samarbeid med blant andre legene Fritz Fischer og Herta Oberheuser som tjenestegjorde som hans assistenter.
De første eksperimentene Gebhardt ble beordret til, kom på ordre av Himmler selv, etter at ObergruppenführerReinhard Heydrich ble utsatt for et attentat i Praha i slutten av mai 1942. Gebhardt ble kalt til Praha av Himmler for å forsøke å redde Heydrichs liv. Hitlers livlegeTheodor Morell rådet Gebhardt til å behandle Heydrich med sulfonamid, men Gebhardt anslo at Heydrich kunne komme seg uten antibiotika.
Heydrich ble operert for sin kollapsede venstre lunge og et splintret ribbein, og milten ble fjernet. Dagen etter så han ut til å komme seg, men da ankom Gebhardt og overtok pasienten som hadde litt feber. Heydrich kollapset i sjokk en uke senere og døde. Han hadde fått store mengder morfin, men ikke sulfonamid, så dødsårsaken ble antatt å være sepsis. Himmler beskyldte derfor Gebhardt for forsømmelse når han hadde unnlatt å gi pasienten sulfonamid. For å bevise sin uskyld foretok Gebhardt en rekke eksperimenter på fanger i Ravensbrück, der han brakk beina deres og infiserte dem med ulike organismer for å bevise at sulfonamid var virkningsløst. Etter å ha fått brukket beina sine, fikk halvparten av pasientene sulfonamider, mens den andre halvparten ikke fikk. Samtlige gjennomgikk kraftige infeksjoner og ulidelig smerte. De fleste ble henrettet, men noen få overlevde og vitnet i retten etter krigen. Som lege forsøkte Gebhardt også å transplantere lemmer fra fanger til tyske soldater som kom skadet tilbake fra østfronten. En gang prøvde han å transplantere en skulder med skulderblad fra en Ravensbrück-fange til en soldat som hadde mistet sin egen skulder pga et sarkom.
Den 20. juli 1942 innledet Fritz Fischer, på Gebhardts ordre, sulfonamid-eksperimenter på en gruppe kvinner i Ravensbrück.
Hohenlychen.
Gebhardt opplyste i Nürnberg etter krigen at han hadde vært president for tysk Røde Kors fra 23. april 1945. Han møtte Folke Bernadotte våren 1945 da denne kom til Hohenlychen i håp om å få Himmlers støtte til redningsaksjonen med de hvite bussene. Gebhardt lå da syk i lungebetennelse, men tok imot Bernadotte og forklarte at sykehuset var overfylt av flyktninger østfra; bare blant barna var det foretatt åtti amputasjoner som følge av skudd- og frostskader.
