Benny Carter est né à New York dans une famille de musiciens, et a passé son enfance à Harlem en compagnie du trompettiste star de Duke Ellington, Bubber Miley. Il a appris la trompette auprès de Miley. Quand il comprit qu'il ne jouerait jamais aussi bien que lui, il troqua sa trompette pour un saxophone.
Il commence sa carrière de musicien professionnel à 15 ans et enregistre son premier disque en 1927.
Il crée son propre big band l'année suivante. Il enregistre avec Fletcher Henderson en 1930 et 1931, dirige un petit moment les McKinney's Cotton Pickers, avant de revenir à son big band en 1932. Il fait également des arrangements pour Henderson et Duke Ellington durant cette période. Il écrit aussi deux tubes: Blues in My Heart et When Lights are Low. Au début des années 1930 il est considéré comme le meilleur alto avec Johnny Hodges. Carter se mit également à la trompette solo, ayant redécouvert cet instrument. Il a beaucoup enregistré en tant que trompettiste durant les années 1930.
En 1935, il déménage en Europe où il devient l'arrangeur attitré de l'orchestre de danse dirigé par Henry Hall pour la BBC. Il profite de ses séjours en Grande-Bretagne, aux Pays-Bas, en Scandinavie pour jouer avec des musiciens locaux. En mars 1938 il enregistre à Paris notamment deux titres avec Django ReinhardtI'm Coming Virginia et Farewell Blues avant de retourner aux Etats-Unis en 1938. Il dirige en 1939 un grand orchestre et un sextet au Savoy Ballroom à Harlem. Il enregistre avec les orchestres de Gene Krupa, Artie Shaw, Lionel Hampton, Fred Rich, Teddy Wilson. Il s'installe en 1943 à Los Angeles pour écrire pour la télévision et les studios de cinéma.
Il a continué à écrire et à jouer jusqu'à plus de 90 ans. Il a fait des arrangements pour Louis Armstrong, Ray Charles, Ella Fitzgerald, Peggy Lee, Sarah Vaughan et bien d'autres.
Dans les années 1940 et 1950, il a été un des premiers noirs à écrire de la musique de film. Il a beaucoup inspiré Quincy Jones quand Jones a commencé à écrire pour la télévision et le cinéma dans les années 1960.
