Mel Ferrer war der Sohn eines kubanischen Arztes und einer New Yorkerin. Ferrer nahm zunächst ein Medizinstudium in Princeton auf, wandte sich dann jedoch der Schauspielerei zu und debütierte als Tänzer am Broadway. Diese Karriere musste er aber bereits Anfang der 1940erJahre beenden, da er an Kinderlähmung erkrankte. Er begann eine Tätigkeit beim Radio als Sprecher und Regisseur, was ihn schließlich als Spielfilmregisseur und Regieassistenten (unter anderem von John Ford) nach Hollywood brachte.
Der fünffache Vater war insgesamt fünfmal verheiratet. Seine Ehefrauen waren:
Frances Gunby Pilchard, eine Schauspielerin, die später als Bildhauerin arbeitete, und Tochter von Sewell Norris Pilchard Jr., einem Physiker und seiner Frau Loise, geborene Collier Gunby. Sie heirateten erstmals 1937 und ließen sich 1939 scheiden.
Barbara C. Tripp. Sie heirateten 1940 und wurden später geschieden. Sie hatten zwei Kinder: eine Tochter, Mela Ferrer (geboren 1943) und einen Sohn, Christopher Ferrer (geboren 1944).
Frances Ferrer, geborene Pilchard. Auch diese Ehe, die 1944 geschlossen wurde, endete mit Scheidung. Sie hatten zwei Kinder: Pepa Philippa Ferrer (geboren 1941) und Mark Young Ferrer (geboren 1944).
Audrey Hepburn: 1954 heiratete Mel Ferrer in vierter Ehe die Schauspielerin Audrey Hepburn, mit der er mehrmals gemeinsam vor der Kamera stand (unter anderem in der Tolstoi-Verfilmung Krieg und Frieden und in Zusammen in Paris) und deren Filme er auch als Regisseur (Tropenglut) und Produzent (Warte, bis es dunkel ist) betreute. Aus der Ehe ging der Sohn Sean Hepburn Ferrer (geboren 1960) hervor. Die Ehe wurde 1968 geschieden.
Elizabeth Soukhotine, die er 1971 heiratete.
Vor seiner Hochzeit mit Soukhotine unterhielt Ferrer eine Liebesbeziehung mit Tessa Kennedy, einer 29 Jahre alten Innenarchitektin.
Mel Ferrer starb am 2. Juni 2008 im Alter von 90 Jahren auf seiner Farm nahe Santa Barbara in Kalifornien an den Folgen einer Darmerkrankung und Lungenentzündung. Er hat einen Stern auf dem Hollywood Walk of Fame (6268 Hollywood Boulevard).