Victor Rich est le fils d'Agnès Reck et de François-Antoine Rich, vigneron à Orschwihr, en Alsace.
Entre 1865 et 1870, Victor Rich est employé à Mulhouse, au bureau personnel de l'architecte Jean-Baptiste Schacre. Celui-ci le charge de la réalisation de calques, de la prise d'attachements et de l'inspection des travaux sur plusieurs chantiers, tels que ceux du temple Saint-Étienne de Mulhouse, de l'église Saint-Laurent de Zillisheim et de l'école de Dornach.
Il s'établit comme architecte à Paris (no15 de la rue Guisarde) où il épouse, le , Marie-Élise Trouvé (née en 1855).
Installé au no1 de la rue Malus jusqu'en 1889, il emménage en 1890 au no66 de la rue du Cardinal-Lemoine, dans un immeuble qu'il vient de construire et dont l'entrée est surmontée de ses initiales. Vers 1898, il déménage une dernière fois, au no73 de la même rue, dans un immeuble qu'il a construit, signé et daté de l'année 1897.
Le , le conseil municipal de Bordeaux adopte le projet de Monument aux Girondins présenté par Rich et le sculpteur Alphonse Dumilatre. Dumilatre ayant échoué à coordonner efficacement le chantier afin d'achever le monument pour le , la mairie décide la mise en régie des travaux, qu'elle confie à Rich le . Les relations entre l'architecte et le sculpteur se dégradent à partir de ce moment, Dumilatre accusant Rich de percevoir des sommes qui lui étaient dues. Rich finit par faire condamner Dumilatre pour diffamation,.