En 1805, la rue Castex est percée à travers la plus grande partie des anciens bâtiments du couvent du temple des Filles de la Visitation Sainte-Marie. La rue s'étendait alors au sud jusqu'à la rue de la Cerisaie comme le montre la superposition du plan parcellaire de Vasserot (1810-1836).
Elle prend son nom actuel par décret du .
À l'angle de la rue Saint-Antoine, le temple est conservé, de même que l'immeuble du 14, rue Castex (probablement fin XVIIIe).
Le temple du Marais, à l'angle des rues Castex et Saint-Antoine.
Le no3 est une voie privée.
Bâtiments remarquables et lieux de mémoire
1830: année approximative de construction du no1 et probablement du no3.
1876: destruction de l'extrémité sud de la rue Castex sur environ 50 mètres lors du percement du boulevard Henri-IV. L'immeuble actuel du 1, rue Castex devient la nouvelle extrémité sud de la rue. Il est clairement visible sur les photos de Charles Marville et sera surélevé d'un étage pour s'accorder au gabarit des nouveaux immeubles haussmanien construits le long du boulevard Henri IV. Une reconstitution permet de voir l'évolution du tracé. Plusieurs photographies de Charles Marville datées de 1876 montrent la rue Castex et ses bâtiments à l'occasion du percement du boulevard Henri-IV.
Les constructions des nos2 et 8 sont postérieures à 1876.
No3: voie privée.
Les nos6 et 14 sont antérieurs à 1876 (toujours d'après la photo de Marville).
1881: construction du no4 (Claudius Pupier, architecte).
La construction du no9 est postérieure à 1876 (seul immeuble actuel absent de la photo de Marville).
1911: construction du no10 (J. Monod et Bocsanyi, architectes).
No12: bureau de poste construit en 1935 (J. Bukiet, architecte). Il a fait l'objet d'une extension supérieure en 1996.