Varnhagen ist der Name eines deutschen Gelehrten- sowie preußischen und brasilianischen Adelsgeschlechts. Über mehrere Jahrhunderte wirkte die Familie als lutherische „Pfarrerdynastie“ in Iserlohn und ging aus den ritterbürtigen von Ense genannt Varnhagen hervor. Im 19. Jahrhundert spielte sie mit Rahel Varnhagen von Ense, Karl August Varnhagen von Ense und dem Visconde de Porto Seguro eine bedeutende Rolle in der europäischen und südamerikanischen Geistes- und Kulturgeschichte.
Das bürgerliche Stammwappen der Varnhagen (dem der von Ense gen. Varnhagen) zeigt in Gold eine schwarze Pferdebremse mit rotem Riemen; der offene goldene Flug auf dem Helm mit schwarz-goldenen Decken ist jeweils mit der Pferdebremse gezeichnet. Die Korbacher Linie führte des Weiteren ein silbernes Kreuz zwischen dem Flug.
Wappen Varnhagen von Ense (1826): In Gold eine gestürzte, innen gezahnte schwarze Pferdebremse mit rotem Riemen, der drei Schlingen bildet (eine nach rechts, eine nach links, eine nach unten). Auf dem gekrönten Helm mit schwarz-goldenen Decken ein offener goldener Flug, dessen jeder Flügel mit der Bremse belegt ist; dazwischen ein sechsstrahliger goldener Stern.
Da die Genealogie der Varnhagenschen Gesamtfamilie bis in das 16. Jahrhundert zurückreicht, ist auch die Töchternachkommenschaft entsprechend ausgebreitet. In diesem Zusammenhang soll auf die Verflechtung der Varnhagen in weiblicher Linie hingewiesen werden.
Johann Adolph Varnhagen (* 1645) war Bürgermeister und promovierter Arzt in Altena. Seine Tochter Anna Maria Varnhagen war mit Eberhard Schmidt aus Altena verheiratet, dessen Mutter vermutlich auch eine geborene Varnhagen aus Iserlohn war. Der gemeinsame Sohn war Johann Adolf Schmidt, der nach dem frühen Tod seines Vaters zu seinem Onkel, dem Apotheker Johann Moritz Varnhagen (* 1687), geschickt wurde, um die „Apothekerkunst“ zu erlernen. Im Varnhagenschen Haushalt scheint es aber danach zu Spannungen gekommen zu sein, da die Tante in dem jungen Schmidt eine Konkurrenz für ihre eigenen Kinder sah. Schmidt begründete in Korbach die Hirsch-Apotheke, die sich bis ins 20. Jahrhundert im Familienbesitz befand. Schmidt war zweimal verheiratet, in erster Ehe mit Friederike Freiin Forstmeister von und zu Gelnhausen. Eine Enkeltochter aus dieser ersten Ehe war die Pädagogin und Schriftstellerin Wilhelmine Halberstadt. Aus der zweiten Ehe des Johann Adolf Schmidt stammte eine Tochter, die ihrerseits gleichsam die Stammmutter der Waldecker Varnhagen ist, da zwei ihre Töchter Varnhagen-Vetter heirateten. Zu ihren Nachkommen gehören u. a. der Visconde de Porto Seguro, Hermann Varnhagen, Rektor der Universität Erlangen, und Hermann Kümmell, Mitbegründer der Hamburger Universität, Erster Dekan der medizinischen Fakultät und Rektor ebenda.
