Les premiers Hervey étaient d'origine française, notamment le duc d'Orléans et son fils Robert Fitz-Hervey, qui accompagna Guillaume le Conquérant lors de l'invasion normande de 1066. On trouve également le fils de l'évêque d'Ely en 1109, qui accompagna Richard Cœur de Lion en croisade. Un sacristain de l'abbaye Saint-Edmunds de Bury y exerça ses fonctions entre 1121 et 1136. Cette famille descend de John Hervey (né vers 1290) du Bedfordshire. Son descendant, Thomas Hervey (mort en 1467), fut le premier Hervey à s'installer à Ickworth, dans le Suffolk, et un ancêtre de Sir Thomas Hervey d'Ickworth, propriétaire terrien et député de Bury St Edmunds de 1679 à 1690. Plusieurs autres membres de la famille ont représenté cette circonscription à la Chambre des communes, dont John Hervey, fils de Sir Thomas Hervey. Le ou 1703, il fut élevé à la pairie d'Angleterre en tant que baron Hervey d'Ickworth, dans le comté de Suffolk, et le , il fut de nouveau honoré lorsqu'il fut nommé comte de Bristol dans la pairie de Grande-Bretagne. Le 1er comte de Bristol mourut en 1751. Ses deux fils aînés (Carr et John) étant décédés avant lui, il eut pour successeurs trois de ses petits-fils – tous frères et fils du second fils du 1er comte, John.
Le 2e comte occupa les fonctions de lord-lieutenant d'Irlande et de lord du Sceau Privé et mourut célibataire. Son frère cadet, vice-amiral de la Royal Navy et secrétaire en chef pour l'Irlande de 1766 à 1767, lui succéda comme 3e comte. Ce dernier mourut également sans descendance légitime et son frère cadet lui succéda en , devenant ainsi le 4e comte. Surnommé « le comte-évêque », le 4e comte fut évêque de Cloyne pour l'Église d'Irlande de 1767 à 1768, puis évêque de Derry de 1768 à 1803. Bien qu'ecclésiastique compétent, son caractère a fait l'objet de diverses appréciations. Réputé pour son train de vie fastueux, il inspira à de nombreux établissements hôteliers, dans plusieurs pays, le nom d'« Hôtel Bristol », sous-entendant leur excellence. Cette coutume perdure encore aujourd'hui. En 1795, il entreprit d'agrandir sa demeure ancestrale, donnant ainsi à Ickworth House sa forme actuelle. La maison était encore inachevée à sa mort en 1803 et fut terminée par son successeur. En 1799, il devint le 5e baron Howard de Walden, la suspension de ce titre de pairie étant levée. L'évêque Lord Bristol épousa Elizabeth, sœur et héritière de Sir Charles Davers, 5e baronnet (vers 1730-1763), et arrière-petite-fille de Thomas Jermyn, 2e baron Jermyn. Son second fils, John Hervey, Lord Hervey, fut capitaine dans la Royal Navy et également ambassadeur à Florence. Il mourut avant son père. Sa fille, l'honorable Elizabeth Hervey (1780-1803), épousa Charles Ellis, qui devint plus tard le 1er baron Seaford. Leur fils Charles succéda à son arrière-grand-père, Lord Bristol, en tant que 6e baron Howard de Walden à sa mort en 1803. À la mort du 4e comte, le titre de Bristol revint à son troisième fils, Frederick, l'aîné survivant, qui devint ainsi le cinquième comte. Homme politique, il fut sous-secrétaire d'État parlementaire aux Affaires étrangères sous Henry Addington de 1801 à 1803.
En 1826, le 5e comte fut créé marquis de Bristol et comte Jermyn, de Horningsheath, dans le comté de Suffolk, titres qui rejoignirent la pairie du Royaume-Uni. À sa mort en 1859, ces titres passèrent à son fils aîné, Frederick (1800-1864). Le 2e marquis était un homme politique tory et fut trésorier de la Maison royale sous Sir Robert Peel de 1841 à 1846. À son décès, le marquisat revint à son fils aîné, également prénommé Frederick. Avant de devenir le 3e marquis, il avait représenté le fief familial traditionnel au Parlement et avait également occupé la fonction de lord-lieutenant du Suffolk. Le 3e marquis mourut sans descendance masculine et fut remplacé à son tour par deux de ses neveux, fils de Lord Augustus Hervey, second fils du 2e marquis. Le 4e marquis était contre-amiral dans la Royal Navy et siégea également, comme son oncle, comme député conservateur de Bury St Edmunds. Sans fils, il fut remplacé dans les titres et les domaines des Hervey par son frère cadet. Le 5e marquis fut ministre et consul général en Colombie de 1919 à 1923, puis ministre au Pérou et en Équateur de 1923 à 1929. Son fils unique, le 6e marquis, fut chancelier de la Ligue monarchiste. Il s'exila à Monte-Carlo début 1979 pour des raisons fiscales et y mourut le .
Le 6e marquis de Bristol se maria trois fois. Son fils John issu de son premier mariage lui succéda en tant que 7e marquis. Personnage flamboyant, il mourut sans descendance à l'âge de 44 ans en . Le fils unique du 6e marquis issu de son deuxième mariage, Lord Nicholas Hervey, mourut à l'âge de 36 ans en 1998. De son troisième mariage, le 6e marquis eut trois enfants : Frederick Hervey, 8e marquis de Bristol, Lady Victoria Hervey et Lady Isabella Hervey.
Baron Hervey (1703)
1703-1733: John Hervey (1665–1751) (créé comte de Bristol en 1714);
1733-1751: John Hervey (1696-1743), siégea à la Chambre des lords du vivant de son père grâce à un bref d'accélération. Fils du précédent.
Comte de Bristol (1714)
1714-1751: John Hervey, 1er baron Hervey (1665–1751)
Carr Hervey, Lord Hervey (1691–1723) (titre de courtoisie)
John Hervey, 2e baron Hervey (1696–1743) (titre de courtoisie jusqu'en 1733, puis membre de la Chambre des lords). Fils du précédent.
1751-1775: George William Hervey, (de jure) 2e baron Hervey (1721-1775). Fils du précédent.
1775-1779: Augustus John Hervey, 3e baron Hervey (1724–1779). Frère du précédent.
1803-1859: Frederick William Hervey (1769–1859) (créé marquis de Bristol en 1826). Fils du précédent.
La baronnie de Howard de Walden ne fut pas transmise au comte suivant. Elle passa plutôt par primogéniture masculine à l'arrière-petit-fils du 4e comte, Charles Ellis, fils de la petite-fille du 4e comte, Elizabeth Hervey, baronne Seaford.
