Het bisdom ontstond vermoedelijk in de tweede helft van de 4e eeuw, toen het rooms-katholicisme uitgroeide tot de staatsgodsdienst van het Romeinse Rijk. De oorspronkelijke hoofdplaats was Vermand, het bestuurlijke centrum van de Viromandui. De eerste bisschoppen zijn slechts bekend bij naam.
Bij het aantreden van bisschop Medardus, omstreeks 530, besloot deze zijn residentie te verplaatsen naar het zuidelijke Noyon, dat vlak bij zijn geboorteplaats Salency lag en beter verdedigd kon worden in tijden van oorlog. Medardus werd later tevens bisschop van het bisdom Doornik. Hoewel Doornik daarna enkele afzonderlijke bisschoppen had, werd het omstreeks 600 opnieuw toegewezen aan de bisschop van Noyon.
De personele unie tussen Noyon en Doornik werd door de paus beëindigd in 1146. Ter compensatie werd de bisschop in 1180 begiftigd met de status van pair van Frankrijk. In het kader van de Franse Revolutie werden alle bisschoppelijke instanties afgeschaft op 12 juli 1790. Het Concordaat van 1801 verdeelde het gebied over de aanliggende bisdommen Amiens, Beauvais en Soissons.