A harckocsi fejlesztése 1957-ben kezdődött meg Leonyid Karcev szovjet mérnök vezetésével. Az új harckocsi a T–54-es változaton alapult. Követte annak alapvető elrendezését, illetve ugyanazt a motort és erőátviteli egységet építették be mint elődjénél. A prototípus 1959-ben készült el. 1960–1961-ben folytak a harckocsi próbái, ezt követően, 1961. augusztus 12-én döntöttek a rendszeresítéséről a Szovjet Hadseregben. A T–62-es harckocsi egy szokatlan, integrált hüvelykivető rendszerrel is rendelkezett: az ágyú hátrasiklása kivetette az üres hüvelyt a torony hátsó részén levő csapóajtón. Ez a módszer helyet takarított meg, de csökkentette a tűzgyorsaságot. A típus képes volt mélyvízi átkelésre is, rendelkezett toronyszellőztető rendszerrel, ABV-(atom, biológiai és vegyi) védelemmel is ellátták. Ködgránátvetőkkel nem rendelkezett, ehelyett a kipufogógázba fecskendezett gázolaj segítségével bármikor füstfüggönyt volt képes létrehozni. Sorozatgyártását 1961-ben kezdték el, majd mintegy 20 000példány megépítését követően, 1975-ben fejezték be. Az 1970-es évek elejétől kezdték el exportálni, főként a Közel-Kelet szovjetbarát országaiba.
A T–62 harckocsi a T–54/55-os sorozat továbbfejlesztése volt, de a típus magas gyártási költsége miatt nem sikerült felváltani vele elődeit, sőt a korábbi változatok előállítása még a T–62 gyártásának leállítását követően is folytatódott. Sikertelenségének az oka, hogy a T–55-höz képest bár a jármű tűzereje alig növekedett (mire rendszeresítették már a 100mm-es lövegekhez is készült űrméret alatti lőszer és fejlett kumulatív töltet) és a védettsége érdemileg nem javult, a mozgékonyság kismértékű romlása mellett a jármű ára kétszerese volt az elődjének. A U–5TSZ löveg tűzgyorsasága kisebb volt, pontossága oldalszélben rosszabb volt, ráadásul a páncéltörő képessége nem haladta meg érdemben a D–10T előd képességeit. Első harci alkalmazása az hatnapos háborúban történt, ahol a T-55-tel azonos képességeket mutatott.
A T–62-est a Varsói Szerződés országai közül csak Bulgária rendszeresítette magas ára és ehhez képest alacsony harcértéke miatt. Nagy számban exportálták több arab országba, Észak-Koreába és Kubába.
A T–62 leváltását célzó, a T–72 kifejlesztéséhez vezető program szintén Leonyid Karcev vezetésével indult meg, míg a nehéz harckocsik (T–10) kiváltására szolgáló fejlettebb, a T–64-et eredményező programot Alekszandr Morozov kapta meg. Oroszországban2013-ban kivonták a hadrendből a T–62 harckocsikat, és raktárba helyezték őket, de később Oroszország számos T–62-est újra üzembe helyezett a szíriai hadsereg utánpótlásának biztosítása érdekében a szíriai polgárháborúban. A Vosztok 2018 hadgyakorlat során több T–62M és T–62MV harckocsit is elővettek a raktárból és mozgósítottak, annak érdekében, hogy felmérjék, milyen gyorsan lehetne az orosz erőket felkészíteni egy nagyobb konfliktusra. 2022-ben Oroszország T–62-es harckocsikat küldött az ukrajnai Zaporizzsja megyében folyó dél-ukrajnai offenzíva megerősítésére az orosz-ukrán háború során; a jelentések szerint akár 600 T–62-est is kivehettek a hosszú távú raktározásból. A típust számos 3. világbeli hadsereg alkalmazza még.
Harci alkalmazás
A T-62 először az 1969-es kínai–szovjet határkonfliktus során került bevetésre, amelynek során egy példány a kínaiak kezére került. Ezt a harckocsit a kínaiak alaposan tanulmányozták, és az összegyűjtött információkat felhasználták a 69-es típusú harckocsi fejlesztéséhez.
A szovjet–afgán háború idején a T–62 volt a szovjetek egyik fő harckocsija. A szovjetek többféle módon vetették be a harckocsikat: sokukat tűztámogató bázisokban használták, míg másokat konvojok védelmére vagy gyalogsági támogatásra alkalmaztak. A háború vége felé nagy számban jelentek meg a BDD kiegészítő páncélzattal felszerelt T–62M-ek. Amerikai források szerint közel 325 db T–62-es esett áldozatul a mudzsahedek támadásainak, főként páncélelhárító aknák és RPG-k miatt, bár ezt a számot a szovjet források cáfolják, amelyekben sokkal kevesebb veszteség szerepel.
2022 májusa óta Oroszország bevet T–62-es harckocsikat is Ukrajnában, ezek nagyrészt Szibériában voltak tárolva, és felújítást követően vették azokat újra használatba. 2026 januárjáig források szerint Oroszország 327 db T–62-es harckocsit vesztett Ukrajnában.
A T–62-es harci alkalmazására az eddig említett konfliktusokon kívül többek között még az irak-iráni háborúban (Irak részéről) és az angolai polgárháborúban került sor. Az irak-iráni háborúban az iraki T–62-esek jól teljesítettek az irániak harckocsijaival – például az M47, M48, M60 Pattonokkal és a Chieftain-ekkel – szemben. Az 1990–1991-es öbölháborúban azonban csúfosan alulmaradtak az amerikai M1 Abrams harckocsik, M2/M3 Bradley gyalogsági harcjárművek és brit Challenger 1 harckocsik ellen a korszerű éjjellátó készülékek és ballisztikai számítógépek hiánya, illetve a teljes ellenséges légi és információs fölény miatt (ahogy az irakiak által hasznát többi harcjármű sem szerepelt jobban).
