Karl Ghon war Sohn des Kaufmanns Anton Ghon († 1859). Er ging von 1842 bis 1846 in eine Volksschule in Villach und besuchte danach von 1846 bis 1849 eine Handelsschule in Laibach. Im Jahr 1849 begann er eine Handelslehre in Klagenfurt und von 1855 bis 1860 war er Handlungsreisender und Buchhalter in Triest, Laibach und Wien. Im Jahr 1860 wurde er Kaufmann für Spezerei- und Farbwaren in Villach. 1862 errichtete er eine Feigenkaffeefabrik in Villach. Er hat sich auch als Lokalhistoriker betätigt.
Im Jahr 1867 war er Mitgründer und Mitglied der Direktion der Villacher Sparkasse, von 1895 bis 1919 war er dessen Vorsitzender. Er war von 1864 bis 1905 Vizebürgermeister von Villach und bis 1906 Gemeinderat von Villach. Nach ihm wurde die Karl-Ghon-Straße in Villach benannt, er ist auch Ehrenbürger der Stadt Villach.
Karl Ghon war römisch-katholisch und seit 1868 verheiratet mit Therese Nagele, mit welcher er einen Sohn und vier Töchter hatte.
Politische Funktionen
1874–1907: Abgeordneter zum Kärntner Landtag (4., 5., 6., 7., 8. und 9. Wahlperiode), Wahlklasse Städte, Märkte und Industrialorte, Region Villach; er wurde am 29. September 1874 für Ignaz Dinzl angelobt und verzichtete auf sein Mandat in der IV. Session (vor September 1907)
9. April 1891 bis 22. Januar 1897: Abgeordneter des Abgeordnetenhauses im Reichsrat (VIII. Legislaturperiode), Kronland Kärnten, Kurie Landgemeinden 3, Regionen Villach, Rosegg, Paternion, Arnoldstein, Tarvis, Ferlach
27. März 1897 bis 19. August 1900: Abgeordneter des Abgeordnetenhauses im Reichsrat (IX. Legislaturperiode), Kronland Kärnten, Kurie Landgemeinden 3, Regionen Villach, Rosegg, Paternion, Arnoldstein, Tarvis, Ferlach; er trat aus Familienrücksichten zurück