Torget fick sitt namn 1883 efter det tull- och packhus (Stora Tullhuset, eller "Tull- och Packhuset") vid kajen som stod klart den 7 januari 1866 och togs i bruk i april samma år, efter ritningar av Frans Jacob Heilborn och numera innehåller ett kasino. År 1911 byggdes huset om av Ernst Krüger och 1925 av Karl Bengtsson då byggnaden fick sitt nuvarande utseende mot Packhusplatsen. Det första packhuset var först beläget vid "Stora Hamnemunnen" ungefär mitt emot residenset, år 1727 flyttat till hörnet af Norra Hamngatan och Smedjegatan. Huset rymde inte bara tull- och accisstaterna utan även logement och kontor för de handlande och deras mäklare.
Ännu i mitten av 1850-talet fanns inte Packhuskajen, utan den enda tilläggsplatsen var en smal träbro, direkt norr om inloppet till Stora Hamnkanalen (då ”Stora bommen”). Först kring 1860 började man planera för kajen, fylla ut och förse den med så kallad strandskoning.
Kronans Masthamn var en hamnbassäng, som låg innanför Stora Bombastionen vid nuvarande Packhusplatsen/Packhuskajen, på platsen för det område där Stora Tullhuset uppfördes. Masthamnen kom till i slutet av 1600-talet och fylldes igen 1861. Masthamnen var rektangelformad, cirka 35meter bred och sträckte sig längs med och väster om Franska tomten (ungefär vid nuvarande Packhusplatsen4) till i höjd med Kronhusgatan. Hamnen upptog därmed större delen av Packhusplatsen. I Norra Hamngatans västra förlängning byggdes 1843 en träbro över masthamnen.
Vid Masthamnen, på den norra sidan av Stora Hamnen hade engelsmannen David Crokatt ett brännvinsbränneri på 1730- och 1740-talet. Han drev också stadens första tobaksodling samt var en tid även stadsmäklare. Bränneriet upphörde 1753.
Packhusplatsen 2/Smedjegatan 1 A i kvarteret 21 "Kruthuset" — kallat för "Hertziahuset". Uppfördes 1901 som ett "warehouse" för handelsfirman J. A. Hertz & Co efter ritningar av Louis Enders i en jugendinspirerad stil. Bottenvåningen är i granit och de övriga fyra våningarna i gulbrunt tegel. Fastigheten har också inrymt bostäder, och på 1930-talet bodde här cirka 40 personer.
Packhusplatsen 3 i kvarteret 20 "Franska Tomten" — före detta Rederi Transatlantics hus. Uppfört som kontor för Transatlantic efter ritningar av arkitekterna Sven Steen och Vilhelm Mattson. Huset stod klart i februari 1944, och byggherre var FO Peterson & Söner. Det är ett friliggande femvåningshus med släta fasader av finhuggna granitplattor. Skulpturerna ovanför entrén utfördes av Fritz Bange medan Wilhelm Henning utformade två mot Postgatan.
Packhusplatsen 4/Postgatan 1 i kvarteret 13 "Gamla Tullen" — femvåningshus i tegel och sten, uppfört 1898 efter ritningar av arkitekt Hjalmar Cornilsen. Hotell AB Hembygden övertog fastigheten 1910, och 1920 togs verksamheten över av Svenska Amerika Linien. Hotelldelen hette därefter Strand Hotell fram till 1945 och 1950 köptes fastigheten av Fastighets AB Broströmia. Med början 2003 ombyggdes fastigheten till lägenheter.
Packhusplatsen 5–6/Norra Hamngatan 2 i kvarteret 13 "Gamla Tullen" — kontorshus i fem våningar med överbyggd gård. Ursprungligen uppfördes på tomten två stenhus, det norra 1864 och det södra 1859. 1907 flyttade Broströmskoncernen in i det norra huset. Broströms köpte den norra fastigheten 1915 och den södra 1916. De genomförde 1926–28 omfattande om- och tillbyggnader efter ritningar av arkitekt Sven Steen. På 1980-talet ägdes fastigheten av Rederi Transatlantic, som också hade sitt kontor här och 1993 byggdes huset om för Hovrätten.
Packhusgatan 6/Packhusplatsen 7 i kvarteret 36 "Packhuset" — är det före detta tull- och packhuset, se ovan. Det vände sig mot älven och bestod av en huvudbyggnad som hyste tullfunktioner och på ömse sidor två fristående, lägre packhus. År 1925 byggdes den stora byggnaden mot Packhusplatsen. Byggnadskomplexet består av en huvudbyggnad i två-tre våningar mot älven, en trevåningsbyggnad mot Packhusplatsen och sammanbindande flyglar i en våning. Fasader i gult tegel. Här hade tullen verksamhet fram till 1973, då man flyttade till Östra Nordstaden och 2001–02 byggdes den västra delen av huset om för Casino Cosmopol.
I huset fanns migrationsmuseet Emigranternas hus som skildrade svenska emigrationshistorien i olika utställningar. Det invigdes år 2003 och stängde i mars 2021.
Packhuskajen 8 i kvarteret 35 "Magasinet" — populärt kallat "Kajskjul 8". Uppfört kring 1885 som varuskjul i en våning av trä. År 1995 byggdes skjulet om för att passa ihop med förnyelsen av Packhusplatsen och för att kunna användas vid olika evenemang. Skjulet är en av de få återstående träbyggnaderna längs med Göteborgs kajer.
Packhuskajen 8½ i kvarteret 35 "Magasinet" — uppfördes 1994 efter ritningar av B.Cederlöf Arkitektkontor för Göteborgs Maritima Centrum.