Paul Cook változata
A dal eredeti változatát, amelyen Paul Cook énekelt és Steve Jones basszusgitározott, Steve Lipson hangmérnökkel vették fel a londoni Regents Park Studios-ban, 1978 áprilisában vagy májusában. A gitársáv rögzítésére és a keverésre már a walesi Rockfield Studios-ban került sor Dave Goodman producerrel 1978 májusában.
A Silly Thing eredeti felvétele felkerült a The Great Rock ’n’ Roll Swindle albumra, valamint ez szerepelt az új-zélandi, franciaországi és japán kislemezeken is.
A felvétel egy másik keverése, amelyen Cook énekelte a versszakokat és Jones a refrént, 1988-ban jelent meg Japánban, a Here We Go Again Jones/Cook szerzemény első változatával.
Steve Jones változata
1979 márciusának második hetében, Jones és Cook Bill Price vezetésével felvették a dal egy újabb változatát a londoni Wessex Studios-ban. A basszusgitáros szerepét ezúttal Andy Allen, a Lightning Raiders tagja töltötte be (Cook, Jones és Allen még ebben az évben megalakították a The Professionals-t).
A Silly Thing ezen változata szerepelt a kislemez brit, ausztrál, nyugatnémet és portugál kiadásán. Felkerült továbbá a Sex Pistols 1992-es válogatáslemezére, a Kiss This-re.
