Il titolo dell'album fu ispirato dalle confezioni di cartine per sigaretteRizla+ nelle quali, all'epoca, un biglietto inserito prima delle ultime cinque cartine riportava la scritta only five leaves left. La coincidenza con il fatto che Drake morì cinque anni dopo l'uscita di quest'album diede adito all'ipotesi a posteriori che l'autore meditasse di togliersi la vita già dal 1969 e avesse voluto celare nel titolo il termine di cinque anni. In realtà è più plausibile che la frase giocasse semplicemente sul significato comune di leaves (foglie) per creare un doppio senso inteso per essere colto al volo dai fumatori che usavano cartine e in particolare dai consumatori di marijuana, come lo stesso Drake.
I testi dell'intero album riflettono una poetica malinconica e introversa destinata a rimanere una costante di tutta l'opera di Drake. Nel brano Fruit Tree in particolare, l'autore sembra presagire la fortuna unicamente postuma:
(inglese)
«Fame's but a fruit tree So very unsound It can never flourish 'Til its stock is in the ground.
So men of fame Can never find a way Till time has flown Far from their dying day.»
(italiano) «La fama non è che un albero da frutto talmente malato che non può mai fiorire finché ha il fusto nella terra.
Perciò gli uomini di fama non riescono mai a trovare una via finché il tempo non è volato lontano dal giorno della loro morte.»
...e rivolgendosi all'«albero da frutto» del titolo come a se stesso, conclude:
(inglese)
«They'll all know you were here When you're gone»
(italiano) «Tutti sapranno che sei stato qui quando te ne sarai andato»
Sull'album compaiono, fra gli altri, Richard Thompson, chitarrista dei Fairport Convention, il contrabbassista dei PentangleDanny Thompson e il pianistaPaul Harris. Quattro brani dell'album sono arrangiati per archi da Robert Kirby, vecchio amico di college di Drake che con lui collaborerà anche sull'album seguente. L'orchestrazione del brano River Man fu invece affidata a Harry Robinson, compositore scozzese di musiche per il cinema, il teatro e la televisione: Robert Kirby in anni seguenti affermò che ciò avvenne perché egli stesso aveva trovato impossibile scrivere un arrangiamento su un metro di 5/4.
Sulle prime edizioni in vinile, i titoli Way to Blue e Day Is Done compaiono scambiati fra loro in copertina rispetto all'ordine delle tracce sul disco; alcune edizioni in CD riproducono sul libretto la grafica originale con l'errore, ma riportano anche la lista corretta dei brani; il titolo 'Cello Song, infine, su un paio di edizioni compare senza l'apostrofo dell'aferesi.
