Cohen rozpoczął karierę jako poeta i powieściopisarz w latach 50. i na początku 60. Karierę muzyczną Cohen rozpoczął dopiero w 1967 roku, w wieku 33 lat. Jego pierwszy album, Songs of Leonard Cohen (1967), doczekał się kolejnych trzech płyt z muzyką folkową: Songs from a Room (1969), Songs of Love and Hate (1971) i New Skin for the Old Ceremony (1974).
Płyta Death of a Ladies' Man z 1977 roku była współtworzona i produkowana przez Phila Spectora. W 1979 roku Cohen powrócił z bardziej tradycyjnym albumem Recent Songs, który łączył jego akustyczny styl z jazzem oraz wpływami orientalnymi i śródziemnomorskimi.
"Hallelujah" został po raz pierwszy wydany na studyjnym albumie Cohena "Various Positions" w 1984 roku. Cohen napisał około 80 projektów wersów do "Hallelujah", z jedną sesją pisania w hotelu Royalton w Nowym Jorku, gdzie został zredukowany do siedzenia na podłodze w bieliźnie, waląc głową w podłogę. Stało się to najbardziej znanym dziełem Cohena. I'm Your Man z 1988 roku to najpopularniejszy album Cohena z piosenką "Everybody Knows". W 1992 roku Cohen wydał kontynuację, The Future, która zawierała mroczne teksty i odniesienia do politycznych i społecznych niepokojów.
Cohen powrócił do muzyki w 2001 roku, wydając album Ten New Songs, który stał się wielkim przebojem w Kanadzie i Europie. W 2004 roku ukazał się jego jedenasty album Dear Heather. Po udanej serii tras koncertowych w latach 2008-2010, Cohen wydał trzy albumy w ostatnich czterech latach swojego życia: Old Ideas (2012), Popular Problems (2014) i You Want It Darker (2016), z których ostatni ukazał się trzy tygodnie przed śmiercią.