Als onderdeel van de bekende groep broers de Jackson 5 maakt Jermaine internationaal furore. Hij scoort solo een aantal hits waaronder 'When The Rain Begins To Fall' en 'Do What You Do'.
Jermaine maakt deel uit van de Jackson 5 totdat de broers besluiten te vertrekken bij Motown. Als man van Hazel Gordy en schoonzoon van Berry Gordy, de oprichter van Motown, kan Jermaine het niet over zijn hart verkrijgen om te wisselen van platenmaatschappij. Broer Randy neemt zijn plaats over in de band en de broers gaan verder als de Jacksons.
Succes met Stevie
Voor Jermaine begint zijn solocarrière pas echt als Stevie Wonder het nummer 'Let's Get Serious' voor hem schrijft en produceert. Het levert hem in 1980 een top 10 hit op, op het moment dat broer Michael's carrière een vlucht heeft genomen. Nummer 1
Samen met Pia Zadora zingt hij het nummer 'When The Rain Begins To Fall', wat in 1984 in Nederland zelfs een nummer 1 hit wordt. En kort daarna is het weer raak met het nummer 'Do What You Do', waarmee hij de vierde plaats in de Nederlandse hitlijsten behaalt.Kritiek en steun
Daarna verschijnen er nog sporadisch nummers van hem, zoals het omstreden nummer 'Word To The Badd' uit 1991, waarmee hij broer Michael bekritiseert. Maar als Michael weer eens in opspraak is wegens kindermisbruik, neemt Jermaine het in de media prominent op voor zijn jongere broer.Reünie
Het eerbetoon dat in september 2001 gegeven wordt wanneer broer Michael dertig jaar in het vak zit, betekent een korte reunie voor de broers als band. Bij de herdenkingsdienst van Michael Jackson in 2009 zingt Jermaine het nummer 'Smile'.