Joe Nichols a urmat o cale ocolită către succesul country, obținând primul său hit major la șase ani după ce a obținut primul contract de înregistrare. Originar din Rogers, Arkansas, Nichols a crescut privindu-l pe tatăl său cum cânta la bas într-o trupă country locală. El însuși a cântat într-o trupă rock în timpul adolescenței, dar s-a întors curând la country, iar după liceu și-a luat o slujbă de noapte ca DJ, în timp ce ziua se întreținea ca mecanic. La acest din urmă loc de muncă l-a întâlnit pe producătorul Randy Edwards și, sub îndrumarea lui Edwards, a cântat în mod regulat și a lucrat la compunerea cântecelor sale.
A obținut un contract de înregistrare cu Intersound și și-a lansat debutul său autointitulat în 1996, bineînțeles cu Edwards ca producător. Single-ul „Six of One, Half a Dozen (Of the Other)” a fost un hit minor, dar albumul nu s-a vândut deosebit de bine. Acesta a reușit să îi aducă lui Nichols o șansă la Warner Bros, dar o serie de fuziuni de case de discuri l-au lăsat pe dinafară, iar el a avut o serie de slujbe cu ziua în Nashville în timp ce căuta un nou contract. În 2000, a încheiat un parteneriat de compoziție cu chitaristul de sesiune Brent Rowan, iar doi ani mai târziu a semnat cu Universal. Debutul său la casa de discuri, Man with a Memory, a fost lansat în 2002, iar single-ul principal, balada „The Impossible”, a ajuns pe locul trei în topurile country, trecând, de asemenea, în Top 30 pop. În urma succesului său, primul său album a fost reeditat sub titlul Six of One, Half Dozen of the Other.
Un alt single de pe „Man with a Memory”, „Brokenheartsville”, a devenit primul său hit country numărul unu la începutul anului 2003, și a ajutat la trimiterea albumului în Top 10 country. Aprecierile au început brusc să zboare rapid și furios. Academia de muzică country l-a desemnat pe Nichols drept cel mai bun nou vocalist masculin, a obținut trei nominalizări la Grammy, iar Billboard a declarat „The Impossible” al zecelea cel mai difuzat cântec din 2003. Nichols și trupa sa au fost în turneu cu Alan Jackson până în luna august a aceluiași an, iar single-ul „She Only Smokes When She Drinks” s-a bucurat de un succes similar la radiourile country. În septembrie, zumzetul din jurul lui Nichols a continuat cu o nominalizare la premiul Horizon new artist din partea Country Music Association.
Cel de-al doilea disc al său pentru Universal South, Revelation, și un album de sărbători, Traditional Christmas, au fost lansate în 2004, urmate de hit-ul de Top Ten III în 2005. Următorul său disc, Real Things, a ajuns pe rafturi în 2007 și s-a axat în principal pe balade country tandre, cu o sumedenie de jams uptempo. Old Things New a urmat doi ani mai târziu, în 2009. Old Things New a fost un alt succes solid pentru Nichols datorită single-urilor „Believers” și „Gimmie That Girl”, iar Nichols a continuat în 2011 cu It’s All Good. It’s All Good a avut o performanță respectabilă – a debutat pe locul 19 în clasamentul Billboard country – dar nu a generat un single de mare succes. După lansarea sa, Nichols s-a despărțit de Universal și a semnat cu Red Bow în octombrie 2012. Un an mai târziu, a revenit cu albumul însorit și orientat spre pop Crickets.
Crickets a generat două mari hituri country – „Sunny and 75” și „Yeah” – care au menținut albumul în topuri până în 2014. În 2015, Nichols a lansat „Freaks Like Me”, single-ul care trebuia să fie primul gust de pe cel de-al optulea său album solo, dar nu a generat prea multă atenție, la fel ca și continuarea sa din 2016, „Undone”. În urma acestor două single-uri, Nichols a refăcut cel de-al optulea album, care a fost lansat sub numele Never Gets Old în iulie 2017.