Joe Nichols wybrał okrężną drogę do sukcesu country, zdobywając swój pierwszy wielki przebój sześć lat po wylądowaniu pierwszego kontraktu płytowego. Pochodzący z Rogers, Arkansas, Nichols dorastał obserwując swojego ojca grającego na basie w lokalnym zespole country. Sam grał w zespole rockowym w okresie nastoletnim, ale szybko powrócił do country. Po ukończeniu szkoły średniej podjął nocną pracę jako DJ, a w ciągu dnia pracował jako mechanik. W tej ostatniej pracy poznał producenta Randy’ego Edwardsa i pod jego okiem regularnie występował i pracował nad swoimi piosenkami.
Wylądował na kontrakcie płytowym z Intersound i wydał swój debiut zatytułowany „self-titled” w 1996 roku, oczywiście z Edwardsem produkującym. Singiel „Six of One, Half a Dozen (Of the Other)” był małym hitem, ale album nie sprzedawał się szczególnie dobrze. Udało mu się jednak dostać szansę na współpracę z Warner Bros., ale seria fuzji wytwórni sprawiła, że został pozostawiony na lodzie i szukając nowego kontraktu, pracował dorywczo w Nashville. W 2000 roku nawiązał współpracę z gitarzystą sesyjnym Brentem Rowanem, a dwa lata później podpisał kontrakt z wytwórnią Universal. Jego debiut, Man with a Memory, ukazał się w 2002 roku, a jego główny singiel, ballada „The Impossible”, dotarł do trzeciego miejsca na liście przebojów country, trafiając również do popowej Top 30. W następstwie tego sukcesu, jego pierwszy album został wznowiony pod tytułem Six of One, Half Dozen of the Other.
Innym singlem z Man with a Memory, „Brokenheartsville,” stał się jego pierwszy numer jeden hit kraju na początku 2003 roku, i to pomogło wysłać album do kraju Top Ten. Nagle okazało się, że pochwały spływają szybko i wściekle. Academy of Country Music uznała Nicholsa za najlepszego nowego wokalistę męskiego, otrzymał on trzy nominacje do nagrody Grammy, a Billboard ogłosił „The Impossible” dziesiątą najczęściej graną piosenką 2003 roku. Nichols i jego zespół koncertowali z Alanem Jacksonem przez sierpień tego samego roku, a singiel „She Only Smokes When She Drinks” odniósł podobny sukces w radiu country. We wrześniu Nichols otrzymał nominację do nagrody Horizon dla nowego artysty od Country Music Association.
Jego druga płyta dla Universal South, Revelation, i album świąteczny, Traditional Christmas, zostały wydane w 2004 roku, a następnie Top Ten hit III w 2005 roku. Jego kolejna płyta, Real Things, trafiła na półki sklepowe w 2007 roku i skupiała się głównie na czułych balladach country z domieszką uptempo jams. Old Things New pojawił się dwa lata później, w 2009 roku. Old Things New było kolejnym hitem Nicholsa dzięki singlom „Believers” i „Gimmie That Girl”, a w 2011 roku Nichols wydał kolejną płytę – It’s All Good. It’s All Good osiągnął zadowalające wyniki – zadebiutował na 19 miejscu listy przebojów Billboard country – ale nie wygenerował dużego przebojowego singla. Po jego wydaniu Nichols rozstał się z wytwórnią Universal i w październiku 2012 roku podpisał kontrakt z Red Bow. Rok później powrócił z słonecznym, popowym albumem Crickets.
Crickets wygenerował dwa duże hity country — „Sunny and 75” i „Yeah” — które utrzymały album na listach przebojów przez 2014 rok. W 2015 roku Nichols wydał „Freaks Like Me,” singiel, który miał być pierwszym smakiem z jego ósmego solowego albumu, ale nie wygenerował dużej uwagi, podobnie jak jego sequel z 2016 roku, „Undone.” Po tych dwóch singlach, Nichols ponownie opracował ósmy album, który został wydany jako Never Gets Old w lipcu 2017 roku.