Joe Nichols se k úspěchu v country dostal oklikou, když šest let po uzavření první nahrávací smlouvy získal svůj první velký hit. Nichols pochází z Rogersu v Arkansasu a vyrůstal, když sledoval svého otce, jak hraje na baskytaru v místní country kapele. Sám hrál během dospívání v rockové kapele, ale brzy se vrátil ke country a po střední škole si přivydělával jako DJ a přes den se živil jako automechanik. Při této práci se seznámil s producentem Randym Edwardsem a pod jeho vedením pravidelně vystupoval a pracoval na psaní písní.
Získal nahrávací smlouvu s Intersoundem a v roce 1996 vydal svůj debut s vlastním názvem, samozřejmě s Edwardsovou produkcí. Singl „Six of One, Half a Dozen (Of the Other)“ se stal menším hitem, ale album se nijak zvlášť dobře neprodávalo. Nicholsovi se díky němu podařilo získat šanci u Warner Bros., ale série fúzí vydavatelství ho nechala na holičkách a on při hledání nové smlouvy pracoval na různých brigádách v Nashvillu. V roce 2000 navázal spolupráci s kytaristou Brentem Rowanem a o dva roky později podepsal smlouvu s Universalem. Jeho debut Man with a Memory vyšel v roce 2002 a jeho hlavní singl, balada The Impossible, se umístil na třetím místě countryové hitparády a dostal se i do popové Top 30. V návaznosti na tento úspěch bylo jeho první album znovu vydáno pod názvem Six of One, Half Dozen of the Other.
Další singl z alba Man with a Memory, „Brokenheartsville“, se počátkem roku 2003 stal jeho prvním country hitem číslo jedna a pomohl poslat album do country Top Ten. Ocenění najednou létala rychle a zběsile. Academy of Country Music jmenovala Nicholse nejlepším novým mužským zpěvákem, získal tři nominace na Grammy a Billboard vyhlásil „The Impossible“ desátou nejhranější písní roku 2003. Do srpna téhož roku absolvoval Nichols se svou kapelou turné s Alanem Jacksonem a podobný úspěch v country rádiích zaznamenal i singl „She Only Smokes When She Drinks“. V září rozruch kolem Nicholse pokračoval nominací na cenu Horizon new artist od Country Music Association.
V roce 2004 vyšla jeho druhá deska pro Universal South, Revelation, a sváteční album Traditional Christmas, po nichž v roce 2005 následoval hit III, který se dostal do Top Ten. Jeho další deska Real Things se na pultech objevila v roce 2007 a zaměřila se především na něžné country balady s příměsí uptempo jamů. Old Things New následovala o dva roky později, v roce 2009. Old Things New byla pro Nicholse díky singlům Believers a Gimmie That Girl dalším solidním hitem a v roce 2011 na ni Nichols navázal deskou It’s All Good. It’s All Good si vedla slušně – v žebříčku Billboard country debutovala na 19. místě -, ale velký singlový hit z ní nevznikl. Po jeho vydání se Nichols rozloučil s vydavatelstvím Universal a v říjnu 2012 podepsal smlouvu s Red Bow. O rok později se vrátil s prosluněnou, popově orientovanou deskou Crickets.
Crickets vygenerovali dva velké countryové hity – „Sunny and 75“ a „Yeah“ – které album udržely v hitparádách až do roku 2014. V roce 2015 vydal Nichols singl „Freaks Like Me“, který měl být první ochutnávkou z jeho osmého sólového alba, ale nevzbudil velkou pozornost, stejně jako jeho pokračování „Undone“ z roku 2016. Po těchto dvou singlech Nichols přepracoval osmé album, které vyšlo pod názvem Never Gets Old v červenci 2017.