Joe Nichols tog den omvej til country-succes og fik sit første store hit seks år efter at have fået sin første pladekontrakt. Nichols er født i Rogers, Arkansas, og voksede op med at se sin far spille bas i et lokalt countryband. Han spillede selv i et rockband i teenageårene, men vendte hurtigt tilbage til country, og efter high school tog han et natjob som DJ, mens han om dagen ernærede sig som mekaniker. I sidstnævnte job mødte han produceren Randy Edwards, og under Edwards’ vejledning optrådte han regelmæssigt og arbejdede på sit sangskriveri.
Han fik en pladekontrakt med Intersound og udgav sin selvbetitlede debut i 1996, naturligvis med Edwards som producer. Singlen “Six of One, Half a Dozen (Of the Other)” blev et mindre hit, men albummet solgte ikke særlig godt. Det lykkedes Nichols at få en chance hos Warner Bros. men en række fusioner af pladeselskaber efterlod ham i kulden, og han havde en række dagjobs rundt omkring i Nashville, mens han ledte efter en ny aftale. I 2000 indgik han et samarbejde om sangskrivning med sessionguitaristen Brent Rowan, og to år senere skrev han under med Universal. Hans debut på pladeselskabet, Man with a Memory, blev udgivet i 2002, og forsinglen, balladen “The Impossible”, blev nummer tre på country-listerne og gik også over på pop Top 30. I kølvandet på denne succes blev hans første album genudgivet under titlen Six of One, Half Dozen of the Other.
En anden single fra Man with a Memory, “Brokenheartsville”, blev hans første countryhit som nummer et i begyndelsen af 2003, og den var med til at sende albummet ind på country Top 10. Anerkendelserne fløj pludselig hurtigt og rasende. Academy of Country Music kårede Nichols til sin bedste nye mandlige vokalist, han fik tre Grammy-nomineringer, og Billboard erklærede “The Impossible” for den tiende mest spillede sang i 2003. Nichols og hans band turnerede med Alan Jackson i august samme år og oplevede, at singlen “She Only Smokes When She Drinks” fik samme succes i countryradioen. I september fortsatte snakken om Nichols med en nominering til en Horizon new artist award fra Country Music Association.
Hans anden skive for Universal South, Revelation, og et feriealbum, Traditional Christmas, blev udgivet i 2004, efterfulgt af Top Ten-hittet III i 2005. Hans næste plade, Real Things, kom på hylderne i 2007 og fokuserede primært på ømme countryballader med en smule uptempo jams. Old Things New fulgte to år senere i 2009. Old Things New blev endnu et solidt hit for Nichols takket være singlerne “Believers” og “Gimmie That Girl”, og Nichols fulgte den op i 2011 med It’s All Good. It’s All Good klarede sig respektabelt – den debuterede på 19. pladsen på Billboard Country-listerne – men den gav ikke anledning til en stor hitsingle. Efter udgivelsen skiltes Nichols fra Universal og skrev under med Red Bow i oktober 2012. Et år senere vendte han tilbage med den solrige, poporienterede Crickets.
Crickets genererede to store countryhits — “Sunny and 75” og “Yeah” — som holdt albummet på hitlisterne gennem 2014. I 2015 udgav Nichols singlen “Freaks Like Me”, som skulle være den første smagsprøve fra hans ottende soloalbum, men den skabte ikke megen opmærksomhed, og det gjorde dens efterfølger fra 2016, “Undone”, heller ikke. Efter disse to singler omarbejdede Nichols det ottende album, som blev udgivet som Never Gets Old i juli 2017.