Joe Nichols tomou o caminho do sucesso no país, marcando seu primeiro grande golpe seis anos depois de conseguir seu recorde inicial. Nativo de Rogers, Arkansas, Nichols cresceu vendo seu pai tocar baixo em uma banda country local. Ele mesmo tocou em uma banda de rock durante sua adolescência, mas logo voltou ao país, e depois do ensino médio aceitou um emprego noturno como DJ enquanto se sustentava como mecânico durante o dia. Ele conheceu o produtor Randy Edwards neste último trabalho, e sob a orientação de Edwards, ele se apresentou regularmente e trabalhou na composição de suas canções.
Ele conseguiu um contrato discográfico com a Intersound e lançou sua estréia auto-intitulada em 1996, naturalmente com Edwards produzindo. O single “Six of One, Half a Dozen (Of the Other)” foi um sucesso menor, mas o álbum não vendeu particularmente bem. Conseguiu fazer Nichols ganhar uma chance com a Warner Bros., mas uma série de fusões de gravadoras o deixou de fora no frio, e ele trabalhou em uma série de trabalhos diurnos em Nashville enquanto procurava por um novo negócio. Em 2000, ele fez uma parceria de composição com o guitarrista Brent Rowan, e dois anos mais tarde assinou com a Universal. Sua estréia pela gravadora, Man with a Memory, foi lançada em 2002, e seu single principal, a balada “The Impossible”, foi para o número três das paradas nacionais, cruzando também para o Top 30 pop. Após seu sucesso, seu primeiro álbum foi reeditado sob o título Six of One, Half Dozen of the Other.
Outro single de Man with a Memory, “Brokenheartsville”, tornou-se o seu primeiro sucesso nacional número um no início de 2003, e ajudou a enviar o álbum para o país Top Ten. Os elogios foram de repente voando rápido e furioso. A Academia de Música Country nomeou Nichols como o seu Top New Male Vocalist, ele recebeu três indicações ao Grammy, e a Billboard declarou “The Impossible” a décima música mais tocada em 2003. Nichols e sua banda fizeram turnê com Alan Jackson até agosto daquele ano, e viram o single “She Only Smokes When She Drinks” desfrutar de sucesso semelhante na rádio country. Em setembro, o burburinho em torno de Nichols continuou com uma nomeação para o Horizon new artist award da Country Music Association.
Seu segundo disco para a Universal South, Revelation, e um álbum de férias, Traditional Christmas, foram lançados em 2004, seguido pelo Top Ten hit III em 2005. O seu próximo disco, Real Things, chegou às prateleiras em 2007 e focou-se principalmente nas ternas baladas do campo com um grande número de improvisos. Old Things New foi lançado dois anos mais tarde, em 2009. Old Things New foi outro sucesso sólido para Nichols graças aos singles “Believers” e “Gimmie That Girl”, e Nichols o seguiu em 2011 com It’s All Good. It’s All Good teve um desempenho respeitável – estreou com 19 nas tabelas de países da Billboard – mas não gerou um grande sucesso. Após seu lançamento, Nichols se separou da Universal e assinou com a Red Bow em outubro de 2012. Um ano depois, ele voltou com os Crickets ensolarados e pop-oriented.
Crickets gerou dois grandes hits nacionais — “Sunny and 75” e “Yeah” — o que manteve o álbum nas paradas até 2014. Em 2015, Nichols lançou “Freaks Like Me”, o single que pretendia ser o primeiro gosto de seu oitavo álbum solo, mas não gerou muita atenção, nem sua sequela de 2016, “Undone”. Após esses dois singles, Nichols retrabalhou o oitavo álbum, que foi lançado como Never Gets Old em julho de 2017.