Joe Nichols a emprunté un chemin détourné vers le succès dans la musique country, obtenant son premier grand succès six ans après avoir décroché son premier contrat d’enregistrement. Originaire de Rogers, en Arkansas, Nichols a grandi en regardant son père jouer de la basse dans un groupe local de country. Il a lui-même joué dans un groupe de rock pendant son adolescence, mais est vite revenu à la country, et après le lycée, il a pris un emploi de nuit comme DJ tout en subvenant à ses besoins comme mécanicien le jour. Il a rencontré le producteur Randy Edwards à ce dernier emploi, et sous la direction d’Edwards, il s’est produit régulièrement et a travaillé sur son écriture de chansons.
Il décroche un contrat de disque avec Intersound et sort son premier album éponyme en 1996, naturellement avec Edwards comme producteur. Le single « Six of One, Half a Dozen (Of the Other) » est un succès mineur, mais l’album ne se vend pas particulièrement bien. Il permet à Nichols de décrocher un contrat avec Warner Bros. mais une série de fusions de labels le laisse sur le carreau, et il enchaîne les petits boulots à Nashville tout en cherchant un nouveau contrat. En 2000, il s’associe avec le guitariste de session Brent Rowan pour écrire des chansons, et deux ans plus tard, il signe avec Universal. Son premier album, Man with a Memory, est sorti en 2002, et son premier single, la ballade « The Impossible », s’est hissé à la troisième place du hit-parade country et est entré dans le Top 30 pop. Dans le sillage de ce succès, son premier album est réédité sous le titre Six of One, Half Dozen of the Other.
Un autre extrait de Man with a Memory, « Brokenheartsville », est devenu son premier succès country numéro un au début de 2003, et il a contribué à faire entrer l’album dans le Top 10 country. Les éloges se succèdent alors à un rythme effréné. L’Academy of Country Music a nommé Nichols meilleur nouveau chanteur masculin, il a reçu trois nominations aux Grammy Awards et Billboard a déclaré que « The Impossible » était la dixième chanson la plus jouée en 2003. Nichols et son groupe ont fait une tournée avec Alan Jackson jusqu’en août de la même année, et le single « She Only Smokes When She Drinks » a connu un succès similaire à la radio country. En septembre, le buzz autour de Nichols se poursuit avec une nomination au prix Horizon new artist de la Country Music Association.
Son deuxième disque pour Universal South, Revelation, et un album de vacances, Traditional Christmas, sont sortis en 2004, suivis du tube III, qui a atteint le Top Ten en 2005. Son disque suivant, Real Things, est arrivé sur les étagères en 2007 et s’est concentré principalement sur des ballades country tendres avec un peu de jams uptempo. Old Things New a suivi deux ans plus tard, en 2009. Old Things New a été un autre succès solide pour Nichols grâce aux singles « Believers » et « Gimmie That Girl », et Nichols l’a suivi en 2011 avec It’s All Good. It’s All Good a eu des résultats respectables – il a débuté à la 19e place du classement country du Billboard – mais il n’a pas généré un grand succès. Après sa sortie, Nichols s’est séparé de Universal et a signé avec Red Bow en octobre 2012. Un an plus tard, il est revenu avec l’album ensoleillé et orienté pop Crickets.
Crickets a généré deux grands succès country — « Sunny and 75 » et « Yeah » — qui ont maintenu l’album dans les charts jusqu’en 2014. En 2015, Nichols a publié « Freaks Like Me », le single qui devait être le premier goût de son huitième album solo, mais il n’a pas suscité beaucoup d’attention, pas plus que sa suite de 2016, « Undone ». Après ces deux singles, Nichols a retravaillé le huitième album, qui est sorti sous le nom de Never Gets Old en juillet 2017.