Joe Nichols kulki kiertotietä country-menestykseen ja teki ensimmäisen suuren hitin kuusi vuotta ensimmäisen levytyssopimuksensa jälkeen. Rogersista, Arkansasista kotoisin oleva Nichols kasvoi katsellen isänsä soittavan bassoa paikallisessa countrybändissä. Hän itse soitti teini-iässä rockyhtyeessä, mutta palasi pian takaisin countryn pariin, ja lukion jälkeen hän teki yötyötä DJ:nä ja toimi päivisin mekaanikkona. Jälkimmäisessä työssä hän tapasi tuottaja Randy Edwardsin, ja Edwardsin johdolla hän esiintyi säännöllisesti ja työsti laulujensa kirjoittamista.
Hän sai levytyssopimuksen Intersoundin kanssa ja julkaisi samannimisen debyyttinsä vuonna 1996, luonnollisesti Edwardsin tuottaessa. Single ”Six of One, Half a Dozen (Of the Other)” oli pieni hitti, mutta albumi ei myynyt erityisen hyvin. Se onnistui ansaitsemaan Nicholsille paukun Warner Brosin kanssa, mutta sarja levy-yhtiöiden fuusioita jätti hänet kylmäksi, ja hän teki useita päivätöitä ympäri Nashvilleä etsiessään uutta sopimusta. Vuonna 2000 hän solmi lauluntekijäkumppanuuden sessiokitaristi Brent Rowanin kanssa, ja kaksi vuotta myöhemmin hän teki sopimuksen Universalin kanssa. Hänen levy-yhtiönsä debyytti Man with a Memory julkaistiin vuonna 2002, ja sen pääsingle, balladi ”The Impossible”, nousi country-listan kolmoseksi ja ylsi myös popin Top 30:een. Menestyksen myötä hänen ensimmäinen albuminsa julkaistiin uudelleen nimellä Six of One, Half Dozen of the Other.
Man with a Memoryn toinen single, ”Brokenheartsville”, nousi hänen ensimmäiseksi listaykköseksi country-hitiksi alkuvuodesta 2003, ja se auttoi lähettämään albumin countryn Top Teniin. Ylistykset lensivät yhtäkkiä nopeasti ja raivokkaasti. Academy of Country Music nimesi Nicholsin parhaaksi uudeksi mieslaulajaksi, hän sai kolme Grammy-ehdokkuutta, ja Billboard julisti ”The Impossible”-kappaleen vuoden 2003 kymmenenneksi soitetuimmaksi kappaleeksi. Nichols ja hänen yhtyeensä kiersivät Alan Jacksonin kanssa saman vuoden elokuuhun asti, ja single ”She Only Smokes When She Drinks” saavutti samanlaista menestystä country-radiossa. Syyskuussa kohu Nicholsin ympärillä jatkui, kun hän sai Country Music Associationilta Horizon new artist -palkintoehdokkuuden.
Hänen toinen levynsä Universal Southille, Revelation, ja juhlapyhäalbumi, Traditional Christmas, julkaistiin vuonna 2004, jota seurasi Top Ten -hitti III vuonna 2005. Hänen seuraava levynsä, Real Things, ilmestyi hyllyille vuonna 2007 ja keskittyi pääasiassa hellävaraisiin kantriballadeihin, joissa oli ripaus uptempo-jameja. Old Things New seurasi kaksi vuotta myöhemmin vuonna 2009. Old Things New oli jälleen vankka hitti Nicholsille sinkkujen ”Believers” ja ”Gimmie That Girl” ansiosta, ja Nichols jatkoi sitä vuonna 2011 albumilla It’s All Good. It’s All Good menestyi kunnioitettavasti – se debytoi 19. sijalla Billboardin country-listalla – mutta se ei tuottanut suurta hittisingleä. Sen julkaisun jälkeen Nichols erosi Universalista ja allekirjoitti sopimuksen Red Bowin kanssa lokakuussa 2012. Vuotta myöhemmin hän palasi aurinkoisen, pop-painotteisen Cricketsin kanssa.
Crickets tuotti kaksi suurta country-hittiä — ”Sunny and 75” ja ”Yeah” — jotka pitivät albumin listoilla läpi vuoden 2014. Vuonna 2015 Nichols julkaisi singlen ”Freaks Like Me”, jonka oli tarkoitus olla ensimmäinen makupala hänen kahdeksannelta sooloalbumiltaan, mutta se ei herättänyt suurta huomiota, kuten ei myöskään sen vuoden 2016 jatko-osa ”Undone”. Näiden kahden singlen jälkeen Nichols työsti uudelleen kahdeksannen albumin, joka julkaistiin nimellä Never Gets Old heinäkuussa 2017.