Joe Nichols nam de omweg naar countrysucces en scoorde zijn eerste grote hit zes jaar nadat hij zijn eerste platencontract had gekregen. Nichols, afkomstig uit Rogers, Arkansas, groeide op terwijl hij zijn vader bas zag spelen in een lokale countryband. Zelf speelde hij in zijn tienerjaren in een rockband, maar keerde al snel terug naar country, en na de middelbare school nam hij een nachtbaantje als DJ terwijl hij overdag als mecanicien in zijn onderhoud voorzag. Bij dat laatste baantje ontmoette hij producer Randy Edwards, en onder Edwards’ begeleiding trad hij regelmatig op en werkte hij aan zijn songwriting.
Hij kreeg een platencontract bij Intersound en bracht zijn titelloze debuut uit in 1996, uiteraard met Edwards als producer. De single “Six of One, Half a Dozen (Of the Other)” was een kleine hit, maar het album verkocht niet bijzonder goed. Nichols kreeg wel een kans bij Warner Bros., maar een reeks fusies van platenlabels lieten hem in de kou staan, en hij werkte een aantal dagbaantjes in Nashville terwijl hij op zoek was naar een nieuwe deal. In 2000 begon hij een songwriting samenwerking met sessie-gitarist Brent Rowan, en twee jaar later tekende hij bij Universal. Zijn debuut op het label, Man with a Memory, kwam uit in 2002, en de eerste single, de ballad “The Impossible”, werd nummer drie in de country hitlijsten, en bereikte ook de pop Top 30. In het kielzog van het succes werd zijn eerste album heruitgebracht onder de titel Six of One, Half Dozen of the Other.
Een andere single van Man with a Memory, “Brokenheartsville,” werd zijn eerste nummer één country hit in het begin van 2003, en het hielp het album in de country Top Tien te brengen. De lofbetuigingen vlogen hem plotseling om de oren. De Academy of Country Music riep Nichols uit tot Top New Male Vocalist, hij kreeg drie Grammy-nominaties en Billboard riep “The Impossible” uit tot het tiende meest gedraaide nummer van 2003. Nichols en zijn band tourden met Alan Jackson tot en met augustus van dat jaar, en zagen de single “She Only Smokes When She Drinks” genieten van een vergelijkbaar succes op de country radio. In september ging de buzz rond Nichols verder met een nominatie voor de Horizon new artist award van de Country Music Association.
Zijn tweede schijf voor Universal South, Revelation, en een vakantie album, Traditional Christmas, werden uitgebracht in 2004, gevolgd door de Top Tien hit III in 2005. Zijn volgende plaat, Real Things, kwam uit in 2007 en richtte zich voornamelijk op tedere country ballads met een vleugje uptempo jams. Old Things New volgde twee jaar later in 2009. Old Things New was opnieuw een solide hit voor Nichols dankzij de singles “Believers” en “Gimmie That Girl,” en Nichols volgde het in 2011 op met It’s All Good. It’s All Good presteerde respectabel — het debuteerde op 19 in de Billboard country charts — maar het leverde geen grote hitsingle op. Na de release nam Nichols afscheid van Universal en tekende bij Red Bow in oktober 2012. Een jaar later keerde hij terug met het zonnige, pop-georiënteerde Crickets.
Crickets genereerde twee grote countryhits — “Sunny and 75” en “Yeah” — die het album tot 2014 in de hitlijsten hielden. In 2015 bracht Nichols “Freaks Like Me,” de single uit die bedoeld was als het eerste voorproefje van zijn achtste soloalbum, maar het genereerde niet veel aandacht, evenmin als het vervolg uit 2016, “Undone.” Na deze twee singles, Nichols herwerkte het achtste album, dat werd uitgebracht als Never Gets Old in juli 2017.