Joe Nichols a country sikerhez vezető kerülő utat választotta, és hat évvel az első lemezszerződése után szerezte meg első nagy slágerét. Az Arkansas állambeli Rogersben született Nichols úgy nőtt fel, hogy édesapját látta basszusgitározni egy helyi countryzenekarban. Ő maga tinédzserkorában egy rockzenekarban játszott, de hamarosan visszatért a countryhoz, és a középiskola után éjszakai munkát vállalt DJ-ként, miközben nappal szerelőként tartotta el magát. Ez utóbbi munkahelyén találkozott Randy Edwards producerrel, és Edwards irányítása alatt rendszeresen fellépett és dolgozott a dalszerzésen.
Lemezszerződést kötött az Intersounddal, és 1996-ban kiadta önnön debütáló albumát, természetesen Edwards produceri közreműködésével. A “Six of One, Half a Dozen (Of the Other)” című kislemez kisebb sláger lett, de az album nem fogyott különösebben jól. Sikerült Nicholsnak egy esélyt szereznie a Warner Bros-nál, de egy sor kiadói fúzió miatt a hidegben maradt, és egy sor nappali munkát vállalt Nashville környékén, amíg új szerződést keresett. 2000-ben dalszerzői partnerséget kötött Brent Rowan session gitárossal, majd két évvel később leszerződött a Universalhoz. A kiadónál 2002-ben jelent meg debütáló albuma, a Man with a Memory, amelynek vezető kislemeze, a “The Impossible” című ballada a country slágerlistán a harmadik helyig jutott, és a pop top 30-as listájára is felkerült. A siker nyomán első albumát Six of One, Half Dozen of the Other címmel újra kiadták.
A Man with a Memory másik kislemeze, a “Brokenheartsville” 2003 elején lett az első number one country slágere, és segített az albumot a country top tízbe juttatni. Az elismerések hirtelen gyorsan és dühösen szállingóztak. Az Academy of Country Music Nichols-t a legjobb új férfi énekesnek választotta, három Grammy-jelölést kapott, a Billboard pedig a “The Impossible”-t a tizedik legtöbbet játszott dalnak nyilvánította 2003-ban. Nichols és zenekara az év augusztusáig Alan Jacksonnal turnézott, és a “She Only Smokes When She Drinks” című kislemezdal hasonló sikert aratott a country rádiókban. Szeptemberben a Nichols körüli felhajtás azzal folytatódott, hogy a Country Music Association Horizon new artist díjra jelölte.
2004-ben jelent meg második lemeze a Universal South számára, a Revelation, valamint egy ünnepi album, a Traditional Christmas, amelyet 2005-ben a Top Ten sláger III követett. Következő lemeze, a Real Things 2007-ben került a boltok polcaira, és elsősorban a gyengéd country balladákra koncentrált, elszórtan uptempo dzsemekkel. Az Old Things New két évvel később, 2009-ben következett. Az Old Things New a “Believers” és a “Gimmie That Girl” című kislemezdaloknak köszönhetően újabb szolid sikert hozott Nicholsnak, majd 2011-ben az It’s All Good című albummal folytatta. Az It’s All Good tisztességesen teljesített – a Billboard country listáján a 19. helyen debütált -, de nem hozott nagy sláger kislemezt. A megjelenés után Nichols elvált a Universal-tól, és 2012 októberében leszerződött a Red Bow-hoz. Egy évvel később visszatért a napsütéses, pop-orientált Crickets-szel.
A Crickets két nagy country slágert generált — a “Sunny and 75” és a “Yeah” — amelyek 2014-ig a listákon tartották az albumot. 2015-ben Nichols kiadta a “Freaks Like Me” című kislemezt, amelyet nyolcadik szólóalbumának első ízelítőjének szánt, de nem keltett nagy feltűnést, ahogy a 2016-os folytatása, az “Undone” sem. E két kislemez után Nichols átdolgozta a nyolcadik albumot, amely Never Gets Old címmel 2017 júliusában jelent meg.