Construcția celebrului Palat al Papilor, un palat fortificat de o întindere colosală, a început în 1335, sub pontificatul lui Benoit al XII-lea. În momentul morții succesorului său, Clement al VI-lea, palatul era practic finalizat. Peste tot în oraș și în împrejurimi, cardinalii își construiseră reședințe somptuoase, fiecare rivalizând cu cealaltă în ceea ce privește splendoarea și ostentația. Petit Palais și Livree Ceccano sunt exemple frumoase; acesta din urmă găzduiește acum biblioteca municipală. Orașul, transformat, se împodobește cu monumente gotice : reconstrucția, extinderea și înfrumusețarea bisericilor, mănăstirilor și mănăstirilor. Populația depășește zidurile, acum prea strâmte, ale orașului. În 1355, papa decide să construiască noi bastioane pentru a se proteja împotriva bandelor de jefuitori.
Prestigiul și fastul papalității de la Avignon atinge apogeul sub ilustrul pontificat al lui Clement al VI-lea (1342 – 1352, care a cumpărat orașul de la regina Jeanne pentru 80.000 de florini de aur.
A doua jumătate a secolului al XIII-lea a fost o perioadă tulbure. În timpul numeroaselor armistiții din timpul Războiului de o sută de ani dintre Franța și Anglia, mercenari dezangajați au format „Marile Companii”. Pe cont propriu, aceștia jefuiau și masacrau satele, semănând teroare oriunde mergeau. Unii au venit la Avignon, atrași de concentrația de bogăție. În 1357 și 1358, comitatul Venaissin a fost devastat, iar Avignonul a fost periculos de amenințat. Pentru a evita acest pericol, papa a plătit o răscumpărare. Nesiguranța a persistat, chiar și cu o a doua plată în 1360. În 1365, Bertrand de Guesclin, în drum spre Spania, în fruntea unei adevărate armate de spoliatori, s-a oprit la Villeneuve și a cerut o răscumpărare exorbitantă, plătită de Urban al V-lea. Odată cu aceste hoarde, ciuma a lovit Europa. Epidemiile au decimat populația. Prima, în 1348-49, a fost cea mai gravă. Orașul a pierdut mii de oameni din cauza ciumei. În 1361, a lovit din nou, însoțită de foamete.
Papa Grigore al XI-lea, îndemnat de romani și motivat de dezordinea și revoltele din statele pontificale, s-a întors la Roma la 7 ianuarie 1377, după 3 luni și jumătate de o călătorie epuizantă. El a murit acolo în anul următor, la 27 martie 1378.
Moartea lui Grigore al XI-lea a marcat începutul unei alte perioade tulburi pentru papalitate. Sub presiunea romanilor revoltați, cardinalii au ales un papă italian, care a luat numele de Urban al VI-lea. Cu toate acestea, mai mulți dintre ei, majoritatea francezi, au considerat alegerea nulă și s-au reunit din nou pentru a alege un nou papă, Clement al VII-lea, care s-a stabilit la Avignon în 1379. Primul avea loialitatea centrului și nordului Italiei, a Sfântului Împărat Roman, a Flandrei și a regelui englez; cel de-al doilea, a Regatului Neapolelui, a Franței și a Spaniei.
Marea Schismă
Divizarea Bisericii Catolice în două grupuri subordonate a durat până în 1409. Succesorul lui Clement al VII-lea, Benoit al XIII-lea își va pierde progresiv partizanii, până în punctul în care se va trezi asediat în Palatul Papilor de către populația din Avignon, rămânând practic prizonier timp de 5 ani. A evadat printr-un pasaj secret în noaptea de 11 spre 12 martie 1405. A murit în 1409, protejat de ultimul său sprijin rămas, regele de Aragon. Nepotul său, Rodrigo de Luna s-a apărat în palat timp de 17 luni. A ordonat demolarea tuturor caselor din fața palatului pentru a-i împiedica pe adversarii săi să se insinueze în fortăreața sa. El a format astfel marea esplanadă cunoscută astăzi sub numele de „Place du Palais”.
.