A híres pápák palotájának, egy kolosszális kiterjedésű, megerősített palotának az építése 1335-ben kezdődött, XII. Kelemen utódja, VI. Kelemen halálakor a palota gyakorlatilag befejeződött. Az egész városban és környékén a bíborosok pazar rezidenciákat építettek, amelyek pompában és hivalkodásban vetekedtek egymással. A Petit Palais és a Livree Ceccano gyönyörű példák; ez utóbbi ma a városi könyvtárnak ad otthont. Az átalakult város gótikus műemlékekkel ékesíti magát : templomok, kolostorok és kolostorok újjáépítése, bővítése és megszépítése. A lakosság túlnépesíti a ma már túl szűkös városfalakat. A pápa 1355-ben úgy dönt, hogy új bástyákat építtet a fosztogató bandák elleni védelem érdekében.
Az avignoni pápaság presztízse és pompája VI. Kelemen (1342 – 1352) illusztris pontifikátusa alatt éri el csúcspontját, aki 80 000 aranyforintért vásárolta meg a várost Jeanne királynőtől.
A 13. század második fele zavaros időszak volt. A Franciaország és Anglia közötti százéves háború számos fegyverszünete alatt a leszerelt zsoldosok alkották a “Nagy Társaságokat”. Saját számlájukra fosztogattak és mészároltak a falvakban, rettegést terjesztve, amerre csak jártak. Néhányan Avignonba jöttek, a gazdagság koncentrációja vonzotta őket. 1357-ben és 1358-ban Venaissin megyét feldúlták, és Avignont veszélyesen fenyegették. Hogy elkerülje ezt a veszélyt, a pápa váltságdíjat fizetett. A bizonytalanság továbbra is fennállt, még az 1360-ban történt második kifizetés ellenére is. 1365-ben Bertrand de Guesclin, aki egy valóságos fosztogató sereg élén Spanyolországba tartott, megállt Villeneuve-ben, és túlzott váltságdíjat követelt, amelyet V. Urbán fizetett. 1365-ben e hordákkal együtt a pestis is lecsapott Európára. A járványok megtizedelték a lakosságot. Az első, 1348-49-ben volt a legrosszabb. A város ezreket veszített el a pestis miatt. 1361-ben ismét lecsapott, éhínséggel kísérve.
A rómaiak által sürgetett és a pápai államokat sújtó rendetlenség és lázadások által motivált XI. Gergely pápa 1377. január 7-én, 3 és fél hónapos, kimerítő utazás után visszatért Rómába. Ott halt meg a következő évben, 1378. március 27-én.
CIXI. Gergely halála egy újabb zavaros időszak kezdetét jelentette a pápaság számára. A lázadó rómaiak nyomására a bíborosok olasz pápát választottak, aki a VI. urbán nevet vette fel. Közülük azonban többen, főleg franciák, érvénytelennek tekintették a választást, és újra összegyűltek, hogy új pápát válasszanak, VII. Kelemen személyében, aki 1379-ben Avignonban telepedett le. Az előbbinek hűséggel tartozott Közép- és Észak-Itália, a Szent Római Császár, Flandria és az angol király ; az utóbbinak a Nápolyi Királyság, Franciaország és Spanyolország.
A nagy skizma
A katolikus egyház két alárendelt csoportra szakadása 1409-ig tartott. VII. Kelemen utódja, XIII. Benoit fokozatosan elveszítette pártfogóit, egészen addig a pontig, hogy az avignoniak ostrom alá vették a pápai palotában, és 5 évig gyakorlatilag fogoly maradt. Az 1405. március 11-ről 12-re virradó éjszaka egy titkos átjárón keresztül megszökött. Meghalt 1409-ben, utolsó megmaradt támogatója, az aragóniai király védelmében. Unokaöccse, Rodrigo de Luna 17 hónapig védekezett a palotában. Elrendelte a palota előtti összes ház lebontását, hogy ellenfelei ne tudjanak behatolni az erődítményébe. Így alakította ki a ma “Place du Palais” néven ismert nagy sétányt.