V roce 1335, za pontifikátu Benoita XII., byla zahájena stavba slavného Papežského paláce, opevněného paláce kolosálního rozsahu. V době smrti jeho nástupce Klementa VI. byl palác prakticky dokončen. Po celém městě a jeho okolí si kardinálové stavěli honosné rezidence, z nichž každá soupeřila s tou druhou ve velkoleposti a okázalosti. Krásnými příklady jsou Petit Palais a Livree Ceccano; v druhém jmenovaném nyní sídlí městská knihovna. Proměněné město zdobí gotické památky : přestavby, rozšiřování a zkrášlování kostelů, klášterů a konventů. Obyvatelstvo přerůstá nyní příliš těsné městské hradby. V roce 1355 papež rozhoduje o výstavbě nových hradeb na ochranu před loupeživými bandami.
Prestiž a okázalost avignonského papežství dosahuje vrcholu za slavného pontifikátu Klementa VI (1342 – 1352, který město koupil od královny Jeanne za 80 000 zlatých florénů.
Druhá polovina 13. století byla neklidným obdobím. Během četných příměří během stoleté války mezi Francií a Anglií tvořili neangažovaní žoldnéři „velké roty“. Na vlastní účet plenili a masakrovali vesnice a rozsévali hrůzu všude, kam přišli. Někteří přišli do Avignonu, přitahováni koncentrací bohatství. V letech 1357 a 1358 bylo zpustošeno hrabství Venaissin a Avignon byl nebezpečně ohrožen. Aby se papež tomuto nebezpečí vyhnul, zaplatil výkupné. Nejistota přetrvávala i po druhé platbě v roce 1360. V roce 1365 se Bertrand de Guesclin na cestě do Španělska v čele skutečné armády plenitelů zastavil ve Villeneuve a požadoval přemrštěné výkupné, které zaplatil Urban V. Spolu s těmito hordami zasáhl Evropu mor. Epidemie zdecimovala obyvatelstvo. První v letech 1348-49 byla nejhorší. Město přišlo kvůli moru o tisíce lidí. V roce 1361 udeřila znovu, doprovázená hladomorem.
Papež Řehoř XI. se na popud Římanů a motivován nepokoji a vzpourami v papežských državách vrátil do Říma 7. ledna 1377 po 3,5 měsících vyčerpávající cesty. Zemřel tam následujícího roku 27. března 1378.
Smrt Řehoře XI. znamenala pro papežství začátek dalšího neklidného období. Pod tlakem bouřících se Římanů zvolili kardinálové italského papeže, který přijal jméno Urban VI. Někteří z nich, většinou Francouzi, však považovali volbu za neplatnou a znovu se sešli, aby zvolili nového papeže, Klementa VII, který se v roce 1379 usadil v Avignonu. První měl věrnost střední a severní Itálie, císaře Svaté říše římské, Flander a anglického krále ; druhý Neapolského království, Francie a Španělska.
Velké schizma
Rozdělení katolické církve na dvě podřízené skupiny trvalo do roku 1409. Klementův nástupce Benoit XIII. postupně ztrácel své straníky, až se ocitl v obležení papežského paláce lidem z Avignonu a zůstal po dobu 5 let faktickým vězněm. V noci z 11. na 12. března 1405 se mu podařilo uniknout tajným průchodem. Zemřel v roce 1409 pod ochranou své poslední opory, aragonského krále. Jeho synovec Rodrigo de Luna se 17 měsíců bránil v paláci. Nařídil zbourat všechny domy před palácem, aby zabránil svým protivníkům proniknout do jeho pevnosti. Vytvořil tak velkolepou esplanádu známou dnes jako „Place du Palais“.