Byggeriet af det berømte Pavepalads, et befæstet palads af kolossal størrelse, begyndte i 1335, under Benoît XII’s pontifikat. Ved hans efterfølgers, Clemens VI’s, død var paladset praktisk talt færdigt. Overalt i byen og dens omgivelser havde kardinalerne bygget overdådige residenser, der alle rivaliserede med hinanden i pragt og prægtighed. Petit Palais og Livree Ceccano er smukke eksempler herpå; sidstnævnte huser nu det kommunale bibliotek. Byen, der er forvandlet, pryder sig med gotiske monumenter: genopbygning, udvidelse og udsmykning af kirker, klostre og klostre. Befolkningen vokser ud over de nu alt for snævre bymure. I 1355 besluttede paven at opføre nye bolværker for at beskytte sig mod plyndrende bander.
Avignon-papedømmets prestige og pragt nåede sit højdepunkt under Clemens VI’s (1342 – 1352) illustre pontifikat, som købte byen af dronning Jeanne for 80.000 guldfloriner.
Den anden halvdel af det 13. århundrede var en urolig periode. Under de mange våbenhviler under Hundredårskrigen mellem Frankrig og England dannede løsrevne lejesoldater de “store kompagnier”. For egen regning plyndrede og massakrerede de landsbyerne og såede rædsel overalt, hvor de kom. Nogle kom til Avignon, tiltrukket af koncentrationen af rigdom. I 1357 og 1358 blev grevskabet Venaissin hærget, og Avignon var faretruende truet. For at undgå denne fare betalte paven en løsesum. Usikkerheden varede ved, selv med en anden betaling i 1360. I 1365 stoppede Bertrand de Guesclin, der var på vej til Spanien i spidsen for en sand hær af plyndringsmænd, i Villeneuve og krævede en uhyrlig løsesum, som Urban V betalte. Epidemierne decimerede befolkningen. Den første, i 1348-49, var den værste. Byen mistede tusindvis af mennesker til pesten. I 1361 slog den til igen, ledsaget af hungersnød.
Pave Gregor XI, tilskyndet af romerne og motiveret af uorden og oprør i de pavelige stater, vendte tilbage til Rom den 7. januar 1377 efter tre og en halv måneds udmattende rejse. Han døde der det følgende år den 27. marts 1378.
Gregor XI’s død markerede begyndelsen på endnu en urolig periode for pavedømmet. Under pres fra oprørske romere valgte kardinalerne en italiensk pave, som tog navnet Urban VI. Flere blandt dem, hovedsagelig franskmænd, anså dog valget for ugyldigt og samledes igen for at vælge en ny pave, Clemens VII, som etablerede sig i Avignon i 1379. Førstnævnte havde troskab fra det centrale og nordlige Italien, den hellige romerske kejser, Flandern og den engelske konge ; sidstnævnte fra kongeriget Napoli, Frankrig og Spanien.
Det store skisma
Den katolske kirkes opdeling i to underordnede grupper varede indtil 1409. Clemens VII’s efterfølger, Benoît XIII, ville gradvist miste sine partisaner, indtil han blev belejret i Pavepaladset af befolkningen i Avignon og forblev næsten fange i fem år. Han undslap gennem en hemmelig passage natten mellem den 11. og 12. marts 1405. Han døde i 1409, beskyttet af sin sidste tilbageværende støtte, kongen af Aragonien. Hans nevø, Rodrigo de Luna, forsvarede sig i paladset i 17 måneder. Han beordrede nedrivning af alle husene foran paladset for at forhindre sine modstandere i at snige sig ind i hans fæstning. Han dannede således den store esplanade, der i dag er kendt som “Place du Palais”.