Bygget av det berömda påvepalatset, ett befäst palats med kolossal utbredning, påbörjades 1335, under Benoit XII:s pontifikat. När hans efterträdare, Clemens VI, dog var palatset praktiskt taget färdigt. Överallt i staden och dess omgivningar hade kardinalerna byggt överdådiga residens, som var och en konkurrerade med den andra i storslagenhet och prakt. Petit Palais och Livree Ceccano är vackra exempel; det sistnämnda inrymmer nu det kommunala biblioteket. Staden har förvandlats och pryds av gotiska monument: återuppbyggnad, utvidgning och utsmyckning av kyrkor, kloster och konvent. Befolkningen översköljer de numera alltför snäva stadsmurarna. År 1355 beslutade påven att bygga nya bålverk för att skydda sig mot plundringsband.
Prestigen och prakten i Avignon når sin höjdpunkt under Clemens VI:s illustra pontifikat (1342 – 1352) som köpte staden av drottning Jeanne för 80 000 guldfloriner.
Den andra halvan av 1200-talet var en orolig period. Under de många vapenvilorna under hundraårskriget mellan Frankrike och England bildade avkopplade legosoldater de ”stora kompanierna”. För egen räkning plundrade och massakrerade de byarna och sådde skräck vart de än gick. En del kom till Avignon, lockade av koncentrationen av rikedomar. År 1357 och 1358 ödelades grevskapet Venaissin och Avignon hotades farligt. För att undvika denna fara betalade påven en lösensumma. Osäkerheten kvarstod, även med en andra betalning 1360. År 1365 stannade Bertrand de Guesclin, som var på väg till Spanien i spetsen för en riktig armé av plundrare, i Villeneuve och krävde en orimlig lösensumma, som Urban V betalade. Epidemierna decimerade befolkningen. Den första, 1348-49, var den värsta. Staden förlorade tusentals människor i pesten. År 1361 slog den till igen, åtföljd av svält.
Påven Gregorius XI, uppmanad av romarna och motiverad av oordningen och revolterna i de påvliga staterna, återvände till Rom den 7 januari 1377, efter tre och en halv månads utmattande resa. Han dog där året därpå den 27 mars 1378.
Gregorius XI:s död markerade början på ytterligare en orolig period för påvedömet. Under trycket från upproriska romare valde kardinalerna en italiensk påve, som tog namnet Urban VI. Flera bland dem, främst fransmän, ansåg dock att valet var ogiltigt och samlades på nytt för att välja en ny påve, Clemens VII, som etablerade sig i Avignon 1379. Den förstnämnde hade lojalitet från centrala och norra Italien, den heliga romerska kejsaren, Flandern och den engelske kungen ; den sistnämnde från kungariket Neapel, Frankrike och Spanien.
Den stora schismen
Den katolska kyrkans uppdelning i två underordnade grupper varade fram till 1409. Clemens VII:s efterträdare, Benoît XIII, skulle successivt förlora sina partisaner, till den grad att han fann sig belägrad i påvepalatset av folket i Avignon och förblev en virtuell fånge i fem år. Han flydde genom en hemlig passage under natten mellan den 11 och 12 mars 1405. Han dog 1409, skyddad av sitt sista stöd, kungen av Aragonien. Hans brorson Rodrigo de Luna försvarade sig i palatset i 17 månader. Han beordrade att alla hus framför palatset skulle rivas för att hindra sina motståndare från att tränga sig in i hans fäste. På så sätt bildade han den stora esplanaden som idag är känd som ”Place du Palais”.