Avignonin kuuluisan paavin palatsin, joka on valtava linnoitettu palatsi, rakentaminen alkoi vuonna 1335 Benoit XII:n pontifikaatin aikana. Hänen seuraajansa Klemens VI:n kuollessa palatsi oli käytännössä valmis. Kaikkialle kaupunkiin ja sen ympäristöön kardinaalit olivat rakentaneet ylellisiä residenssejä, joista kukin kilpaili toistensa kanssa komeudessa ja mahtipontisuudessa. Petit Palais ja Livree Ceccano ovat kauniita esimerkkejä; jälkimmäisessä sijaitsee nykyään kaupungin kirjasto. Muuttunut kaupunki koristelee itseään goottilaisilla muistomerkeillä: kirkkojen, luostareiden ja luostareiden jälleenrakentaminen, laajentaminen ja kaunistaminen. Väestö valtaa nyt liian ahtaat kaupunginmuurit. Vuonna 1355 paavi päättää rakentaa uudet bulevardit suojautuakseen ryöstäjäjoukoilta.
Avignonin paavinvallan arvovalta ja mahtipontisuus saavuttaa huippunsa Klemens VI:n (1342 – 1352) maineikkaan pontifikaatin aikana.Klemens VI osti kaupungin kuningattarelta Jeanne’lta 80 000 kultakolikolla.
1300-luvun jälkimmäinen puolisko oli levotonta aikaa. Ranskan ja Englannin välisen satavuotisen sodan lukuisten aselepojen aikana irtautuneet palkkasoturit muodostivat ”suuria komppanioita”. Omasta puolestaan he ryöstivät ja verilöylyttivät kyliä ja kylvivät kauhua minne tahansa menivätkin. Jotkut tulivat Avignoniin rikkauksien keskittymisen houkuttelemina. Vuosina 1357 ja 1358 Venaissinin kreivikunta tuhoutui, ja Avignon oli vaarallisesti uhattuna. Välttääkseen tämän vaaran paavi maksoi lunnaat. Turvattomuus säilyi, vaikka vuonna 1360 suoritettiin toinen maksu. Vuonna 1365 Bertrand de Guesclin, joka oli matkalla Espanjaan todellisen ryöstäjäarmeijan johdolla, pysähtyi Villeneuveen ja vaati kohtuuttomia lunnaita, jotka Urban V maksoi. Näiden laumojen mukana Eurooppaan iski rutto. Epidemiat hävittivät väestön. Ensimmäinen, vuosina 1348-49, oli pahin. Kaupunki menetti tuhansia ruttoon. Vuonna 1361 se iski uudelleen nälänhädän saattelemana.
Paavi Gregorius XI palasi Roomaan 7. tammikuuta 1377 kolmen ja puolen kuukauden uuvuttavan matkan jälkeen, roomalaisten kehottamana ja paavinvaltioiden epäjärjestyksen ja kapinoiden motivoimana. Hän kuoli siellä seuraavana vuonna 27. maaliskuuta 1378.
Gregorius XI:n kuolema merkitsi uuden levottoman kauden alkua paaviudelle. Mellakoivien roomalaisten painostuksesta kardinaalit valitsivat italialaisen paavin, joka otti nimekseen Urban VI. Useat heistä, enimmäkseen ranskalaiset, pitivät kuitenkin valintaa mitättömänä ja kokoontuivat uudelleen valitsemaan uuden paavin, Klemens VII:n, joka asettui Avignoniin vuonna 1379. Edellisellä oli Keski- ja Pohjois-Italian, Pyhän Rooman keisarin, Flanderin ja Englannin kuninkaan uskollisuus ; jälkimmäisellä Napolin kuningaskunnan, Ranskan ja Espanjan.
Suuri skisma
Katolisen kirkon jakaantuminen kahteen alaryhmään kesti vuoteen 1409. Klemens VII:n seuraaja Benoit XIII menettäisi vähitellen puoluekannattajansa siihen pisteeseen asti, että Avignonin kansa piiritti häntä paavin palatsissa ja hän jäi käytännössä vangiksi viideksi vuodeksi. Hän pakeni salakäytävää pitkin 11.-12. maaliskuuta 1405 välisenä yönä. Hän kuoli vuonna 1409 viimeisen jäljellä olevan tukijansa, Aragonian kuninkaan, suojeluksessa. Hänen veljenpoikansa Rodrigo de Luna puolustautui palatsissa 17 kuukauden ajan. Hän määräsi purettavaksi kaikki palatsin edessä olevat talot, jotta hänen vastustajansa eivät pääsisi tunkeutumaan hänen linnoitukseensa. Näin hän muodosti suuren esplanadin, joka tunnetaan nykyään nimellä ”Place du Palais”.