Met de bouw van het beroemde Pausenpaleis, een versterkte paleis van kolossale afmetingen, werd begonnen in 1335, onder het pontificaat van Benoît XII. Ten tijde van de dood van zijn opvolger, Clemens VI, was het paleis praktisch voltooid. Overal in de stad en in de omgeving hadden de kardinalen luxueuze residenties gebouwd, de een met de ander wedijverend in pracht en praal. Het Petit Palais en het Livree Ceccano zijn prachtige voorbeelden; in het laatste is nu de stadsbibliotheek ondergebracht. De stad, getransformeerd, tooit zich met gotische monumenten : wederopbouw, vergroting en verfraaiing van kerken, kloosters en conventen. De bevolking overschrijdt de nu te krappe stadsmuren. In 1355 besluit de paus tot de bouw van nieuwe bolwerken ter bescherming tegen plunderende bendes.
Het prestige en de pracht van het pausdom van Avignon bereiken hun hoogtepunt onder het roemruchte pontificaat van Clemens VI (1342 – 1352 die de stad voor 80.000 gouden florijnen van koningin Jeanne koopt.
De tweede helft van de 13e eeuw is een roerige periode. Tijdens de talrijke wapenstilstanden tijdens de Honderdjarige Oorlog tussen Frankrijk en Engeland vormden losgeslagen huurlingen de “Grote Compagnieën”. Voor hun eigen rekening plunderden en slachtten zij dorpen af en zaaiden terreur waar zij ook kwamen. Sommigen kwamen naar Avignon, aangetrokken door de concentratie van rijkdom. In 1357 en 1358 werd het graafschap Venaissin verwoest en Avignon gevaarlijk bedreigd. Om dit gevaar te vermijden, betaalde de paus een losgeld. De onveiligheid duurde voort, zelfs met een tweede betaling in 1360. In 1365 stopte Bertrand de Guesclin, op weg naar Spanje aan het hoofd van een waar leger plunderaars, in Villeneuve en eiste een exorbitant losgeld, betaald door Urbanus V. Samen met deze horden trof de Pest Europa. De epidemieën decimeerden de bevolking. De eerste, in 1348-49 was de ergste. De stad verloor duizenden aan de pest. In 1361 sloeg zij opnieuw toe, vergezeld van hongersnood.
De paus Gregorius XI keerde, aangespoord door de Romeinen en gemotiveerd door de wanorde en opstanden in de pontificale staten, op 7 januari 1377 naar Rome terug, na een uitputtende reis van 3 en een halve maand. Hij stierf daar het volgende jaar op 27 maart 1378.
De dood van Gregorius XI markeerde het begin van een nieuwe onrustige periode voor het pausdom. Onder druk van oproerige Romeinen kozen de kardinalen een Italiaanse paus, die Urbanus VI werd genoemd. Een aantal van hen, voornamelijk Fransen, beschouwden de verkiezing echter als ongeldig en kwamen opnieuw bijeen om een nieuwe paus te kiezen, Clemens VII, die zich in 1379 in Avignon vestigde. De eerste had de trouw van Midden- en Noord-Italië, de Heilige Roomse Keizer, Vlaanderen en de Engelse koning; de laatste van het Koninkrijk Napels, Frankrijk en Spanje.
Het Grote Schisma
De verdeling van de Katholieke Kerk in twee ondergeschikte groepen duurde tot 1409. De opvolger van Clemens VII, Benoît XIII, verloor geleidelijk zijn aanhangers, tot hij in het pausenpaleis werd belegerd door de bevolking van Avignon, die hem vijf jaar lang gevangen hield. Hij ontsnapte door een geheime gang in de nacht van 11 op 12 maart 1405. Hij stierf in 1409, beschermd door zijn laatste overgebleven steun, de koning van Aragon. Zijn neef, Rodrigo de Luna, verdedigde zich 17 maanden lang in het paleis. Hij gaf opdracht alle huizen voor het paleis af te breken om te voorkomen dat zijn tegenstanders zich in zijn bolwerk zouden binnendringen. Zo vormde hij de grote esplanade die tegenwoordig bekend staat als het “Place du Palais”.