Der Bau des berühmten Papstpalastes, eines befestigten Palastes von kolossaler Ausdehnung, begann 1335 unter dem Pontifikat von Benoit XII. Zum Zeitpunkt des Todes seines Nachfolgers Clemens VI. war der Palast praktisch fertiggestellt. Überall in der Stadt und im Umland hatten die Kardinäle prächtige Residenzen errichtet, die sich in Pracht und Prunk gegenseitig übertrafen. Das Petit Palais und das Livree Ceccano sind schöne Beispiele dafür; letzteres beherbergt heute die Stadtbibliothek. Die Stadt wird umgestaltet und schmückt sich mit gotischen Bauwerken: Wiederaufbau, Vergrößerung und Verschönerung von Kirchen, Klöstern und Konventen. Die Bevölkerung überwuchert die nun zu engen Stadtmauern. 1355 beschließt der Papst den Bau neuer Bollwerke zum Schutz vor plündernden Banden.
Das Prestige und der Prunk des Papsttums von Avignon erreichen ihren Höhepunkt unter dem glanzvollen Pontifikat von Clemens VI. (1342 – 1352), der die Stadt von Königin Jeanne für 80.000 Goldgulden kauft.
Die zweite Hälfte des 13. Jahrhunderts war eine unruhige Zeit. Während der zahlreichen Waffenstillstände im Hundertjährigen Krieg zwischen Frankreich und England bildeten unfreiwillige Söldner die „Großen Kompanien“. Auf eigene Rechnung plünderten und massakrierten sie die Dörfer und verbreiteten Angst und Schrecken, wo immer sie hinkamen. Einige kamen nach Avignon, angezogen von der Konzentration des Reichtums. In den Jahren 1357 und 1358 wurde die Grafschaft Venaissin verwüstet, und Avignon war gefährlich bedroht. Um diese Gefahr abzuwenden, zahlte der Papst ein Lösegeld. Die Unsicherheit blieb bestehen, auch nach einer zweiten Zahlung im Jahr 1360. Im Jahr 1365 machte Bertrand de Guesclin auf dem Weg nach Spanien an der Spitze eines wahren Heeres von Plünderern in Villeneuve Halt und verlangte ein exorbitantes Lösegeld, das von Urban V. gezahlt wurde. Die Epidemien dezimieren die Bevölkerung. Die erste, 1348-49, war die schlimmste. Die Stadt verlor Tausende durch die Pest. Im Jahr 1361 schlug sie erneut zu, begleitet von einer Hungersnot.
Papst Gregor XI. kehrte auf Drängen der Römer und motiviert durch die Unruhen und Aufstände in den Kirchenstaaten am 7. Januar 1377 nach einer dreieinhalbmonatigen, anstrengenden Reise nach Rom zurück. Dort starb er im folgenden Jahr am 27. März 1378.
Der Tod Gregors XI. markierte den Beginn einer weiteren unruhigen Periode für das Papsttum. Unter dem Druck der randalierenden Römer wählten die Kardinäle einen italienischen Papst, der den Namen Urban VI. annahm. Einige von ihnen, vor allem Franzosen, hielten die Wahl jedoch für ungültig und traten erneut zusammen, um einen neuen Papst zu wählen, Clemens VII, der sich 1379 in Avignon niederließ. Ersterer hatte die Loyalität von Mittel- und Norditalien, des Heiligen Römischen Kaisers, Flanderns und des englischen Königs; letzterer die des Königreichs Neapel, Frankreichs und Spaniens.
Das Große Schisma
Die Spaltung der katholischen Kirche in zwei untergeordnete Gruppen dauerte bis 1409. Der Nachfolger Clemens‘ VII., Benoît XIII. verlor nach und nach seine Parteigänger, bis er schließlich im Papstpalast von Avignon von den Bürgern belagert wurde und fünf Jahre lang praktisch gefangen blieb. In der Nacht vom 11. auf den 12. März 1405 entkam er durch einen Geheimgang. Er starb 1409, beschützt von seinem letzten verbliebenen Unterstützer, dem König von Aragonien. Sein Neffe, Rodrigo de Luna, verteidigte sich 17 Monate lang im Palast. Er ordnete den Abriss aller Häuser vor dem Palast an, um zu verhindern, dass seine Widersacher in seine Festung eindringen konnten. So schuf er die große Esplanade, die heute als „Place du Palais“ bekannt ist.