La construction du célèbre palais des papes, palais fortifié d’une ampleur colossale, a commencé en 1335, sous le pontificat de Benoît XII. Au moment de la mort de son successeur, Clément VI, le palais était pratiquement achevé. Dans toute la ville et ses environs, les cardinaux avaient construit des résidences somptueuses, rivalisant les unes avec les autres en magnificence et en ostentation. Le Petit Palais et le Ceccano de la Livrée en sont de beaux exemples ; ce dernier abrite aujourd’hui la bibliothèque municipale. La ville, transformée, se pare de monuments gothiques : reconstruction, agrandissement et embellissement des églises, monastères et couvents. La population dépasse les murs de la ville, devenus trop étroits. En 1355, le pape décide de construire de nouveaux remparts pour se protéger des bandes de pillards.
Le prestige et le faste de la papauté avignonnaise atteint son apogée sous l’illustre pontificat de Clément VI (1342 – 1352 qui achète la ville à la reine Jeanne pour 80 000 florins d’or.
La seconde moitié du XIIIe siècle est une période troublée. Pendant les nombreuses trêves de la guerre de Cent Ans entre la France et l’Angleterre, des mercenaires désengagés formèrent les « Grandes Compagnies. » Pour leur propre compte, ils pillent et massacrent les villages, semant la terreur partout où ils passent. Certains viennent à Avignon, attirés par la concentration de richesses. En 1357 et 1358, le comté du Venaissin fut dévasté, et Avignon dangereusement menacé. Pour éviter ce danger, le pape paya une rançon. L’insécurité persiste, même avec un second paiement en 1360. En 1365, Bertrand de Guesclin, en route pour l’Espagne à la tête d’une véritable armée de spoliateurs, s’arrête à Villeneuve et exige une rançon exorbitante, payée par Urbain V. En même temps que ces hordes, la peste frappe l’Europe. Les épidémies décimèrent la population. La première, en 1348-49, est la plus grave. La ville a perdu des milliers de personnes à cause de la peste. En 1361, elle frappe à nouveau, accompagnée de la famine.
Le pape Grégoire XI, pressé par les Romains et motivé par les désordres et les révoltes dans les États pontificaux, rentre à Rome le 7 janvier 1377, après 3 mois et demi d’un voyage épuisant. Il y meurt l’année suivante, le 27 mars 1378.
La mort de Grégoire XI marque le début d’une nouvelle période troublée pour la papauté. Sous la pression des Romains en émeute, les cardinaux élisent un pape italien, qui prend le nom d’Urbain VI. Cependant, plusieurs d’entre eux, principalement des Français, considèrent cette élection comme nulle et se réunissent à nouveau pour élire un nouveau pape, Clément VII, qui s’établit à Avignon en 1379. Le premier avait l’allégeance de l’Italie centrale et septentrionale, du Saint-Empire romain germanique, des Flandres et du roi d’Angleterre ; le second du royaume de Naples, de la France et de l’Espagne.
Le Grand Schisme
La division de l’Église catholique en deux groupes subordonnés dura jusqu’en 1409. Le successeur de Clément VII, Benoît XIII va progressivement perdre ses partisans, au point de se retrouver assiégé dans le Palais des Papes par les Avignonnais, restant quasiment prisonnier pendant 5 ans. Il s’évade par un passage secret dans la nuit du 11 au 12 mars 1405. Il meurt en 1409, protégé par son dernier soutien, le roi d’Aragon. Son neveu, Rodrigo de Luna, se défendit dans le palais pendant 17 mois. Il ordonna la démolition de toutes les maisons situées devant le palais pour empêcher ses adversaires de s’insinuer dans sa forteresse. Il forma ainsi la grande esplanade connue aujourd’hui sous le nom de « Place du Palais ».