La construcción del célebre Palacio de los Papas, un palacio fortificado de una extensión colosal, comenzó en 1335, bajo el pontificado de Benoit XII. A la muerte de su sucesor, Clemente VI, el palacio estaba prácticamente terminado. Por toda la ciudad y sus alrededores, los cardenales habían construido suntuosas residencias, cada una de las cuales rivalizaba con la otra en magnificencia y ostentación. El Petit Palais y el Ceccano de Livree son bellos ejemplos; este último alberga ahora la biblioteca municipal. La ciudad, transformada, se adorna con monumentos góticos: reconstrucción, ampliación y embellecimiento de iglesias, monasterios y conventos. La población desborda las murallas, ahora demasiado estrechas. En 1355, el papa decide construir nuevos baluartes para protegerse de las bandas de saqueadores.
El prestigio y la pompa del papado de Aviñón alcanzan su punto álgido bajo el ilustre pontificado de Clemente VI (1342 – 1352 que compró la ciudad a la reina Juana por 80.000 florines de oro.
La segunda mitad del siglo XIII fue un periodo agitado. Durante las numerosas treguas de la Guerra de los Cien Años entre Francia e Inglaterra los mercenarios desvinculados formaron las «Grandes Compañías». Por su cuenta, saquearon y masacraron los pueblos, sembrando el terror allá donde iban. Algunos llegaron a Aviñón, atraídos por la concentración de riquezas. En 1357 y 1358, el condado de Venaissin fue devastado, y Aviñón amenazado peligrosamente. Para evitar este peligro, el Papa pagó un rescate. La inseguridad persiste, incluso con un segundo pago en 1360. En 1365, Bertrand de Guesclin, que se dirigía a España al frente de un verdadero ejército de expoliadores, se detuvo en Villeneuve y exigió un rescate exorbitante, pagado por Urbano V. Junto a estas hordas, la peste azotó Europa. Las epidemias diezmaron la población. La primera, en 1348-49, fue la peor. La ciudad perdió miles de personas a causa de la peste. En 1361, volvió a golpear, acompañada del hambre.
El Papa Gregorio XI, urgido por los romanos y motivado por el desorden y las revueltas en los estados pontificios, regresó a Roma el 7 de enero de 1377, después de 3 meses y medio de un viaje agotador. Murió allí al año siguiente, el 27 de marzo de 1378.
La muerte de Gregorio XI marcó el comienzo de otro período problemático para el papado. Bajo la presión de los romanos amotinados, los cardenales eligieron a un papa italiano, que tomó el nombre de Urbano VI. Sin embargo, varios de ellos, en su mayoría franceses, consideraron nula la elección y volvieron a reunirse para elegir un nuevo papa, Clemente VII, que se estableció en Aviñón en 1379. El primero contaba con la lealtad de Italia central y septentrional, el emperador del Sacro Imperio Romano Germánico, Flandes y el rey inglés; el segundo con la del Reino de Nápoles, Francia y España.
El Gran Cisma
La división de la Iglesia católica en dos grupos subordinados duró hasta 1409. El sucesor de Clemente VII, Benito XIII perdería progresivamente a sus partidarios, hasta el punto de encontrarse asediado en el Palacio de los Papas por el pueblo de Aviñón, permaneciendo prácticamente prisionero durante 5 años. Escapó por un pasadizo secreto durante la noche del 11 al 12 de marzo de 1405. Murió en 1409, protegido por su último apoyo, el rey de Aragón. Su sobrino, Rodrigo de Luna se defendió en el palacio durante 17 meses. Ordenó la demolición de todas las casas frente al palacio para evitar que sus adversarios se insinuaran en su fortaleza. Así formó la gran explanada conocida hoy en día como la «Place du Palais».