巨大な広がりを持つ要塞化された有名な教皇庁の建設は、ブノワ12世の時代、1335年に始まった。 その後継者クレメンス6世が亡くなったとき、宮殿は実質的に完成していた。 枢機卿たちは市内とその近郊の至る所に豪華な邸宅を建設し、それぞれが他の邸宅に匹敵するほどの壮大さと華麗さを誇っていた。 小宮殿とリヴリー・セカノはその美しい例で、後者には現在、市立図書館が入っている。 教会、修道院、修道院の再建、拡大、装飾が行われ、街はゴシック様式のモニュメントで飾られるようになった。 その結果、人口が増えすぎて、城壁が手狭になった。 1355年、教皇は略奪から守るために新しい防壁の建設を決定した。
アヴィニョン教皇庁の威光と華やかさは、ジャンヌ女王から8万ゴールドフロリンで街を買い取ったクレメント6世（1342-1352）の輝かしい教皇権の時代にピークに達する。 フランスとイギリスの間の百年戦争で何度も休戦した間、離反した傭兵たちが「大企業」を形成した。 彼らは自分たちの利益のために、村々を略奪し、虐殺し、行く先々で恐怖の種をまいた。 富の集中するアヴィニョンに惹かれてやってきた者もいた。 1357年と1358年、ヴェネッサン郡は荒廃し、アヴィニョンも危険にさらされた。 この危機を回避するために、教皇は身代金を支払った。 1360年に2度目の身代金が支払われたが、不安は解消されなかった。 1365年、ベルトラン・ド・ゲスクランがスペインに向かう途中、ヴィルヌーヴに立ち寄り、法外な身代金を要求し、ウルバン5世が支払った。この大軍とともに、ペストがヨーロッパを襲った。 ペストの大流行により、人々は壊滅的な打撃を受けた。 最初の、1348年から49年にかけての流行は最悪であった。 ペストで数千人が亡くなった。 1361年、ペストは飢饉を伴って再び襲った。
ローマ人に促され、教皇領内の混乱と反乱に突き動かされた教皇グレゴリウス11世は、3ヵ月半の疲弊した旅を経て1377年1月7日にローマへ帰還した。 5899>
グレゴリウス11世の死は、教皇庁にとって再び困難な時代の始まりとなった。 暴動を起こしたローマ人の圧力により、枢機卿たちはイタリア人の教皇を選出し、ウルバン6世と名乗った。 しかし、フランス人を中心とする数人の枢機卿は、この選出を無効とし、1379年にアヴィニョンに居を構えたクレメンス7世を新たに選出するために再集結した。 前者は中央・北イタリア、神聖ローマ皇帝、フランドル、イギリス王から、後者はナポリ王国、フランス、スペインから忠誠を誓われた。 クレメンス7世の後継者ブノワ13世は、次第に教派を失い、アヴィニョンの人々に教皇宮殿を包囲され、5年間事実上の囚人となった。 1405年3月11日から12日にかけての夜、秘密の通路を通り脱出した。 1409年、最後の砦であったアラゴン国王に守られながら死去。 甥のロドリゴ・デ・ルナは、17ヶ月間宮殿で身を守り続けた。 彼は、敵が自分の砦に侵入するのを防ぐために、宮殿の前の家々をすべて取り壊すよう命じた。 こうして、今日「パレ広場」として知られる大エスプラネードが形成された
。