Budowa słynnego Pałacu Papieży, ufortyfikowanego pałacu o kolosalnej rozpiętości, rozpoczęła się w 1335 r., za pontyfikatu Benoit XII. W chwili śmierci jego następcy, Klemensa VI, pałac był już praktycznie ukończony. W całym mieście i jego okolicach kardynałowie wybudowali wystawne rezydencje, z których każda dorównywała drugiej pod względem przepychu i ostentacji. Pięknymi przykładami są Petit Palais i Livree Ceccano; w tym drugim mieści się obecnie biblioteka miejska. Miasto, przekształcone, ozdabia się gotyckimi zabytkami: odbudową, powiększaniem i upiększaniem kościołów, klasztorów i konwentów. Ludność przekracza zbyt ciasne już mury miejskie. W 1355 r. papież podejmuje decyzję o budowie nowych obwarowań, które mają chronić przed grasującymi bandami.
Prestiż i przepych papiestwa w Awinionie osiąga swój szczyt za znakomitego pontyfikatu Klemensa VI (1342 – 1352, który kupił miasto od królowej Jeanne za 80 000 złotych florenów.
Druga połowa XIII wieku była okresem niespokojnym. Podczas licznych rozejmów w czasie wojny stuletniej między Francją a Anglią odłączeni najemnicy tworzyli „Wielkie Kompanie”. Na własny rachunek plądrowali i masakrowali wioski, siejąc terror gdziekolwiek się udali. Niektórzy z nich przybyli do Awinionu, zwabieni koncentracją bogactwa. W latach 1357 i 1358 hrabstwo Venaissin zostało spustoszone, a Awinionowi zagrażało niebezpieczeństwo. Aby uniknąć tego niebezpieczeństwa, papież zapłacił okup. Niepewność utrzymywała się nawet po drugiej wypłacie w 1360 roku. W 1365 r. Bertrand de Guesclin, w drodze do Hiszpanii na czele prawdziwej armii grabieżców, zatrzymał się w Villeneuve i zażądał wygórowanego okupu, który zapłacił Urban V. Wraz z tymi hordami Europę nawiedziła dżuma. Epidemie dziesiątkowały ludność. Pierwsza, w latach 1348-49, była najgorsza. Miasto straciło tysiące ludzi w wyniku zarazy. W 1361 r. uderzyła ponownie, czemu towarzyszył głód.
Papież Grzegorz XI, ponaglany przez Rzymian i motywowany nieporządkiem i buntami w państwach papieskich, powrócił do Rzymu 7 stycznia 1377 r., po 3 i pół miesiąca wyczerpującej podróży. Zmarł tam w następnym roku 27 marca 1378 r.
Śmierć Grzegorza XI zapoczątkowała kolejny niespokojny okres dla papiestwa. Pod naciskiem rozruchów Rzymian kardynałowie wybrali papieża Włocha, który przyjął imię Urban VI. Jednak kilku z nich, głównie Francuzów, uznało ten wybór za nieważny i zebrało się ponownie, by wybrać nowego papieża, Klemensa VII, który w 1379 r. osiadł w Awinionie. Pierwszy z nich miał wierność środkowych i północnych Włoch, Świętego Cesarza Rzymskiego, Flandrii i króla angielskiego; drugi Królestwa Neapolu, Francji i Hiszpanii.
Wielka Schizma
Podział Kościoła katolickiego na dwie podległe sobie grupy trwał do 1409 roku. Następca Klemensa VII, Benoit XIII stopniowo tracił swoich zwolenników, do tego stopnia, że został oblężony w Pałacu Papieży przez mieszkańców Awinionu, pozostając wirtualnym więźniem przez 5 lat. Uciekł tajnym przejściem w nocy z 11 na 12 marca 1405 r. Zmarł w 1409 r., chroniony przez swojego ostatniego zwolennika, króla Aragonii. Jego bratanek, Rodrigo de Luna bronił się w pałacu przez 17 miesięcy. Rozkazał zburzyć wszystkie domy przed pałacem, aby uniemożliwić swoim przeciwnikom wtargnięcie do jego twierdzy. W ten sposób powstała wielka esplanada znana dziś jako „Place du Palais”.