Construção do célebre Palácio dos Papas, um palácio fortificado de colossal expansão, iniciado em 1335, sob o pontificado de Benoit XII. Na época da morte do seu sucessor, Clemente VI, o palácio estava praticamente concluído. Por toda a cidade e arredores, os cardeais tinham construído sumptuosas residências, cada uma rivalizando com a outra em magnificência e ostentação. O Petit Palais e o Livree Ceccano são belos exemplos; este último alberga agora a biblioteca municipal. A cidade, transformada, adorna-se de monumentos góticos: reconstrução, ampliação e embelezamento de igrejas, mosteiros e conventos. A população ultrapassa as agora demasiado apertadas muralhas da cidade. Em 1355, o papa decide construir novos baluartes para proteger contra a pilhagem de faixas.
O prestígio e a pompa do papado de Avignon atinge o seu auge sob o ilustre pontificado de Clemente VI (1342 – 1352 que comprou a cidade à rainha Jeanne por 80.000 florins de ouro.
A segunda metade do século XIII foi um período conturbado. Durante os numerosos tréguas durante a Guerra dos Cem Anos entre a França e a Inglaterra, mercenários desengajados formaram as “Grandes Companhias”. Por conta própria eles saquearam e massacraram as aldeias, semeando terror onde quer que fossem. Alguns vieram para Avignon, atraídos pela concentração da riqueza. Em 1357 e 1358, o condado de Venaissin foi devastado, e Avignon perigosamente ameaçado. Para evitar este perigo, o papa pagou um resgate. A insegurança persistiu, mesmo com um segundo pagamento em 1360. Em 1365, Bertrand de Guesclin, a caminho de Espanha à frente de um verdadeiro exército de despojadores, parou em Villeneuve e exigiu um exorbitante resgate, pago por Urban V. Juntamente com estas hordas, a peste atingiu a Europa. A epidemia dizimou a população. A primeira, em 1348-49, foi a pior. A cidade perdeu milhares para a peste. Em 1361, voltou a atacar, acompanhada pela fome.
O Papa Gregório XI, impelido pelos romanos e motivado pela desordem e revoltas nos Estados Pontifícios, regressou a Roma a 7 de Janeiro de 1377, depois de 3 meses e meio de uma exaustiva viagem. Morreu no ano seguinte, em 27 de março de 1378.
A morte de Gregório XI marcou o início de outro período conturbado para o papado. Sob a pressão dos revoltosos romanos, os cardeais elegeram um papa italiano, que tomou o nome de Urbano VI. Entretanto, vários entre eles, na maioria franceses, consideraram a eleição nula, e se reuniram novamente para eleger um novo papa, Clemente VII, que se estabeleceu em Avignon, em 1379. O primeiro tinha a lealdade do centro e norte da Itália, do Santo Imperador Romano, da Flandres e do rei inglês; o segundo do Reino de Nápoles, França e Espanha.
O Grande Sisma
A divisão da Igreja Católica em dois grupos subordinados durou até 1409. O sucessor de Clemente VII, Benoit XIII perderia progressivamente os seus partidários, ao ponto de se encontrar sitiado no Palácio dos Papas pelo povo de Avignon, permanecendo prisioneiro virtual durante 5 anos. Ele escapou por uma passagem secreta durante a noite de 11 – 12 de março de 1405. Morreu em 1409, protegido pelo seu último apoio remanescente, o rei de Aragão. Seu sobrinho, Rodrigo de Luna se defendeu no palácio durante 17 meses. Ele ordenou a demolição de todas as casas em frente ao palácio para evitar que seus adversários se insinuassem em sua fortaleza. Formou assim a grande esplanada conhecida hoje como “Place du Palais”.