La fortaleza fue transformada radicalmente por Inocencio III y Urbano V. Este último la eligió como su residencia de verano durante los años de su estancia en Italia: de 1367 a 1370. Durante el período del cautiverio avignonés, fue el centro de asuntos políticos de todo el Patrimonio de San Pietro in Tuscia, término utilizado para indicar la actual provincia de Viterbo. Desempeñó un papel crucial principalmente gracias al cardenal Egidio Albornoz. Hacia finales del siglo XV, Alejandro IV inició un programa de adaptación militar de las fortalezas papales, y Antonio da Sangallo el Viejo elaboró un proyecto para la renovación de la Fortaleza de Montefiascone con el fin de adaptarla a los nuevos requerimientos bélicos que habían surgido con el uso de pólvora y cañones. En los primeros años del siglo XVI, el Papa julio II ordenó la continuación de la restauración y León X encomendó entonces la dirección del edificio a Antonio da Sangallo el Joven. El inicio del declive del monumento se atribuye a Pablo III Farnese, quien trasladó los cañones de la Rocca a la Fortaleza que había erigido en Perugia y la sede del Rector del Patrimonio a Viterbo. A finales del siglo XVII, la Fortaleza fue cedida en usufructo al cardenal Barbarigo, quien tomó material de la misma para la construcción del Seminario y utilizó las estructuras supervivientes como almacén y trabajos de impresión.