А в конце XV века пришла семья, перед которой не устояли ни Каэтани, ни их деньги, ни их стены.
Александр VI отлучил Каэтани от церкви папской буллой и конфисковал все их владения. Сермонета и замок были переданы его детям: Чезаре и Лукреции. Чезаре усилил укрепления с помощью Антонио да Сангалло, построил новые бастионы, ров, подъёмные мосты. Последний этаж башни Маскио и церковь Сан-Пьетро ин Корте были снесены без всякого уважения к погребённым там Каэтани. Какое-то время здесь жила и Лукреция Борджиа.
После смерти Александра VI папа Юлий II подтвердил права Каэтани на Сермонету, и замок вернулся к прежним владельцам. Но след Борджа остался и в архитектуре, и в том особом привкусе тёмной истории, который чувствуется, когда стоишь на площади и смотришь на стены.