I secoli XV e XVI sono caratterizzati da continue dispute territoriali interne alla famiglia, concluse con l'intervento di Papa Adriano VI che confiscò il feudo. Nel 1531 i possedimenti vengono restituiti dal Papa Clemente VII, tant'è vero che nel 1546 si risolse la contesa con la comunità di Civitella d'Agliano, per il territorio di confine ancora oggi chiamato La Litigata.
Agli inizi del sec. XVII il feudo fu ereditato dalla contessa Domitilla Cesi, appartenente alla famiglia di Federico Cesi, fondatore dell'Accademia dei lincei a Roma. La contessa Domitilla portò a Graffignano la devozione a San Filippo Neri (compatrono insieme a San Martino Vescovo) ed istituì la festa della Vergine Addolorata e la relativa Compagnia dei Sette Dolori.
Alla fine del secolo XVII i territori passarono sotto la famiglia Borromeo. Eminenti personalità di questa famiglia figurano come signori del castello, fra cui lo stesso Cardinale Federico Borromeo.
Nel 1741 il feudo venne eretto a principato e venduto al principe romano Scipione Publicola di Santa Croce, che ridiede nuova vita ad un territorio lasciato da anni alla rovina.
Nel 1809 le guerre napoleoniche portarono il comune di Graffignano all'interno del Dipartimento di Roma; il riordino urbano voluto da Napoleone portò a ricomprendere nel territorio di Graffignano anche il territorio di Sipicciano con il quale formò un unico Municipio. Dalla Restaurazione fino all'annessione del Lazio a regno d'Italia, la popolazione subì un forte incremento, dovuto al fatto che il territorio comunale era in grado assorbire manodopera in vari settori agricoli e artigianali; in più, vista la posizione di confine con il nuovo regno d'Italia, era sicuro rifugio per coloro che non condividevano il nuovo assetto. Nel XX secolo ai problemi economici si sommano le tragedie di due guerre mondiali, che portano morti anche nell'ormai comune di Graffignano.