Non tutti sanno che le sue imponenti torri furono costruite in tre epoche differenti. La Torre dell’Ulivo risalente all’XI secolo, rappresenta il primo nucleo del futuro castello. La Torre Aragonese, fu edificata nel XV secolo, mentre de due Torri De Riseis risalgono al settecento e recano lo stemma di famiglia del 1789. Il castello fu danneggiato dai bombardamenti del 1943, ma conserva intatto il letto a baldacchino dei Duchi Bovino.