El Castillo de Chilham ha pasado por las manos de varias familias y personajes ilustres desde su origen en la Edad Media. A continuación, se presentan los propietarios más destacados.
1. Herbert de Chilham
Se considera que Herbert de Chilham fue el primer titular del castillo. Su nombre aparece en el Domesday Book de 1086 como arrendatario‑principal de Chilham.
2. La familia Dering
Los Dering adquirieron la residencia en el siglo XIV y la mantuvieron durante más de tres siglos. Bajo su mando se llevaron a cabo importantes reformas y ampliaciones.
3. Sir Anthony Mildmay
En el siglo XVII el castillo pasó a manos de Sir Anthony Mildmay, político y miembro del Parlamento durante el reinado de Carlos I.
4. La familia Wildman
Durante el siglo XVIII los Wildman, conocidos por su participación en la milicia y la política, se convirtieron en los propietarios.
5. James Wildman, vizconde de Chilham
En el siglo XIX James Wildman, vizconde de Chilham, heredó la propiedad. Fue oficial del ejército británico y ayudante de campo de la Reina Victoria.
6. La familia Powell
En el siglo XX los Powell, familia adinerada, compraron el castillo y financiaron importantes trabajos de restauración y conservación.
7. Stratford Place Charitable Trust
Desde 2012 el Castillo de Chilham pertenece al Stratford Place Charitable Trust, una organización sin ánimo de lucro dedicada a la preservación del patrimonio histórico y a la educación. Actualmente abre sus puertas al público como atracción turística y espacio para eventos.