En el último decenio del siglo XIV el rey Enrique III concede a la localidad de la Adrada el rango de villa, haciéndose independiente de Ávila; esta población, junto con Arenas y Candeleda es donada por dicho rey, en el año 1.395, al condestable Ruy López Dávalos, en recompensa a los servicios prestados a la Corona. El origen del castillo parece provenir del siglo XIV y fue levantado por orden del citado condestable, aunque se debió construir sobre otro más antiguo de origen romano si es que no hubo allí un castro celtíbero anterior. Este castillo sirvió más que para acciones guerreras, como lugar de esparcimiento de la realeza y nobleza castellana, que encontraban por estos parajes abundante caza. La posesión del castillo pasó posteriormente a manos de D. Alvaro de Luna, en tiempos del rey Juan II y tras su caída en desgracia y ejecución, entró a formar parte de los bienes de la Corona, hasta que Enrique IV lo vuelve a ceder a la nobleza en la persona de D. Beltrán de la Cueva quien lo mantiene para sí y sus sucesores con el título de marquesado en el siglo XVI. Durante el siglo XVII pasa a manos de la casa de Montijo que lo detenta hasta mediados del siglo XIX en que pasa a la de Alba. Después de sucesivas ventas, en la actualidad es propiedad municipal.
