Fortaleza rural da segunda metade do século XII e primeiras décadas do século XIII, paradigma da arquitetura militar de taipa em Portugal do período islâmico.

No pequeno recinto, de forma irregularmente trapezoidal, existiu uma alcaria envolvida por uma robusta muralha. A porta de acesso é protegida por uma torre albarrã. O espaço urbanizado, de traçado ortogonal, foi totalmente planificado de raiz, com ruas estreitas percorridas por um sistema de esgotos que conduzia as águas residuais e pluviais para o exterior da muralha. Os quarteirões são constituídos por habitações de pátio central.

Após a conquista cristã, em 1248, por D. Paio Peres Correia, os novos ocupantes adaptaram ou alteraram o modelo urbanístico inicial. No interior, entre ruínas de vivendas, duas cisternas testemunham os dois principais períodos de ocupação do castelo: o islâmico e o cristão. Junto à porta, localiza-se a arruinada Ermida de Nossa Senhora da Assunção. O êxodo da população do local, para a atual aldeia de Paderne, ocorreu no século XVI, mas continuaram a realizar-se romarias até ao século XIX.

É um dos sete castelos representados na bandeira de Portugal.