Única construção do tipo na América Latina foi construída em 1551, na Bahia
Em 1551, enquanto a Idade Média européia se aproximava do fim, um colonizador português de cerca de 30 anos de idade construiu uma residência a 70 quilômetros de Salvador. Em um lugar alto, com boas pastagens, ele reuniu algumas vacas e dezenas de escravos da Guiné e construiu sua “Torre de São Pedro de Rates”, composta por uma torre e uma capela em estilo medieval e coberta por arcos diagonais inspirados no Paço de Sintra, de Portugal. Nos anos seguintes, Garcia d’Ávila começou as primeiras viagens de exploração pelo interior do Nordeste brasileiro.
Em 1624, seu filho, Francisco Dias de Ávila, concluiu a construção de um castelo de pedra no entorno da obra do pai. O lugar ficou conhecido por dois nomes, Castelo Garcia D’Ávila e Casa da Torre. Pelos 200 anos seguintes, o primeiro forte do Brasil e a única construção de estilo medieval da América Latina seria a sede de uma das famílias mais ricas e poderosas do país. Seus baluartes, protegidos por muralhas de pedra e cal, garantiram a segurança do clã, que era constantemente atacado por índios que se movimentavam por terra e por corsários que agiam por mar.
Os D’Ávila existiram por dez gerações. Em 1853, com a morte do último senhor da Casa da Torre, Antônio Joaquim Pires de Carvalho, começou um processo de abandono do antigo complexo residencial e militar. Foi só em 1938 que o castelo foi tombado pela Secretaria do Patrimônio Histórico e Artístico Nacional. Hoje o local é mantido por uma fundação e as ruínas são um dos pontos turísticos mais importantes da praia do Forte, uma antiga vila de pescadores muito procurada pelos estrangeiros que visitam a Bahia.