Até finais da Idade Média a costa ocidental portuguesa era entrecortada de múltiplos braços de mar ou esteiros, que permitiam chegar de barco a muitas povoações que hoje se encontram relativamente afastadas do mar. Esses esteiros, bastante profundos e largos em épocas pré-históricas, foram diminuindo progressivamente até aos séculos XIV-XV da nossa era, altura em que o seu total assoreamento os transformou em vales arenosos, apenas sulcados por pequenos ribeiros. Foi esse o caso do Vale de Colares, navegável durante a primeira dinastia aproximadamente até ao Banzão e durante a época muçulmana talvez um pouco mais a montante, ou seja, ate à base das colinas que deram o nome à povoação: Colares.

Pode-se pois afirmar, sem margem para grandes dúvidas, que durante a época muçulmana Colares funcionava como o porto de Sintra. Pertencente ao termo desta última vila, que a dada altura e nessa mesma época parece ter-se autonomizado relativamente a Lisboa, Colares deve ter atingido significativa importância, não só pelas suas riquezas próprias -nomeadamente ligadas à fruticultura e, então, também decerto a uma intensa atividade piscatória e portuária-, mas também como local de escoamento dos produtos oriundos do Termo de Sintra.

Textos árabes referem que Sintra possuía dois castelos de extrema solidez. Normalmente interpreta-se esta notícia como referente, quer à grande atalaia que coroa alguns dos mais elevados cumes da Serra e que defendia toda a região -o “Castelo dos Mouros”-, quer às muralhas e torres que envolviam a própria vila de Sintra, cujos vestígios são patentes ainda nos desenhos que Duarte D’Armas fez em 1507.