A Freguesia do Castelo é a mais antiga de Sesimbra, tendo sido a sua igreja, a matriz.
Orago é Nossa Senhora da Consolação, ou do Castelo, assim chamada porque a igreja está dentro do Castelo. Esteve na área da Ordem de Santiago.
É porto, tradicional de pesca, que foi conquistado aos mouros no tempo em que estes ali tinham um castelo.
Nos arredores situavam-se as quintas dos Duques de Palmela, do Marquês de Sesimbra e dos Condes de Sampaio, entre outros.
Assim, e de acordo com estes fatos históricos, foram organizados os simbolos heráldicos que da seguinte forma ordenam o nosso brasão:
Escudo em prata, onde foi inserido o Castelo de Vermelho, frestado, aberto e lavrado a negro. É "falante" quanto ao nome do orago e representa o timbre dos Duques de Palmela e do Marquês de Sesimbra. É de vermelho pela cor moderna da Ordem de Santiago.
Escudete em amêndoa, azul, colocado em chefe, besantado de parata entre dois miguantes de verde, em posição de simbolizar a vitória de D. Afonso Henriques sobre os mouros, em 1165.
Em ponta, dois Anzóis de negro, passados em aspa, para simbolizar este famoso e secular porto de pesca.
Brocante aos anzóis, uma Maceta de Pedreiro, de azul, posta em pala, a representar a atividade de cantarias, atividade esta, também secular na nossa freguesia.
Coroa mural de prata de três torres e listel, com legenda a negro, em maiúsculas:
"CASTELO-SESIMBRA"
