Perde-se nas brumas do tempo e das lendas a razão pela qual foi criada uma praça-forte neste local. Esta dúvida que só a arqueologia poderá esclarecer com segurança, estaria possivelmente relacionada com a morfologia dos solos que juntamente com factores de estratégia de ordem territorial, uma vez que era necessário consolidar as recém conquistadas terras, levaram a que se fixasse um espaço defensivo e criar condições para possivelmente existentes e novas populações.

Sabe-se por Rui de Pina que em 1299 Castelo de Vide era ainda "lugar etã maís chão q forte" ainda que desde essa data seja apelidado de "Castel da Vide" e que Afonso Sanches, filho de D. Afonso III, iniciou obras de reconstrução das muralhas que foram continuadas pelo seu irmão, D. Dinis , ficando finalmente concluídas no reinado de D. Afonso IV.

Estes melhoramentos dotavam esta praça de melhores condições defensivas alargando a cintura de muralhas, abrangendo o poço inicialmente de fora protegendo a sua entrada que era feita pelo interior do burgo. Uma linha de novas muralhas englobou a cidadela e o aglomerado populacional que já se havia estabelecido fora dela. Foi construída uma importante torre de menagem, periférica e saliente relativamente aos muros, para melhor defender o lado Sul, de mais fácil acesso e ataque. Todos estes reforços no sistema defensivo são indicativos da crescente importância que Castelo de Vide representava em termos estratégicos, tendo o s seus muros experimentado as máquinas de guerra e os assédios durante os conflitos com Castela, em que o nosso país foi fértil durante a Idade Média, como na manutenção municipalidade, adquirida em 1276 quando Castelo de Vide se libertou do termo de Marvão para formar o seu próprio concelho.

Lentamente ocorre a expansão urbana fora das muralhas do castelo, ainda durante o século XIV. As condições da encosta Sul, com boa exposição solar e um declive mais suave, em detrimento das vertentes Norte e Oeste, mais escarpadas e ventosas, determinaram a expansão deste arrabalde. A fundação de várias igrejas e ermidas extramuros estabeleceram com o castelo eixos preferenciais de estruturação da paisagem. Assim aconteceu com o eixo de comunicação que desde a entrada do castelo procurou encosta abaixo a ermida de Santa Maria, fundada em 1311 no local da actual Matriz. Este eixo foi certamente uma das mais antigas vias de expansão, estabelecendo ainda a separação entre as duas vertentes da encosta e também entre o outro arrabalde onde a nascente, a fonte de água, já utilizada pelos habitantes do burgo em tempo de paz, determinou a expansão urbana para esta vertente, compensando assim, os declives mais acentuados e a exposição solar menos privilegiada. Não se sabe ao certo se um dos arrabaldes terá surgido primeiro que o outro, mas o mais provável será terem-se desenvolvido na mesma época vindo este a ser paulatinamente utilizado pelos judeus que de Castela e Aragão procuravam refúgio após a sua expulsão do reino vizinho. Muitos se terão estabelecido em Castelo de Vide por estar próxima da fronteira e da portagem de Marvão, fazendo aumentar a comunidade judaica aqui existente e certamente contribuindo para o desenvolvimento que iria caracterizar a Vila.

É possível ter uma ideia, ainda que um pouco falível, do desenvolvimento urbano que a vila apresentava até ao século XVI pelos desenhos de Duarte d' Armas, as mais antigas representações que se conhecem da vila, onde se pode verificar que no primeiro quartel do século XVI, ambas as vertentes da encosta se encontravam construídas.

A população dedicava-se à agricultura, cultivando a vinha, o linho, a oliveira, frutas e cereais e também à criação de gado. Também a indústria da moagem aqui se desenvolveu, com várias azenhas a funcionar ao longo das ribeiras de Vide e de Nisa, assim como a indústria da fiação de lã, tendo como suporte os gados que eram criados no termo da Vila. A partir dos finais do século XV, princípios do XVI, a fiação da lã adquiriu uma tal importância, que já anteriormente a D. João III (1521-1557), era um dos principais mesteres de Castelo de Vide e os seus habitantes passaram a ser apelidados de "Cardadores," Os 885 vizinhos que possuía em 1527 subiram para 1400 em 1572, e para 1600 em 1603. Na base deste surto populacional esteve o incremento da produção agrícola, da tecelagem e do comércio com Espanha.

O foral novo (D. Manuel, 1512) determina as normas sob as quais a vila deveria ser administrada. Não apenas novas leis são estabelecidas como também a administração dos espaços públicos e a organização dos respectivos limites. É neste momento que a instalação do mercado na grande praça (Rossio) foi regulamentada. Esta área, uma vez integrada no tecido urbano, cedo adquiriu o estatuto da praça principal que manteve até aos nossos dias, determinando as referências para o desenvolvimento dos novos bairros.

O sistema de ruas paralelas que cresceram na encosta de São Roque a partir dos finais do século XVI, prova com clara evidência esta relação com o "Rossio" e os sinais de um esquema preconcebido. Apesar dos frequentes conflitos com Espanha, nos princípios do século XVI, a vila não viu as suas fortificações serem ampliadas. A fortaleza medieval assegurou até bastante tarde a protecção e a defesa do território adjacente. Contudo, o conflito que se seguiu aos 80 anos de domínio espanhol (de 1580 a 1640) trouxe de novo a necessidade de novas muralhas. Os trabalhos da fortificação de Castelo de Vide fizeram parte de uma campanha global de visava a renovação da totalidade da linha de fronteira.

A guerra com Espanha durante 28 anos (de 1640 a 1668), foi tempo suficiente para a organização de uma operação efectiva conjunta do governo, do exército e com o precioso conhecimento de diversos engenheiros militares que introduziram as inovações da arte de fortificar francesa e inglesa.

1641 foi o ano do início de uma longa campanha de trabalhos em Castelo de Vide, no entanto, só após uma década decorrida a linha fortificada por bastiões começou a ter forma, repondo uma frágil barreira de paliçadas que, em muitos pontos, constituía a única forma de defesa.

A realização destes trabalhos, nos princípios do século XVIII, teve como consequência, a partir de então, uma forte restrição da expansão urbana da vila. O tecido urbano foi crescendo gradualmente preenchendo o centro com casas senhoriais que foram construídas pela aristocracia e nobreza.

Além da longa linha de muralhas abaluartadas, os trabalhos incluíram o envolvimento da antiga fortaleza medieval com uma linha de baluartes e revelins, a construção de uma outra fortaleza (1705) na colina de São Roque e a adaptação da antiga cidadela às exigências da artilharia e aos novos sistemas defensivos. De 1704 a 1708 outro conflito com Espanha infringiu diversas destruições na região. Em Castelo de Vide a fortificação serviu novamente os seus desígnios, no entanto, muitas partes ficaram bastante destruídas, em particular a torre de menagem medieval que ficou muito arruinada.

Em 1710, sendo governador da praça militar Manuel de Azevedo Fortes, uma outra linha abaluartada foi terminada com vista à protecção do Convento de São Francisco, de duas igrejas e de um pequeno bairro que ficou exterior aquando da primeira fortificação. Durante o século XVIII a vila sofreu um desenvolvimento urbanístico lento, com a maior parte das construções a tornarem-se compactas uma vez que, eram constrangidas no interior das muralhas. O número das residências e o conjunto da população atingiu o seu máximo no fim do século (1700 fogos com 7000 habitantes).

Embora não ocorram novas obras de conservação nas muralhas a partir do século XVIII, Castelo de Vide continuou até meados do século XIX com a imagem inalterada, passando por um período de declínio das industrias de tecelagem (em parte devido à criação das manufacturas em Portalegre), com as ocupações militares e consequentes destruições espanholas e francesas e a guerra civil, tendo tido um papel activo na nossa história militar, erguendo-se contra os franceses e participando nas lutas civis que avassalaram Portugal durante o século XIX

Quando, em 1823, a guarnição militar saiu definitivamente de Castelo de Vide, os baluartes e muralhas foram abandonados ou vendidos a proprietários privados. Em 1836 é suprimido o município de Póvoa e Meadas que passa a estar integrado no de Castelo de Vide.