V meste sa vystriedalo veľa dynastií, čo sa podpísalo aj na mestskej architektúre. V minulosti tu vládli rôzni panovníci od Rakúska po Francúzsko. O to, že dnes je Madrid metropola sa zaslúžil Filip II., ktorý počas jeho vlády do mesta presťahoval svoj celý dvor.
V meste sa nachádzajú pozostatky starého arabského opevnenia z 10. storočia. Ako pozostatky maurskej kultúry sa zachovali tehelné veže na kostoloch San Nicolás de los Servitas a San Pedro el Viejo, ktoré pochádzajú zo stredoveku.
Neskôr architektúru v meste veľmi ovplyvnila vláda Habsburgovcov, ktorí tu vládli v 16. a 17. storočí. Najviac budov, ktoré dali vybudovať sa zachovali na námestí Plaza Mayor. Medzi najvýznamnejšie stavby, ktoré pochádzajú z tohto obdobia patria Plaza Mayor Puente de Segovia, Casa de la Villa alebo El Escorial.
Ďalej výstavbu a vzhľad budov ovplyvnil francúzsky rod Bourbonovcov v 18. a 19. storočí. V tomto období sa stavali ozdobné budovy, do ktorých patria aj Mestské múzeum, kasárne Conde Duque a Kráľovský palác.
V tomto období panovník Karol III. rozšíril Madrid o jeho zelené časti a štvrť Huertas a založil jedno z najväčších svetových múzeí Pradu.
Veľa stavieb pochádza aj z 20. storočia. Medzi tie najzaujímavejšie patrí budova pošty Correos, alebo kino Palacio de la Música. Medzi najznámejšie moderné stavby patria Puerta de Europa a biela veža Torre Picasso.
