Muzeum powstało w 1936 roku jako Muzeum Dawnej Warszawy, oddział Muzeum Narodowego. Placówka objęła opieką zbiory varsavianistyczne, a jej siedzibą stały się zakupione przez magistrat w latach 1937 - 1938 trzy kamienice przy Rynku Starego Miasta: Baryczkowska, Kleinpoldowska i „Pod Murzynkiem” (nr 32, 34, 36).

Idea zabezpieczania świadectw przeszłości Warszawy narodziła się w końcu XVIII w., za czasów króla Stanisława Augusta. W XIX w. zajmowały się tym: Towarzystwo Przyjaciół Nauk, Uniwersytet Warszawski, Ratusz, Towarzystwo Zachęty Sztuk Pięknych, Państwowe Muzeum Sztuk Pięknych oraz Muzeum Starożytności. Od 1906 r. ośrodkami skupiającymi varsaviana były: Towarzystwo Miłośników Historii oraz Towarzystwo Opieki nad Zabytkami Przeszłości. W 1914 r. TOnZP założyło w kamienicy Baryczkowskiej „muzeum starożytności polskich”. Z czasem większość varsavianów, zgromadzonych dotąd przez różne instytucje, trafiła do zbiorów Muzeum Narodowego.

Wybuch II wojny światowej w 1939 r. przerwał przenoszenie zbiorów z gmachu Muzeum Narodowego przy Alejach Jerozolimskich do zakupionych w latach 1937-1938 kamienic staromiejskich. W 1941 r. został aresztowany kustosz Muzeum Dawnej Warszawy dr Antoni Wieczorkiewicz, który zmarł wkrótce w Oświęcimiu. Zbiory ulokowane przy Rynku Starego Miasta uległy zniszczeniu i rozproszeniu w 1944 roku. Przepadły wówczas inwentarze i katalogi, więc trudno dokładnie określić rozmiar strat.

Po wojnie decyzją Zarządu Miejskiego muzeum zostało reaktywowane w 1948 roku pod nazwą Muzeum Historyczne m. st. Warszawy. Zajęło jedenaście odbudowywanych wówczas staromiejskich kamienic mieszczańskich: osiem od strony Rynku Starego Miasta i trzy od strony ulicy Nowomiejskiej. Rekonstrukcję kamienic przeznaczonych na siedzibę muzeum przeprowadzono na podstawie projektów Stanisława Żaryna.

Na skutek zniszczeń wojennych zbiory przedstawiały się skromnie. W 1950 roku w inwentarzu znajdowało się zaledwie 169 pozycji. Trzon kolekcji muzealnej stanowiły obiekty przekazane przez Muzeum Narodowe - na własność lub jako depozyt. Do muzeum trafiały znaleziska z ruin i ocalone rodzinne pamiątki.

W 1955 roku zwiedzającym została udostępniona stała ekspozycja muzealna, prezentująca dzieje stolicy od założenia miasta do czasów współczesnych. Wystawa ta po raz pierwszy w Polsce w tak dużej skali ukazywała historię miasta. W styczniu 1965 r. otwarto kolejną wersję tej ekspozycji p. t. „Siedem wieków Warszawy”. W następnych latach niektóre jej fragmenty były unowocześniane.

Z czasem zbiory muzeum bogaciły się dzięki planowym zakupom, darowiznom i zapisom spadkowym. Do inwentarzy MHW wpisano m. in. cenne kolekcje autorskie Eugeniusza Phulla, dr Ludwika Gocla, generała Juliusza Rómmla, Krzysztofa Klingera, rodziny Schiele. Obecnie w księgach inwentarzowych znajduje się ponad 250 tysięcy obiektów.

Pierwszym po wojnie dyrektorem muzeum został Adam Słomczyński, który pełnił tę funkcję w latach: 1948-1950. Po nim, w 1950 roku, stanowisko na krótko objął prof. dr Stanisław Arnold. Od 1951 aż do 2003 r. dyrektorem był prof. dr Janusz Durko - historyk, muzeolog, archiwista, laureat nagrody m. st Warszawy; wyróżniony tytułem Homo Varsoviensis. Obecnie, od 2004 roku, dyrektorem jest Joanna Bojarska-Syrek .

Dzisiaj Muzeum Historyczne m.st. Warszawy, oprócz siedziby w staromiejskich kamieniczkach, posiada także swoje oddziały: Muzeum Drukarstwa Warszawskiego, Muzeum Farmacji im. Antoniny Leśniewskiej, Muzeum Woli, Muzeum – Miejsce Pamięci Palmiry, Ośrodek Dokumentacji i Badań KORCZAKIANUM, Muzeum Warszawskie Pragi (w organizacji), Muzeum Ordynariatu Polowego.

Muzeum prowadzi rozbudowaną działalność naukowo-wydawniczą i wystawienniczą, dysponuje własnymi pracowniami konserwatorskimi, proponuje szeroką ofertę edukacyjną oraz popularyzatorską. W muzeum działa kino, organizujące seanse filmów o Warszawie, a także biblioteka, specjalizująca się w varsavianach.