Kostel sv. Martina byl postaven v letech 1178-1187 v původní osadě Újezd, která byla později podle zasvěcení kostela nazývána Újezdem sv. Martina. Při stavbě staroměstských hradeb před polovinou 13. století byl Újezd rozdělen na dvě části. Větší část zůstala vně městských hradeb na území pozdějšího Nového Města, menší část i s kostelem byla pojata do Starého Města. A protože hradební zeď šla těsně kolem kostela, ocitl se kostel "ve zdi" a od té doby má tento kuriózní název.
Původní románský kostel byl jednolodní a zachoval se v rozloze dnešní hlavní lodi. Gotická přestavba se uskutečnila v době vlády Karla IV. Loď byla zvýšena a nově zaklenuta, při jejím jihozápadním nároží postavena hranolová zeď. Svou dnešní podobu získal kostel při pozdně gotické přestavbě. Tehdy byly přistavěny dvě boční lodi, severní se třemi a jižní se dvěma křížovými poli s žebry. V roce 1784 byl kostel zrušen a přeměněn na skladiště, byty a obchody. Teprve v roce 1904 jej koupila Pražská obec, která jej dala restaurovat podle návrhu Kamila Hilberta. Tehdy byla věž, na níž je erb Starého Města, doplněna novorenezančními štíty. Po první světové válce získala kostel do dlouhodobého pronájmu Českobratrská církev evangelická, díky níž byla v nedávných letech provedena generální oprava objektu spojená s archeologickým výzkumem.
Kolem kostela se po staletí rozkládal hřbitov. Připomíná ho pamětní deska členů významné sochařské rodiny Brokoffů, kteří zde byli pohřbeni v 18. století. Deska je zasazena na vnější stěně presbyteria. Několik původních náhrobních kamenů je umístěno uvnitř kostela.