Zakon Karmelitów Bosych przybył do Polski w 1605 roku – wtedy też w Krakowie zbudowali swój pierwszy klasztor. Już w 1917 roku powstała samodzielna polska prowincja. Na Krakowskie Przedmieście w Warszawie przybyli w 1634 roku – ich zadaniem było nauczanie okolicznych mieszkańców.
Około 1642 Albrycht Wessel chorąży nadworny i starosta różański, makowiecki i tykociński postanowił wybudować kościół dla karmelitów bosych. W projektowaniu kościoła brali udział tak znani architekci jak Konstanty Tencalla, Szymon Józef Bellotti oraz Tylman z Gameren. Po śmierci Wessla, który nie zapewnił stosownych funduszy na dalszą budowę kościoła, jego wznoszenie odbywało się dzięki kolejnym „dobroczyńcom”. Budowa, liczona od rozpoczęcia budowy przez Albrychta Wessla do poświęcenia kościoła przez ks. Augustyna Wessla (wnuka brata Albrychta Wessla), trwała 74 lata.
Kościół przebudowano w 1724 roku, nie zrealizowano jednak fasady, za którą zabrał się dopiero w 1762 roku Efraim Szreger. Ufundował ją mieszkający po sąsiedzku w pałacu Radziwiłłów Karol Stanisław Radziwił. Budowa fasady zakończyła się w 1779 roku – była to pierwsza w Warszawie kamienna klasycystyczna fasada.
We wnętrzu kościoła zachwyca pochodzący z XVIII wieku ołtarz główny, poświęcony świętemu Józefowi. Jest barokowo-rokokowy, a powstał w miejscu pierwotnego ołtarza projektu Tylmana z Gameren. Z wcześniejszego ołtarza pozostał obraz św. Józefa z Dzieciątkiem, natomiast z drugiego z 1727 roku figury św. Teresy i św. Jana od Krzyża oraz kolumny. Ołtarz zdobi też umieszczona ponad arkadą gloria z wizerunkiem Boga Ojca i globu ziemskiego, dzieło Jana Jerzego Plerscha. Na szczególną uwagę zasługuje pochodząca również z XVIII wieku ambona, wykonana prawdopodobnie wg projektu Tylmana z Gameren. Przedstawione są na niej alegorie czterech kontynentów, Wniebowzięcie Najświętszej Maryi Panny z gołębicą oraz święci z zakonu karmelitów.
W naszym kościele oprócz głównego ołtarza znajduje się jeszcze 10 ołtarzy bocznych (po pięć z każdej strony głównej nawy) oraz położona przy prezbiterium kaplica Grobu Chrystusowego z przejmującą rzeźbą Chrystusa złożonego w grobie, autorstwa Oskara Sosnkowskiego. Zdecydowana większość ołtarzy to dzieło Leona Sużyńskiego z 1857 roku. Natomiast kaplicę Grobu Chrystusowego zaprojektował Henryk Marconi w 1862 roku, freski ścienne wykonał jego syn Karol Marconi, a ołtarz w kaplicy Adam Nowicki. W kościele znajdują się również liczne epitafia, między innymi malarza Rafała Hadziewicza czy dziennikarza Józefa Keniga.
Klasztor karmelicki skasowano zaraz po powstaniu styczniowym, a budynek przejęło nasze seminarium duchowne, które w 1925 roku dobudowało w północnej części neoklasycystyczną bibliotekę wg projektu Konstantego Jakimowicza. Kościół nie został zniszczony podczas II wojny światowej, więc po jej zakończeniu, do czasu odbudowania katedry św. Jana, zastępował ją tymczasowo w tej funkcji nosząc miano prokatedry
Ostatnie lata są dla naszej świątyni czasem poważnej odnowy – prace konserwatorskie podejmowane są etapami. W latach 2010 – 2012 zajęto się sztukaterią w prezbiterium. W czasie prac konserwatorskich odkryto 3 freski. Doskonale zachowana, oryginalna XVIII wieczna sztukateria po rekonstrukcji zdobi pięknem i świeżością ową świątynię.
Lata 2011 – 2012 przyniosły kolejne odkrycia. Podczas malowania ścian powierzchni płaskich w całym Kościele, odkryto, iż kościół miał być zbudowany pierwotnie cały z piaskowca, ściany jednak sięgają 160 cm wysokości, reszta natomiast dokończona jest z cegły. W tych też latach dokonano renowacji ławek i zainstalowano ogrzewanie podłogowe.
W 2012 roku zaczęto renowację jednego z dwóch głównych ołtarzy – św. Józefa. Za obrazem odkryto oryginalny fresk na ścianie, z pierwotnego stanu kościoła z II połowy XVII wieku, fresk ten nie jest dokończony gdyż prace przerwał najazd Szwedów na Polskę. Pomiędzy dwoma ołtarzami głównymi znajduje się chór, który służył do odmawiania modlitw brewiarzowych. Znajdują się tam dwie stalle, które okazały się kolejnym odkryciem. Warstwa farby zakryła całe piękno tych ław, odkrywka konserwatorska ukazała, że są to piękne marmoryzowane stalle. Są one w kolejce do konserwacji, gdyż z przyczyn finansowych jest to na dzień dzisiejszy niemożliwe. Rozpoczęto również renowację dwóch ołtarzy ukośnych w prezbiterium. Po 60 latach zostały otworzone krypty, pod kościołem, które są porządkowane i trwają w nich badania archeologiczne. Znajdują się tam liczne szczątki zmarłych.
W latach 2012 – 2013 dokonano całkowitej renowacji Ołtarza Matki Bożej Dobrej Śmierci. Przy okazji konserwacji, zainstalowano zasłonę, która w uroczysty sposób zasłaniana jest każdego dnia po wieczornej Mszy Świętej. Ołtarz znajduje się po prawej stronie od wejścia. W Kościele pod chórem dokonano również odkrycia marmoryzowanej kruchty, która przykryta była warstwami farby.
