На соседней, Малой Конюшенной улице высится здание в псевдороманском стиле с характерным для церкви фасадом. Это – шведская церковь Святой Екатерины (ул. Малая Конюшенная, 1). Центральная часть постройки решена автором проекта архитектором К.К. Андерсоном в виде мощного портала с окном-розой. Строительство шведской церкви велось в 1863–1865 гг. на деньги местной шведской общины. В 1905 г. архитектор Ф.И. Лидваль провёл в храме реставрационные работы, изменив немного фасад.

Шведская церковь
В советское время церковь была закрыта, и её исторические интерьеры до настоящего времени не сохранились. С 2003 г., после полувекового перерыва, в здании вновь начались регулярные богослужения.