В период нахождения Смоленска в составе Речи Посполитой (1611—1654 гг.) западные церкви переживали в городе наибольший расцвет. Здесь были открыты монастыри католических монашеских орденов — иезуитов, бернардинцев, доминиканцев, францисканцев. Древний Петропавловский храм стал центром униатства. Униатам были переданы и другие православные церкви. В 1636—1638 гг. в Смоленске на Соборном холме был построен городской кафедральный костел Пресвятой Девы Марии.

После возвращения Смоленска в состав России деятельность западных церквей в городе была резко ограничена. Однако в связи с тем, что на службу к русскому государю перешло большое количество польских шляхтичей, католическая община города продолжала существовать и сохранять традиции церковной жизни. Можно с достоверностью сказать, что в Смоленске в 1680 году по настоянию смоленской шляхтянки Агафьи Семеновны Грушецкой, ставшей женой молодого царя Федора Алексеевича, был построен деревянный костел. При костеле стало действовать и училище.

Согласно статистическому обзору Смоленска 1787 года, в городе находились лютеранская кирха и католический костел. Во время Отечественной войны 1812 года костел сгорел и возобновлен в 1816 году. Как и прежний, он был деревянный. В 1839 году в Смоленске возвели каменный костел во имя Рождества Пресвятой Богородицы.

К началу девяностых годов XIX столетия смоленский костел оказался мал по своей площади, вследствие увеличившегося количества прихожан. Возникла необходимость в его перестройке и расширении. В 1892 году губернским архитектором М. Ф. Мейшером были составлены проект и смета на сооружение нового, большого костела.

28 июня 1893 года настоятель Смоленского римско-католического костела ксендз Стефан Денисевич обратился в Смоленское губернское правление с прошением о разрешении строительства нового костела с приложением плана и сметы.

Смоленский губернатор В. О. Сосновский попросил Стефана Денисевича дать обстоятельные «сведения о числе прихожан, о пространстве прихода, о расстоянии костела до соседних римско-католических церквей и о количестве римско-католического населения в месте расположения костел, в том числе и в Смоленске».

15 июля 1893 года Стефан Денисевич дал ответ в Смоленское губернское правление: «Вверенный мне Смоленский римско-католический приход заключает в себя всю Смоленскую губернию и часть Оршанского уезда Могилевской губернии… Католиков обоего пола во всем приходе числится по спискам 3 015, а в самом городе Смоленске — 956; но число это в последнее время значительно увеличилось поселением литовцев и латышей, а также с прибытием войск, в которых число католиков — более 1500 человек…»

К началу строительства нового костела у Смоленской римско-католической церкви было 2700 рублей фундушевого капитала, строительных же капиталов не имелось. В связи с этим смоленский губернатор В. О. Сосновский и настоятель смоленского костела обратились в министерство внутренних дел с ходатайством о выделении дополнительных средств на строительство костела из вспомогательного капитала департамента иностранных исповеданий. Однако это прошение было отклонено.

Судя по имеющимся документам, такое решение министерства внутренних дел не очень огорчило смоленского настоятеля, синдиков, прихожан костела. Совместно с губернским архитектором, прихожанином костела М. Ф. Мейшером они продолжили все необходимые работы для закладки здания нового храма. Добровольные пожертвования поступали не только от самих прихожан смоленского костела, но и от большинства священнослужителей Могилевской римско-католической архиепархии.

28 декабря 1893 года Смоленское губернское правление уведомило настоятеля костела о том, что «Господин Министр внутренних дел не встречает препятствий к постройке в городе Смоленске вместо существующей новой римско-католической церкви согласно утвержденного к исполнению от 29 сентября 1893 года проекта».

5 июня 1894 года настоятелем Смоленского римско-католического костела, ксендзом Денисевичем, в составе 6 ксендзов того же костела и в присутствии многих частных лиц, после божественной литургии было совершено освящение места для вновь строящегося костела.

При смоленском католическом приходе в самом начале подготовительных работ по возведению нового храма был основан Строительный комитет, который возглавил настоятель — Стефан Денисевич, его заместителем был избран автор проекта — губернский архитектор М. Ф. Мейшер, в комитет вошел инженер-строитель Леон Дубейковский.

Здание костела возводилось большой бригадой строителей, которую возглавил инженер Леон Дубейковский, выигравший по объявленным торгам подряд на строительство смоленского костела в начале 1894 года.

В 1894 году все строительные работы по возведению костела велись под непосредственным контролем самого автора проекта — архитектора М. Ф. Мейшера, но в начале 1895 года он скоропостижно умер, вследствие порока сердца. Строительным комитетом костела вместо умершего М. Ф. Мейшера был приглашен его сын — городской архитектор Михаил Михайлович Мейшер, но вскоре и он, тяжело заболев, вынужден был отказаться от предложенной ему работы. В 1896 году Комитетом по строительству был приглашен новый губернский архитектор Евгений Фердинандович Лыщинский.

К осени 1896 года основные строительные работы по храму завершились, и начались внутренние отделочные работы. В мастерских смоленских мастеров резчиков-позолотчиков отца и сына Синявских с начала строительства костела продолжалась непрерывная работа по изготовлению главных фрагментов композиции будущего резного главного дубового алтаря костела, эскиз которого выполнил сын М. М. Мейшер.

29 июня 1897 года, в день святых апостолов Петра и Павла, состоялось торжественное освящение нового храма. Интерьер костела оформлялся с 1897 по 1899 гг. Над созданием его трудились варшавские мастера. Они расписывали стены и своды костела, ими же выполнены разноцветные витражи окон, написаны полотна на стенах на библейские сюжеты…

Захват власти в России большевиками, проповедующими богоборческую идеологию, разрушительным образом сказался на деятельности всех церквей. Не обошел он стороной и смоленский костел. В 1936 году был арестован настоятель храма — отец И. Жолнерович. По этой причине богослужения в костеле прекратились. С 1937 году они были запрещены «по техническим причинам», а в дальнейшем в регистрации священникам отказывали. Но, тем не менее, все эти годы продолжал действовать церковный совет. 14 января 1940 года решением Смоленского облсовета костел был закрыт. Здание храма было передано архиву НКВД.

Смоленский костел без серьезных разрушений пережил время гитлеровской оккупации. В 1958 году его передали под хранилище Государственного архива Смоленской области. При этом был демонтирован и впоследствии утрачен уникальный орган. С 1991 года в Смоленске возрожден католический приход.