В петровское время вокруг города шастали целые шайки разбойников, поэтому было много грабежей и убийств, но еще больше было людей спившихся. По закону приходские священники не могли погребать их возле церквей, и потому убитые горем родственники вынуждены были проводить захоронения вне церкви. Все покойники такого рода свозились на Черную речку, и кладбище быстро расширялось. О нем знало и светское и духовное начальство, но когда строили старый Андреевский собор и жители Васильевского острова просили открыть возле него кладбище, Святейший синод отказал им. На плане Санкт-Петербурга 1738 года Смоленское кладбище располагалось между Большим и Средним проспектами, за 23-й линией Васильевского острова. Но здесь был чрезвычайно низкий грунт, в дождливую погоду и при ветре с моря покрывавшийся водой, поэтому место было чрезвычайно неудобным и даже недоступным. Если здесь и погребали, то очень немногих, и в народе не сохранилось даже памяти об этом кладбище.
В царствование императрицы Анны Иоанновны Особая комиссия по делам строений вместе со Святейшим синодом постановила: «В Санкт-Петербурге погребению быть надлежит… на Васильевском острове у Черной речки, между 18 и 23 линиями, к какому месту дорогу расчистить от вновь наростнаго кустарнику». Но и это пространство было довольно низким, так что Святейший синод еще предписал:
Для возвышения кладбищенских мест поделать вокруг и поперек каналы, в пристойных местах устроить пруды, вынутою землей возвысить места; самые кладбища огородить деревянным забором и построить при таких кладбищах деревянные покои для жития караульным и могильщикам и для содержания всяких потребностей к погребению. А те строения, каналы, пруды и городьбу делать и впредь содержать в добром порядке из церковных доходов.
Порядок на кладбище должны были поддерживать могильщики, которым вменялось могилы копать глубиной не менее двух метров, зарывать их, потом утаптывать и делать могильный холмик высотой около 70 сантиметров. Они же обязаны были «содержать на кладбище караулы, с переменой всегда по два человека, и часы городские слушая или песочные имея, в колокол звонить по обыкновению».
Кладбищенское место на Васильевском острове принял священник Андреевской церкви Никифор Никифоров. Церкви на кладбище не полагалось, а отпевание и поминовение усопших проводилось в приходских и домовых церквах. Но какие же могли быть доходы для производства работ и содержания кладбища в порядке, если не было самого источника доходов — церкви? А у Святейшего синода не было средств на возведение храма…
По этому поводу возникла переписка между светским и духовным начальством, но только в 1760 году, уже в царствование Елизаветы Петровны, была построена деревянная церковь во имя Смоленской иконы Божьей Матери. Кладбище обнесли забором, а на западной стороне от поля его отделили еще и каналом. Наблюдение за кладбищем было поручено отставным солдатам из городской богадельни.
Губернская канцелярия считала кладбищенскую церковь своей собственностью, забирала ее доходы, а на церковные потребности внимания обращала мало, поэтому неудивительно, что со временем церковь пришла в упадок. В 1768 году церковь на Смоленском кладбище была передана в ведение Конторы экономии, и смотреть за ней поручили находящемуся при богадельне комиссар-прапорщику Петру Шураеву, под начало которого выделили трех сторожей. В 1772 году к церкви пристроили два придела, но и эта церковь, как и первая, не отличалась ни красотой, ни богатством утвари, поэтому доходы ее были весьма незначительны. Тогда Контора экономии испросила разрешения «в церкви Михаила-архангела, на Смоленском кладбище, отпевать детей, умерших от оспы», с того времени церковь стали называть еще и оспенной. За младенцами «потянулись» и взрослые покойники, и мало-помалу установился обычай отпевать и в кладбищенской церкви.
Священники и причт Смоленского кладбища жалованья никогда не получали и жили только тем, что зарабатывали служением заупокойных литургий и панихид, отпеванием покойников и поминовением их. Могильщики получали плату за рытье могил, обкладывание их дерном, за устройство надгробий, памятников и т. д.
Сначала Смоленское кладбище ограничивалось тем участком, который впоследствии стал называться Старым кладбищем. Но через 20 лет мест для погребений на нем не стало хватать, и в 1783 году к кладбищу присоединили смежный с ним участок, занятый дотоле городскими богадельнями. В том же году стараниями протоиерея Георгия Петрова в кладбищенской церкви был устроен придел во имя архистратига Михаила, но главное здание церкви к этому времени уже сильно обветшало, и тогда же было заложено каменное — с колокольней и папертью. Возведение церкви было закончено через 10 лет, а в 1808 году к ней стали пристраивать с северной и южной сторон пристройки, а над колокольней возвели второй этаж. Однако наводнение 1824 года полностью разрушило церковь. Все кладбищенские заборы были свалены, мосты и мостики уничтожены, земляные насыпи на могилах смыло водой, каменные и металлические надгробия сдвинулись с места, много памятников под напором волн было свалено. Кресты с могил унесло на Выборгскую сторону, и в Морском госпитале ими целую зиму топили печи.