После XVII столетия стало падать военно-оборонительное значение крепостных сооружений Якутска. Крепость разрушалась, и последние следы города сохранялись до 1922 г., не считая реставрированной башни острога (уничтожена пожаром в 2002 г.). Остатки этой крепости, по мнению специалистов, представляли «собою едва ли не единственный во всей России образец древнего деревянного крепостного сооружения».

После того как пало значение города и острога как военных сооружений, они постепенно начинают приходить в упадок. Не было надобности возобновлять их. А историко-археологическое и архитектурное значение их, конечно, очень мало учитывалось современниками, а подчас просто игнорировалось. Каково было состояние крепости в самом конце XVIII столетия, мы не знаем, а с XIX в. определённо начинается быстрое разрушение её остатков. Уже в начале века крепость была оставлена и представляла собой руины. Остатки острожных сооружений мешали строительству, занимали лишнее место и, наконец, нужны были брёвна… Вокруг этих вопросов решалась судьба бывшего казачьего острога и города. В 1824 г. по распоряжению начальства две стороны города — северная и южная были разобраны и употреблены на постройку в г. Якутске клуба.

В 1828 г. уже не было четырёхугольника крепости. В 30-х гг. XIX столетия Николай Семёнович Щукин писал: «Доселе видны ещё три башни, часть стены и двое ворот… Существуют три амбара, в одном из них, где прежде, как приметно по множеству спиц, вбитых в стены, хранилась мягкая рухлядь, помещен теперь архив… от воеводского дома остались одни только кучи кирпича».

В 1844 г. значится «старая городовая крепость с пятью башнями… без крыши». Также — три амбара: один из шести отделений, другой — из четырёх и третий с перегородкою из круглого строевого леса, крытые на жолубьях тёсом.

 В конце 70-х гг. XIX в. городская управа стала продавать башенный лес с торгов. По сведениям, некто Балакшин купил целую башню и перепродал её Горчакову, который построил из неё дачу в местности Сергелях. В начале 1877 г. эту дачу купил И.С. Москвин, и до сего времени она числится за семейством Москвиных. (По другим сведениям, дача Москвиных построена из остатков крепостных амбаров.)

Городская управа часть остатков строений употребила на дрова, а в 1899 г. велось дознание по поводу разрушения остатков города курсантами местного реального училища, которые по 10-15 человек, взбираясь на башни и стены, разворачивали брёвна и сбрасывали их на землю, а обыватели эти брёвна растаскивали на свои нужды.

Таким образом, оказалось, что некоторые отделения в пряслах были разобраны по перегородкам, двери у одной башни сорваны и «пропали без вести», точно так же были похищены верхние брёвна прясел. В 90-х гг. XIX в. уже якутские областные власти ходатайствуют перед центром о сносе этих остатков города и острога, т. к. те пришли к полному разрушению, части их расхищались, а внутри башни накапливались кучи мусора и навоза, и, кроме того, они нередко являлись убежищем для пьяных и проч.

В 1901 г. башни были переданы в ведение местного, но тот не принимал решительно никаких мер по охране этих памятников и наблюдению за ними, пока в 1904 г. совершенно не отказался от заведования за неимением средств. За этот период обыватели города, видя беспризорность остатков крепости, обратили их в… свалочные ямы и отхожие места. Тогда администрация забила тревогу уже по санитарным соображениям. Вновь в центр поступили ходатайства о сносе башен.

В 1905 г. Археологическая комиссия, видя настойчивость властей к сносу башен и стен, заявила якутскому губернатору Виктору Николаевичу Булатову, что «Якутский острог является единственным образчиком деревянных крепостных сооружений XVI—XVII вв. не только в России, но и во всей Европе».

В 1908 г. по распоряжению губернатора Ивана Ивановича Крафта особая местная комиссия работала над составлением проекта восстановления башен Якутского острога. В Археологическую комиссию была отправлена смета на реставрационные работы в сумме 24 326 руб. Денег на это там не нашлось. Лишь удалось исходатайствовать в законодательном порядке ассигнования 2 тыс. руб. на реставрацию одной башни, а на остальные сооружения предполагалось изыскать средства в будущем.

 Дело кончилось тем, что в 1912 г. была реставрирована одна лишь въезжая башня Якутского острога. Часть совершенно сгнивших брёвен была заменена новыми, а более пригодные и уцелевшие оставлены при башне. Башня была выкрашена в тёмно-коричневый цвет и производила впечатление старого сооружения.

Башни и часть стены города (западные) не возобновлялись и не ремонтировались, благодаря чему разрушение их продолжалось. В августе 1909 г. ночью сгорела южная, угловая, башня города. Осталось лишь две башни: северная и въезжая с частью стены. Значительно разрушились стены города, т. к. они мешали проезду. В 1922 г. вследствие дровяного кризиса в Якутске, случившегося по обстоятельствам военного времени, две башни западной стены города с частью стены были употреблены на дрова для электрической станции. Таким образом, последние остатки города воеводы Ивана Васильевича Приклонского просуществовали 238 лет.