Домовая церковь во имя иконы Божией Матери "Всех скорбящих Радость" в тюремном замке г. Вологды была построена в 1824 г. Каменная. Престолы в честь: иконы Божией Матери «Всех Скорбящих Радость» - главный, прп. Игнатия Прилуцкого. Сначала церковь находилась в ведении клира Петропавловской церкви, а в 1851 году был назначен самостоятельный причт.

25 октября 1864 г. Преосвященный Христофор возложил на старосту тюремной церкви и директора тюремного комитета по хозяйственной части, вологодского 2-й гильдии купеческого сына Александра Дмитриевича Девяткова, золотую медаль с надписью "за усердие", на Станиславской ленте для ношения на шее. Медаль была Высочайше пожалована А. Д. Девяткову 16 сентября за отличную усердную службу по ведомству Общества попечительного о тюрьмах.