Деревянная церковь во имя иконы Божией Матери «Всех скорбящих Радосте» была построена на Рахинской улице для проведения служб и проповедей для заключённых в тюрьме. В числе почётных гостей присутствовал и главный строитель церкви барон Александр Петрович фон Розенберг, который был избран в 1874 году прихожанами Крестецкого собора председателем церковно-приходского попечительства (пробыл он в этой должности пятнадцать лет). Известное усердие приложил к благолепию храма В.В. Епишкин, по проекту которого он и был возведён. В честь освящения церкви был дан обед в доме мирового судьи Александра Петровича фон Розенберга. Церковь примыкала к зданию тюрьмы (сейчас в этом здании находится детское отделение ЦРБ). Соединялась она с тюрьмой переходом, по которому водили заключённых на службу. В церкви находились иконы Божией Матери, именуемые «Всех скорбящих Радосте» и «Взыскание погибших». Службы проводили священники из Екатерининского собора. На службу в церковь могли ходить кроме заключённых все прихожане города Крестцы. После революции 1917 года церковь была закрыта, а впоследствии разрушена.