Здание Архиерейского дома на Почтовой улице было возведено в стиле классицизма в 1820 году. Постройка использовалась, как дом для начальника Херсонского адмиралтейства Катасанова. В 1827 году Черноморское адмиралтейство было упразднено и здание опустело. Долгие годы это великолепное сооружение служило хранилищем архивов Губернского ведомства. Только в 1864 году Духовному ведомству удалось собрать деньги на приобретение и капитальный ремонт здания Архиерейского дома. После перестройки 1 октября 1874 года в здании была освящена домовая церковь во имя Касперовской иконы Божьей Матери и святых великомучеников Димитрия Солунского и мученицы царицы Александры. Кстати, сама икона Касперовской Божьей Матери также находилась здесь. Капитальный ремонт в храме был окончен к 1875 году. Известно, что домовая церковь Святого Димитрия Солунского – та, в которой служил епископ Прокопий. Он был замучен за свою стойкую веру палачами НКВД, а Православная церковь в 1996 году его канонизировала. С 1925 года в Архиерейском доме действовал интернат для девочек, а затем туберкулезный детский санаторий. С 1992 года здание возвращено церкви.
