Прекрасный образец татарской купеческой промышленной усадьбы. Во второй половине XIX в. ведущие позиции среди местных татарских торгово-промышленных родов занимала семья Кастровых. Они владели мерлушечными предприятиями (мерлушка – мех, выделанные шкурки ягнят грубошерстных пород овец в возрасте до двух недель), были крупнейшими торговцами. Одними из первых среди касимовских предпринимателей они стали издавать рекламные проспекты.
Автор проекта неизвестен. Фундамент и стены сложены из кирпича, высокий цоколь облицован белокаменными блоками. Фасады здания расчленены пилястрами. Декоративный кирпичный пояс обхватывает здание по периметру. Сохранилась высокая кирпичная стена с воротами и калиткой. До 1917 года дом принадлежал купцу Ахмеду Хайрулловичу Кастрову, которому перешёл по наследству от отца. После революции в здании находился детский дом, затем располагалось родильное отделение ЦРБ и женская консультация. С 2012 года дом опустел, так как роддом переехал в новое современное здание.