Памятник архитектуры начала XIX в. 1813 год считают датой постройки здания. Самый изящный особняк на Соборной площади и принадлежащий княгине Елизавете Ивановне Путятиной, супруге местного городничего. Это постройка классического типа. Главный фасад оформлен четырехсторонним портиком коринфского типа с треугольным фронтоном на высоком белокаменном цоколе с красивой ажурной решеткой. Строгие плоскости стен оживляют тройные окна по крыльям фасада. Дом стоит лицом к улице, имеет протяженный фасад, к нему примыкал большой сад, спускавшийся по склону Никольского оврага. Композиция дома идет от усадебной архитектуры XVII в., в дальнейшем такая схема фасада, но уже без колонн, станет излюбленной в провинциальной архитектуре.
Усадьба неоднократно меняла своих владельцев. Так, в начале 1830-х гг. хозяином дома стал купец Михаил Васильевич Полежаев. Полежаевы – династия кожевенных заводчиков, основа Касимовского купеческого общества с конца XVIII в. до второй половины XIX в.
В середине 1850-х гг. владельцем уже являлся Василий Барков – представитель одной из самых влиятельных купеческих семей города.
Последними хозяевами дома стала семья Наставиных, купившая его в 1860 году. Все они активно участвовали в общественной жизни города, зачастую члены семьи избирались городскими головами. Вера Михайловна Наставина была женой известного композитора и фольклориста – А.А. Оленина, брата камерной певицы М.А. Олениной-Д Альгейм.
Вся восточная сторона площади была застроена общественными зданиями: пожарным депо с каланчой (каланча в XX в. была разобрана, а депо приспособлено под универмаг), присутственными местами, духовным училищем. После революции это здание занимали различные организации. На сегодняшний день сохранился только лишь наружный вид дома, внутри следов старины не осталось. Дом был выбран для дома городничего при съемках фильма «Инкогнито для Петербурга» по пьесе Н. В. Гоголя «Ревизор».