В 1784 г. на средства владельца села Петра Михайловича Власова была заложена каменная церковь Николая Чудотворца с приделом Петра и Павла. Придел достроили и освятили в 1789 г. Основной престол освятили несколько позднее – в 1791 году. Уже при Власовых существовали «дом господский об одном этаже, и при нем сад регулярный с плодовитыми деревьями.» с большими прудами.

С 1802 г. владельцем села стал Пётр Хрисанфович Обольянинов– любимец императора Павла I, бывший начальник Тайной канцелярии и генерал-прокурор. После убийства Павла I заговорщиками, Обольянинов был сразу отправлен в отставку. Спустя время он долгие годы избирался Московским губернским предводителем дворянства. П.Х. Обольянинов владел селом до своей смерти.

При П.Х. Обольянинове был построен деревянный главный дом. Некоторые изменения сделаны в церкви. В 1808 г. придел получил наименование Двенадцати Апостолов.

В 1825 г. между западными башнями ограды и колокольней построены каменные сторожка и кладовая. Своих детей у Петра Хрисанфовича не было, поэтому село перешло по завещанию племяннику Михаилу, сыну небогатого псковского помещика Михаила Хрисанфовича. У инвалида войны полков-
ника в отставке Михаила Михайловича 10 октября 1835 г. родилась дочь Анна, будущая наследница.

Мужем Анны Михайловны Обольяниновой стал генерал-майор свиты Его императорского величества граф Адам Васильевич Олсуфьев (1833-1901), воспитанник Пажеского корпуса, флигель – адъютант Александра II, генерал-майор Свиты, вышел в отставку в 1882 году в чине генерал-лейтенанта. При Олсуфьевых происходят последние изменения в облике усадьбы: построены школа, больница и свыше десяти хозяйственных построек. В усадьбе былаустроена метеорологическая станция, большое внимание граф уделял разведению леса. В 1892 году площадь лесопосадок составила около 145 га. Семья Олсуфьевых отличалась высоким уровнем культуры и образования.

Сыновья Михаил и Дмитрий окончили Московский Университет (в Москве они познакомились
с Л.Н. Толстым, бывшим соседом Олсуфьевых по Хамовникам), дочь Елизавета – высшие женские курсы в Москве, училась за границей. Олсуфьевы, постоянно проживая на своей усадьбе и видя жизнь и быт крестьян, старались улучшить их положение. Так, в 1860-е годы Олсуфьевы отдают своим крестьянам наделы без выкупа, в 1906 г. Михаил Олсуфьев передаёт крестьянам всё имение, за исключением самой усадьбы и права владения лесом.

Михаил Адамович Олсуфьев (1860-1918) в течение 30 лет занимался воспитанием детей из бедных крестьянских детей, готовил их к поступлению в учебные заведения и даже оплачивал их обучение.

В это время Обольяново становится центром, к которому из разных мест тянулись те, у кого потребности духовной жизни стояли на первом месте. Средитаких людей были известные художники, писатели, ученые. В Обольянинове часто бывали Л.Н. Толстой (в усадьбе была замечательная библиотека, которой писатель пользовался для работы над романом «Воскресение», над повестью «Смерть Ивана Ильича», рассказом «Хозяин и работник»), математик М.И. Ковалевский, химик Д.И. Менделеев, художники Н.Н. Ге и П.И. Нерадовский.

В Обольянове Л.Н. Толстой проводил много времени на воздухе, часто гулял, ездил верхом, ходил на лыжах, пилил и колол дрова, беседовал с крестьянами. Пользуясь прекрасной библиотекой Олсуфьевых, он немало времени отдавал чтению и даже подбирал «то, что годится для издания». О большой внутренней работе писателя в Обольянове свидетельствуют его многочисленные записи в дневниках, фиксирующие размышления осоциальных вопросах, о лжи и насилии, о проблемах философии и искусства, о высоком писательском долге. «Мы здесь наслаждаемся, главное, тишиной... пишу усердно», – сообщал писатель жене 27 февраля 1896 г. «Хожу гулять и все упиваюсь тишиной и свободой от требований людских».

После 1917 года в усадебном доме в разное время располагался волостной совет, детский дом, школа, библиотека, которой заведовал писатель-земляк С.П. Подъячев. В 1934г. после его смерти село Никольское – Обольяниново переименовали в Подъячево.