В XV в. «двор Своротва с волостью «Своротовской» принадлежал Хребтовичам». В 1498 г. великий князь Казимир передал его Олехне Довойновичу. В Метрике ВКЛ упоминается за 1524 г., когда «... Васка Заройский забрал две службы людей в Новогрудском повете... с братею и Милечевщи- ну — землю пустовскую в Своротве». В 1567 г. Ян Матвеевич Кунцович со своих имений в Своротве, Костеневичах и Струбнице «ставил двое коней». С 1716 г. владение Юдицких, которые в XVI в. получили большие наделы от короля Сигизмунда II Августа в Минском воеводстве и играли значительную роль в жизни края. Им принадлежала также (1716—1770) соседняя Молчадь. Своротвой владели Антоний Юдицкий, маршалок Речицкого повета, его сын Михаил, маршалок речицкий, маршалок Трибунала литовского (1740), каштелян минский (1741 — 1754). В 1765 г. Ян Юдицкий, сын Михаила, женатый на Софье Унеховской, не имея потомства, записал имение сестре Барбаре, замужней за Казимиром Тизенгаузом.

В начале XIX в. стало собственностью Якуба Незабытовского, женатого на Франтишке Кунцевич. В 1848 г. отцовские владения (Миратичи, Кайшовку, Свислочь в Бобруйском уезде и Своротву) унаследовал сын Стефан, маршалок Гродненской губернии, женатый на Целине Биспинг. В 1876 г. его владения включали 1935 десятин земли. После смерти отца имение перешло младшей дочери Марии, замужней за графом Родригом Потоцким (умер в 1910). Затем владельцем был их внук Владислав (1903 г.р.). Местные жители последней владелицей называют пани Грудзинскую.

Усадьба сформирована в первой четверти XIX в. Якубом Незабытовским на высокой террасе с обрывистым склоном р. Молчадь. Ее выровненная центральная часть (детинец) с двух сторон имела оврагоподобные понижения, служившие местом стока вод в Молчадь. Естественные рубежи определяли в значительной степени ее построение, наделяли замкнутостью, обеспечивая одновременно наличие дальних перспектив в сторону реки.