Центром жизни города в ХIII — ХVIII веках был замок. Он занимал территорию древнего городища, которое было вытянуто с севера на юг и находилось на крутом берегу при впадении реки Прони в Сож. Вначале, по границе его был оборонительный частокол, а затем в ХVII веке был насыпан вал высотою в 1 м и шириной 4 м., а по гребню был поставлен дубовый частокол из небольших бревен. Когда город стал развиваться, так как этому способствовало его местонахождение на важном торговом пути, то рядом с замком появился посад, который занял соседнюю возвышенность.

В ХIV — ХVII веках замок и город уже имели деревянные укрепления, строить и ремонтировать которые были обязаны жители «места Пропойского с волостью». Как и другие порубежные города Посожья, Пропойск с волостью были великокняжескими землями. Наместники, а затем и старосты, назначались Великим Литовским князем. Они следили за состоянием и ремонтом укреплений, заботились о боеспособности гарнизона и его вооружении. В 1511 г. Пропойск получил королевскую грамоту, по которой жители его должны были вносить все подати прямо в королевскую казну. По историческим источникам известно, что наместником города в 1518 г. стал князь С.Чарторыйский. В грамоте великого князя Жигмонта Старого от 29 декабря 1518 г. указывалось, что наместник «...срубил нам у Пропойску замок тамошними людьми нашими Пропойчичаны и Чычераны, а к тому своим накладом збудовати намся поднял». За такую заслугу король удовлетворил челобитную князя о передаче ему в держание этих земель.

В военное время здесь в Пропойском замке был небольшой постоянный гарнизон из 10-20 казаков во главе с ротмистром. Гарнизон и замок существовали за счет прибыли от староства. В ряде порубежных городов, в том числе и в Пропойске с 1561 г. начали содержать дополнительные «почты» конников. Они были вооружены новейшим ручным огнестрельным оружием — «губчастыми ручницами», которые поставлялись сюда из Вильно вместе с амуницией и гаковицами (длинноствольное огнестрельное оружие).

Великокняжеская власть постоянно держала в поле зрения порубежный Пропойский замок. Из переписки с великим князем и из документов известно, что в Пропойском замке были деревянные башни и стены, обмазанные глиной «до бланкованья», башня-брама и подъемные мосты — «узводы». Количество башен в замке неизвестно. Детинец был хорошо защищен реками и рельефом местности. Въезд в него в виде узкого перешейка располагался с северной стороны. С юга и востока замок прикрывался 20-метровым обрывом в сторону Сожа. Башен там не было, так как эти стороны и так были хорошо укреплены. Замок был разрушен во время войны России с Речью Посполитой в середине ХVII в. и потерял свое военное значение. В 1681 г. в городе было только 104 двора. В 1604 г. здесь на территории замка скрывался претендент на московский престол Дмитрий Нагой — царь Лжедмитрий II, который по приказу чечерского старосты Зеновича был переправлен в Московское государство.

После присоединения этих земель к России, Пропойск был пожалован генерал-фельдмаршалу князю Александру Михайловичу Голицыну, сыну легендарного князя Михаила Голицына, который сражался со своими полками у деревни Лесная. В 1775 г. наместник староства И.Радиевский впервые приезжает сюда и сообщает владельцу в Москву, описывая панские хоромы: «Длиною тот замок с обоих сторон по сорок две сажени... В том местечке хоромы на подлетках, сверху шесть покоев жилых, в них печи мурованные зеленые внизу три житницы хлебные, ледник; как видно по надписи в них, строение 1726 году, другие подземные ветхие, в которых живет эконом Пашковский: в них жилых шесть покоев и между ними сени. В сенях очаг кирпичный, теплый: конюшни на девять стойл, ворота проезжие в замок через ров мостом рубленый, а наверху рубленый чердак с переходами. Жители Пропойска находились в «худом состоянии, бесхлебных и безлошадных».

Замок, описанный И. Ридевским, был главной достопримечательностью Пропойска. Он стоял здесь на высоком берегу реки Сож на самом обрыве. Новый владелец Пропойска князь А.М.Голицын, узнав о том, что императрица Екатерина II должна посетить его имение, срочно построил двухэтажный деревянный дворец, в котором в январе 1787 г. принимал и угощал ее вместе со свитой. Отобедав в новом дворце, Екатерина в парке на одной из лип вырезала свои инициалы и день своего пребывания здесь. Владелец описывал свой дворец так: «Дом в Пропойске, хотя и просто построен, но покоен и убран пристойным образом. Он лежит на горе и на месте весьма красивом и видном: под горою и под самым домом соединились две большие реки, на другой стороне которых находится просторный луг, обшитый дубовым лесом. Сию вотчину... имею я от щедрот ее императорского величества, а ежели оная не была бы в 600 верстах от Москвы, то я б не можно для меня иметь приятнейшего пребывания, как в оной». Поэтому нет ничего удивительного, что В.Голицын после смерти Екатерины II поспешил от поместья избавиться.

Императрица Екатерина II дважды посещала Могилевскую губернию. Первый раз в 1780 г. для встречи с австрийским императором Иосифом II, второй — в 1787 г. проездом в Крым через Мстиславль, Кричев, Чериков, Пропойск, Чечерск и Гомель.

О пребывании Екатерины II в Пропойске можно было узнать из надписи на медной доске, сделанной вскоре после ее визита в Пропойск. Доска эта первоначально была прикреплена к липе, на которой императрица вырезала свои инициалы и день своего пребывания здесь, а впоследствии хранилась в доме А. Голицына. В советское время до Великой Отечественной войны она находилась в Государственном историческом музее в Минске. В годы войны она вместе с другими трофеями была вывезена в Германию, а потом возвращена, и сейчас находится в фондах Национального музея Беларуси в Минске. На этой доске — надпись: «Императрица Екатерина II во время достопамятного путешествия в Тавриду, изволила посетить обер-камергера князя Голицына в м. Пропойск».

Князь в ожидании Высокой путешественницы выстроил на самом берегу Сожа, против устья Прони, замок, обнесенный палисадом, где 20 января 1787 г. угощал государыню обеденным столом. При этом случае находилось «...список из 30 придворных камергеров, фрейлин, министров, присутствующих на обеде». Санный поезд императрицы состоял из 14 больших карет и 126 крытых саней. При отъезде императрица изволила сказать: «Если б теперь была весна я посадила б здесь молодое дерево в память Хозяину. Но при 8-градусном морозе я вырежу на липе только день моего пребывания».

В конце ХVIII в. после проведенных здесь Голицыным строительных работ исчезли оборонительные валы и остатки древнего замка. После 1917 г. на Замковой горе размещалась коммуна, а в 1930 г. обветшалый дом был снесен. Среди местного населения это место называется «Замок Голицына». Но если замок не сохранился, то сохранился памятник, связанный с ним — «детище его рук».