Остатки замка находятся на высоком холме над рекой Стубла, на местности, которая до сих пор называется Городищем.

Строительство укрепления начал в 1475 году староста брацлавский князь Михаил Чарторыйский. В конце пятнадцатого столетия сын Михаила Чарторыйского Федор, староста луцкий, перестроил возведенные ранее деревянные укрепления: свел две каменные и одну деревянную башни, обнес стены валом и глубоким рвом.

Замок был нерегулярный; его планировочная конфигурация, по форме приближенная к треугольнику, в определенной степени повторяла периметр предыдущего деревянного укрепления. Строительство замка было завершено в 1561 году. Кроме модернизации башен, подъемный мост через ров заменили на трехарочный кирпичный. По периметру стен замка построили каменные жилища, а на замковом дворе возвели деревянную трехъярусная церковь.

В XVI-XVII веках замок подвергался неоднократным разрушениям от татарских осад и польско-казацких вооруженных конфликтов. С потерей оборонной функции на длительное время (в 1773 году) замок был передан иезуитскому ордену, который основал в нем коллегиум. В 1817 году князь Константин Чарторыйский после ремонта замка открыл в нем польскую гимназию. Впоследствии здесь разместилось духовное училище. Значительные разрушения замок получил в результате артиллерийского обстрела в 1915 году во время Первой мировой войны.

От древнего замка до наших дней дошли разрушенные северная и южная башни, остатки оборонительных стен, образующих северо-западный угол замка, а также арочный мост. Могучие пятиугольные башни значительно выступают за линию оборонительных стен, сохранились на высоту четырех ярусов.