Замок находится на вершине скалы на правобережье реки Збруч. С трех сторон защиту укреплению обеспечивают водоем и скалистые речные берега. С единственной доступной южной стороны расположен глубокий ров и каменная стена с выступающей полукруглой пороховой башней. Рядом с ней – въездные ворота, добраться до которых можно только при помощи подъемного моста, рассказывают историки.

Руины замка находятся на узком скалистом выступе, склоны которого спускаются к пойме реки Збруч. Форма мыса определила удлиненную нерегулярную конфигурацию укрепления, державшуюся на протяжении XIV-XVII столетий. Основал его на месте древнерусского городища, разрушенного татарами, литовский князь Корятович в середине XIV века. Неоднократные разрушения укрепления татарами и волохами, вооруженная борьба между польскими и казацкими войсками, побуждали к постоянной перестройке и укреплению замка. По мнению исследователей, в строительстве замка прослеживается несколько этапов. Сначала замковый двор, по планировочной конфигурации приближенный к треугольнику, занимал крайнюю северо-западную часть мыса. Остатки оборонительных стен этой части замка дают возможность предположить, что это было стеновое укрепление, которое может датироваться не позднее, чем XIV столетием. Второй этап перестройки замка, вероятно, относится к середине XV века, когда его расширили в юго-восточном направлении. От этого периода сохранились остатки юго-восточной оборонительной стены с бойницами и фрагменты стен дома между древним и новообразованным замковыми дворами. Следующее строительство укрепления связано с семьей Лянцкоронских. После того как в 1515 году Каменецкий староста Станислав Лянцкоронский стал владельцем замка, его потомки староствовали в Скале до начала XVIII столетия. При Лянцкоронских территория замка увеличилась почти вдвое. Присоединенный к существующему укреплению участок мыса был окружен оборонительными стенами, а на перешейке возведена четырехъярусная башня. В глубине новосозданного замкового двора, на всю его ширину, построен дворец. Этот этап перестройки замка представляют лишь остатки выложенной из песчаника подковообразной четырехъярусной башни с бойницами.

Руины двухэтажного дворца, дошедшие до нашего времени, относятся к более позднему периоду - середине XVIII века, когда староста Скалы Адам Тарло перестроил ранее построенный дом во дворец в стиле барокко. Вскоре обновленное здание сгорело от удара молнии.