Руины замка находятся на узком скалистом выступе у реки Збруч. Форма мыса определила удлиненную конфигурацию укрепления, продержавшуюся на протяжении XIV-XVII веков. Основал его на месте древнерусского городища, разрушенного татарами, литовский князь Корятович в середине XIV столетия. Неоднократные разрушения укрепления татарами и волохами, вооруженная борьба между польскими и казацкими войсками, побуждали к постоянной перестройке и укреплению замка. По мнению исследователей, в строительстве замка прослеживается несколько этапов. Сначала замковый двор, по планировочной конфигурации приближенный к треугольнику, занимал крайнюю северо-западную часть мыса. Остатки оборонительных стен этой части замка дают возможность предположить, что это было стеновое укрепление, которое может датироваться XIV веком.

По утверждениям историков, второй этап перестройки замка относится к середине XV столетия, когда его расширили в юго-восточном направлении. От этого периода сохранились остатки юго-восточной оборонительной стены с бойницами и фрагменты стен дома между древним и новообразованным замковыми дворами. Следующее строительство укрепления связано с семьей Лянцкоронских. После того, как в 1515 году Каменецкий староста Станислав Лянцкоронский стал владельцем замка, его потомки староствовали в Скале до начала XVIII столетия. При Лянцкоронских территория замка увеличилась почти вдвое. Присоединенный участок мыса был окружен оборонительными стенами, а на перешейке возведена четырехъярусная башня. В глубине новосозданного замкового двора, на всю его ширину, построен дворец. Этот этап перестройки замка представляют лишь остатки выложенной из песчаника подковообразной четырехъярусной башни с бойницами - на первом ярусе ключоподобными, а на верхних - прямоугольными.

Руины двухэтажного дворца, дошедшие до нашего времени, относятся к более позднему периоду - середине XVIII века, когда староста Скалы Адам Тарло перестроил ранее построенный дом на дворец стиле барокко. Вскоре обновленное здание сгорело от молнии.

Замок в Скале-Подольской является достопримечательностью нерегулярных укреплений Подолье, в которой зафиксировано развитие фортификационного строительства в течение ХV-XVIII вв.