В 1475 году князь Федор Чарторыйский, луцкий староста, начал сооружение замка на одном из высоких прибрежных мысов, над речкой Стубла, носившего название «Городище. Замок имел три оборонительные угловые башни: одну деревянную и две каменные. Толщина стен башен, в некоторых местах, достигала невиданных размеров — 3,8 метра. Замок окружал глубокий ров, наполненный водой, и мощные каменные стены. Строительство замка было окончено в 1561 году. Основную оборонную функцию выполнял западный каменный бастион. Восточная башня использовалась для хранения пороха и оружия. Через глубокий ров был перекинут четырехарковый мост на крепких опорах.
В 1632 г. замок передали иезуитам, которые организовали там свою коллегию. После их изгнания в 1773 г., когда Клевань отошла к Австрии, замок долго стоял пустым, аж пока князь Константин Чарторыйский, решив создать в Клевани польскую гимназию, не перестроил клеванский замок в 1817 г. Восточная стена была разобрана и на ее месте появились два флигеля, где и разместилось училище. В 1831 г. оно было закрыто. С 1834 г. замок пустовал и разваливался без надлежащего присмотра. В 1860 г. замок был продан российскому царю Александру II. После этого в замке разместился воинский гарнизон. В 1915 г., в ходе военных действий, замок был сильно разрушен.
