В начале Ливонской войны, в 1559 году, замок заняли русские войска и частично его разрушили. Вскоре после этого, замок заняли польские войска, и здесь расположился литовский гарнизон. В хронике Русова говорится, что в 1577 году литовцы без боя сдали замок войскам Ивана Грозного. После окончания Ливонской войны Иван Грозный был вынужден отказаться от завоеваний в Видземе, и замок вновь перешёл полякам.
В 1600 году началась польско-шведская война, и в 1601 году замок заняли шведы. В замке вновь побывали поляки, но в 1625 году шведы, и теперь надолго, овладели замком. В 1625 году шведский король Густав II Адольф подарил Смилтене государственному советнику Бенеру Сванте. В это же время шведы изготовили план замка и зарисовали фасад замки и окрестности. В 1700 году началась Северная война. В её начале русские войска заняли замок и разрушили его под ноль. От древних построек почти ничего не осталось...