Нижний замок был построен во второй половине XVI века.
Русский царь Иван IV захотел превратить город на Двине в полноценную крепость. Есть мнение, что самодержец лично командовал началом строительства. Вал замка насыпался в течение двух лет, к работам были привлечены жители города. Длина насыпи превышала шестьсот метров, а высота — десять. По периметру постройка была обнесена бревенчатой стеной. Общая площадь замка составляла не менее 6 гектаров.
Руководили стройкой воеводы Щокин и Зайцев и боярин Шуйский. Интересно, что практически сразу же по завершению строительства замок устарел и не мог выполнять оборонительные функции. Его создали, не учитывая, что в это период происходило активное развитие военного оружия. В результате Нижний замок использовался только для проживания, а не для обороны.
Здесь квартировались стрелецкий полки, поэтому в скором времени местные стали называть сооружение Стрелецким замком. Последнее упоминание замка как оборонительного сооружения относится к 1812 году. На сегодняшний день сохранились только фрагменты вала (около 400 метров), деревянные конструкции утеряны (в течение столетий они много раз горели и перестраивались).
Тем не менее, бывший Нижний замок в Полоцке органично вписывается в общий ландшафт города. При проведении раскопок здесь были найдены фрагменты княжеского саркофага, лепная керамика, фундамент церкви. В середине прошлого века в чаше вала был построен стадион «Спартак», а в апреле 1984 года на его территории нашли клад золотых изделий, датируемых X веком.