За стагоддзі свайго існавання Лідскі замак неаднойчы знаходзіўся пад ударамі чужынцаў. У XIV стагоддзі замкавыя сцены не раз вытрымлівалі націск крыжакоў. Упершыню пад замкавымі сценамі яны з’явіліся ў 1384 годзе. Пасля працяглай аблогі і штурму ворагі захапілі замак. Другі раз набег быў здзейснены зімой 1392 года. Навакольныя будынкі былі спалены, горад разбураны, а замак захоплены. Праз два гады крыжакі зноў напалі на Ліду, але на гэты раз замак выстаяў.
У пачатку XV стагоддзя каля сцен Лідскага замка апынуліся войскі смаленскага князя Юрыя, які прыйшоў вызваляць сваю сям’ю, захопленую ў палон Вітаўтам. Смаленскае войска спаліла горад, некалькі разоў штурмавала замак, але ўзяць яго не змагло.
У 1410 годзе ад сцен Лідскага замка, паводле распараджэння Вітаўта і пад яго агульным камандаваннем, у паход супраць крыжакоў пайшла Лідская харугва, якая ўдзельнічала ў Грунвальдскай бітве 15 ліпеня 1410 года.
У ліпені 1506 года вялікі князь літоўскі і кароль польскі Аляксандр Ягайлавіч у Лідзе збіраў апалчэнне на Клецкую бітву. Сам вялікі князь у той час цяжка хварэў. У пакоях Лідскага замка 24 ліпеня 1506 года ён спавядаўся, прычасціўся і падпісаў духоўны тэстамент.
Падчас зацяжных войнаў паміж Рэччу Паспалітай і Маскоўскай дзяржавай мураваныя сцены замка адчулі моц найноўшай на той час абложнай тэхнікі. Пасля працяглай аблогі і гарматнага абстрэлу ўлетку 1659 года 30-тысячнае рускае войска князя Івана Хаванскага ўзяло замак штурмам.
Моцны ўдар па замку нанеслі шведы, якія на пачатку XVIII стагоддзя ўзарвалі абедзве вежы, і ўмацаванне страціла сваё стратэгічнае значэнне. Улетку 1794 года ў руінах замка вялі бой з царскімі войскамі паўстанцы Тадэвуша Касцюшкі.