Значение Стародуба усиливалось с возвышением Москвы. В 1446 г., когда ослепили московского князя Василия Васильевича, в Литву бежал его союзник — боровский князь Василий Ярославович, получивший в удел в числе других и Стародуб. По возвращению Василия Темного на княжение вернулся и боровский князь, а Стародуб стал владением укрывшегося в Литве их противника — Ивана Андреевича Можайского, а затем его сына — Симеона. Попытки склонить Симеона Ивановича к католической религии вынудили его вернуться в 1500 г. на родину. При этом ему удалось сохранить за собой и стародубский удел. Естественно, что Литва не могла согласиться с потерей своей территории — вспыхнула война, которая окончилась признанием в 1503 г. прав Симеона, впрочем ненадолго. Для Стародуба вновь начались мрачные времена набегов и разрушений. Особо памятен горожанам был разгром 1534 г., когда поляки и литовцы истребили около 13 тыс. горожан.