С началом Великой Отечественной войны в городе был введен комендантский час, предприятия были переведены на круглосуточный режим работы, а с приближением противника а июле 1941 года в городе был создан истребительный батальон, на базе которого впоследствии был создан Новозыбковский партизанский отряд. Жители города участвовали в строительстве оборонительных сооружений. 25 августа 1941 года город был оккупирован немецко-фашистскими войсками.
Оккупация нанесла огромный ущерб городу и району. Пять тысяч жителей было уничтожено, две тысячи угнано в Германию. Город лежал в руинах.
25 сентября 1943 года город Новозыбков был освобожден частями Красной Армии.
Сразу же после освобождения началось восстановление разрушенного войной города. Была восстановлена спичечная фабрика «Волна революции». Начал действовать педагогический институт, принявший в 1944 году первых студентов.