И.П. Каторжный в боях Великой Отечественной войны с ноября 1941 года. Воевал в составе 125-го полка морской пехоты Северного флота. Участник обороны Заполярья и ряда десантных операций на побережье Баренцева моря. Особо отличился в ходе Петсамо-Киркенесской наступательной операции в октябре 1944 года. В составе десантного отряда участвовал в десанте в ночь с 12 на 13 октября 1944 года в порт Лиинахамари — крупного опорного пункта противника на подступах к населенному пункту Петсамо (ныне поселок городского типа Печенга). В бою заменил выбывшего из строя командира взвода и умело руководил действиями подразделения. Взвод под его командованием уничтожил 13 огневых точек, захватил 3 причала порта и укрепленное здание гостиницы порта. Водрузил Красный флаг над портом.
5 ноября 1944 года за мужество и героизм, проявленные в боях с немецко-фашистскими захватчиками, старшему сержанту Каторжному Ивану Павловичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».