Чтобы противостоять натиску Казани, нужно было укреплять Нижний Новгород, усиливать его оборону. С середины XV века здесь постоянно находился крупный военный гарнизон, а в 1500 году начинается строительство каменного кремля. При этом строительные работы шли медленно. К 1505 году была возведена только одна Ивановская башня. В это время к Нижнему Новгороду подошло 60-тысячное войско казанского хана Мухаммеда-Эмина. Началась многодневная осада. Положение обороняющихся становилось все боле отчаянным. И тогда нижегородский воевода Симский решает: привлечь к обороне города пленных литовцев, томившихся в нижегородских тюрьмах.Была пущена в дело артиллерия. Ядро,напрпвлен ное метким выстрелом Феди Литвича, поразило одного из предводителей штурма. Это вызвало панику в рядах нападающих, и они бежали от стен города.В награду за помощь воевода одарил литовцев и отпустил их на свободу.Осенью 1506 года Мухаммед-Эмин вновь попытку захватить город, но и на данный раз нижегородцы вынудили его отступить.Победы над врагом давались воинам гарнизона не легко. Мощная новая крепость была необходима городу.