Первое упоминание о строительстве замка датируется 1551 годом и приписывается Николаю Радзивиллу Чёрному. В 1580-х годах при Николае Радзивилле Сиротке замок был перестроен и представлял собой прямоугольник примерно 170 на 120 метров с несколькими тайными входами-выходами. Согласно размещенной над входом во дворец закладной плите, начата перестройка была 7 мая 1583 года.
Во время русско-польской войны замок выдержал осады русских войск, бравших штурмом сам Несвиж, в 1654 и 1659 годах.
В 1706 году во время Северной войны замок был захвачен шведскими войсками и превращён в военный бастион, многое в замке было разрушено. Только в конце 1720-х гг. началась реконструкция, а в 1740 году построена дворцовая часовня.
В 1792 году во время войны против польских конфедератов замок сдался русским отрядам под командованием И. Е. Ферзена и Л. Л. Беннигсена.
В 1812 году владелец замка Доминик Иероним Радзивилл выступил на стороне французской армии, после чего вынужден был бежать. Только в 1860-х гг. замок вернулся к Радзивиллам, после чего началось его расширение и строительство собственно комплекса: Замковый парк, Старый парк, Японский сад, Новый парк, Английский парк. Общая площадь всего комплекса к 1939 году составляла около 90 гектаров.
28 июня 1941 г. в замке располагался штаб немецкой 2-й танковой группы генерала Гудериана.