Наряду с изменением и перераспределением властных полномочий высших органов власти в 20-30-е гг. происходило усиление карательно-репрессивного аппарата и силовых наркоматов. В 1924 г. ЦИК СССР утвердил "Положение о правах ОГПУ в части административных высылок и заключения в концентрационный лагерь", согласно которому принятие постановлений о подобных мерах возлагалось на Особое совещание при ОГПУ. В связи с требованием Сталина централизовать всю работу правоохранительных органов в 1934 г. был образован Наркомат внутренних дел (НКВД) СССР. В него в полном составе вошло ОГПУ, преобразованное в Главное управление госбезопасности. При этом происходило постоянное расширение полномочий ОГПУ-НКВД. В 1930 г. было образовано Управление лагерями ОГПУ при СНК СССР, переименованное в 1931 г. в Главное управление лагерей ОГПУ (ГУЛАГ). Общая численность заключённых в лагерях и колониях ГУЛАГа по официальным данным возрастала со 179 тыс. человек в 1931 г. до 2 млн. человек в 1941 г. Каждый третий заключённый был осуждён по политическим мотивам, а многие другие в той или иной степени являлись жертвами социальной и экономической политики сталинского режима.
Изменения в системе госучреждений в 1930-е гг. свидетельствовали о складывании основ тоталитарного режима с мощным репрессивным аппаратом. При этом большое значение имели кадровые перестановки в руководстве центральными органами. В течение 20-х гг. важнейшие посты в правительстве и других центральных учреждениях были заняты сторонниками Сталина.
К середине 30-х гг. в СССР произошли изменения во всех сферах жизни. Изменился социальный состав населения, в промышленности и сельском хозяйстве был уничтожен частный сектор, качественные изменения произошли в системе госучреждений и в сфере национально-государственного строительства. Официально было заявлено о построении основ социализма в СССР.
В начале 1935 г. ЦК ВКП(б) было принято решение о внесении корректив в Конституцию СССР, которые должны были отразить произошедшие в стране изменения. 5 декабря 1936 г. VIII Чрезвычайный съезд Советов СССР принял новую Конституцию. В ней впервые появилась статья, закрепляющая особое положение коммунистической партии в системе госучреждений СССР. Согласно 126 статье Конституции наиболее активные граждане из числа рабочего класса и других слоёв трудящихся объединялись в ВКП(б), руководящее ядро всех организаций трудящихся как общественных, так и государственных.
Изменения также коснулись избирательного закона: был провозглашён отказ от многоступенчатых выборов и установлено всеобщее, прямое, равное избирательное право при тайном голосовании. Значительно был расширен перечень прав и свобод граждан: законодательно закреплялись неприкосновенность личности, свобода совести, свобода слова, печати, собраний и митингов, тайна переписки, ограниченное право личной собственности и др.
Вместе с тем конституционные права вступали в противоречие с реалиями сталинского социализма и не распространялись на весь советский народ, например, на колхозников. Повсеместно нарушалась статья 127 Конституции СССР о неприкосновенности личности, в которой говорилось о том, что "никто не может быть подвергнут аресту иначе как по постановлению суда или с санкции прокурора".