Детство Шварца прошло в Майкопе. Он не окончил юридический факультет Московского университета, где учился в первые годы после Октябрьской революции 1917 года, поскольку начал играть в театрах-студиях – сначала в Ростове-на-Дону, а с 1921 года в Петрограде - в «Театральной мастерской».