Борис Григорьев родился в Москве, мать его Клара фон Линденберг была шведкой. Борис был внебрачным ребёнком Дмитрия Григорьева, царскосельского мещанина, по образованию — бухгалтера, служившего управляющим Рыбинским отделением Волжско-Камского коммерческого банка. В возрасте четырёх лет был официально усыновлён и стал воспитываться в семье отца; позднее в воспоминаниях напишет, что его детство в Рыбинске из-за его полурусского-полушведского происхождения и из-за незаконнорожденности не было счастливым.