Второй сын боярина князя Василия Андреевича Голицына (ум. 1652) и княжны Татьяны Ивановны Ромодановской. В царствование Феодора Алексеевича (1676—82) занимал ключевые посты в государстве. Был возведён в ранг боярина[1], заведовал Пушкарским и Владимирским судными приказами.
В период правления царевны Софьи Алексеевны возглавил с 1682 года Посольский приказ. В это время внешнеполитическая обстановка для России была очень сложной — напряжённые отношения с Речью Посполитой, подготовка Османской империи, несмотря на Бахчисарайский мирный договор 1681 года, к войне с Русским царством, вторжение крымских татар в мае — июне 1682 года в русские земли.
Приступил к проведению активной внешней политики, направив в Константинополь чрезвычайное посольство, чтобы склонить Порту к союзу с Русским царством на случай войны с Польшей. Другое русское посольство — в Варшаве — работало над усилением противоречий между поляками и турками. Результатом стал отказ Польши и Турции от прямого выступления против Москвы
Являлся сторонником европеизации, а также (по утверждению С. М. Соловьёва), покровительствовал иезуитам. Один из европейских посланников так описывал Голицына: