В январе 1703 года, после окончания учёбы, он получил должность придворного музыканта у веймарского герцога Иоганна Эрнста. Неизвестно точно, что входило в его обязанности, но, скорее всего, эта должность не была связана с исполнительской деятельностью. За семь месяцев службы в Веймаре распространилась слава о нём как об исполнителе. Бах был приглашён на должность смотрителя органа в церковь Св. Бонифация в Арнштадте, находящемся в 180 км от Веймара. С этим старейшим немецким городом у семьи Бахов были давние связи. В августе Бах занял пост органиста церкви. Работать ему приходилось всего 3 дня в неделю, а жалование было относительно высоким. Кроме того, инструмент поддерживался в хорошем состоянии и был настроен по новой системе, расширявшей возможности композитора и исполнителя. В этот период Бах создал много органных произведений.
Семейные связи и увлечённый музыкой работодатель не смогли предотвратить напряжение между Иоганном Себастьяном и властями, возникшее через несколько лет. Бах был недоволен уровнем подготовки певцов в хоре. Кроме того, в 1705—1706 годах Бах самовольно отлучился в Любек на несколько месяцев, где он познакомился с игрой Букстехуде, что вызвало недовольство властей[6]. Первый биограф Баха Форкель пишет, что Иоганн Себастьян прошёл более 40 км пешком, чтобы послушать выдающегося композитора[7], но сегодня некоторые исследователи подвергают этот факт сомнению[8].
К тому же, начальство предъявило Баху обвинения в «странном хоральном сопровождении», смущавшем общину, и в неумении управлять хором; последнее обвинение, видимо, имело под собой основания[9].
В 1706 году Бах решает сменить место работы. Ему предложили более выгодную и высокую должность органиста в церкви Св. Власия в Мюльхаузене, крупном городе на севере страны. В следующем году Бах принял это предложение, заняв место органиста Иоганна Георга Але[10]. Его жалование по сравнению с предыдущим было повышено, а уровень певчих был лучше. Четыре месяца спустя, 17 октября 1707 года Иоганн Себастьян женился на своей кузине Марии Барбаре из Арнштадта[11]. Впоследствии у них родилось семеро детей, трое из которых умерли в детстве. Трое из выживших — Вильгельм Фридеман, Иоганн Кристиан и Карл Филипп Эммануил — стали впоследствии известными композиторами.