When we were children, we used to GO swimming very often.
Примечание:
Used to используется для описания действия или привычки, которые происходили когда-то или регулярно в прошлом, но они уже не актуальны сегодня. Конструкция used to используется только в прошедшем времени. Конструкцию used to + инфинитив можно заменить Past Simple без потери смысла.