Да, она будет изменяться, а именно увеличиваться, т.к. выталкивающая сила зависит от плотности жидкости, ускорения свободного падения и объёма погружённого в жидкость тела. Плотность с глубиной начнёт увеличиваться и, следовательно, выталкивающая сила тоже