Вольтметр показывает падение напряжение на его клеммах.
Если цепь разомкнута и Вы подсоединили клеммы вольтметра к батарее, то, собственно говоря, сам вольтметр и замкнул цепь, и весь возможный ток проходит через него. Но сопротивление вольтметра очень велико, так что ток получается ничтожный. Соответственно, падение напряжения на батарее будет очень мало (произведение ничтожного тока на внутреннее сопротивление батареи). Практически все падение напряжения в цепи будет на вольтметре. Он при этом покажет "потенциальные возможности" батареи, т.е. ее ЭДС.
Если цепь замкнута и Вы подсоединили клеммы вольтметра к батарее, то теперь у Вас к батарее параллельно подключены вольтметр и внешняя цепь. При параллельном соединении результирующее сопротивление меньше любого из двух соединенных сопротивлений. Поскольку сопротивление вольтметра очень велико, то результирующее сопротивление будет примерно равно сопротивлению внешней цепи (чуть меньше). В результате по цепи через батарею будет идти гораздо больший ток, чем в предыдущем случае. Это приведет к большему падению напряжения на внутреннем сопротивлении батареи, а соответственно вольтметру достанется "меньше", чем при разомкнутой цепи.
Таким образом, при замыкании цепи вольтметр показывает меньшее напряжение, чем если цепь разомкнута. Чем больше внутреннее сопротивление батареи, тем заметнее эта разница.