Растровое изображение строится из точек.
При увеличении такого изображения для сохранения качества должны появиться новые точки - а где их взять? Вот разные алгоритмы и пытаются их придумать, анализируя то, что находится рядом.
При уменьшении изображения часть точек придется отбросить. Хорошо, если каждую вторую (третью, четвертую и т.д), а если каждую 3/7-ю? Ведь уменьшают не обязательно в 2. 3, 4 и т.д. раз, можно уменьшить до 0.853452 исходного. Из-за подобных отбрасываний качество также страдает.