Нас угостили (по чему?) по горсточке, дательный падеж, чтобы определить склонение, надо существительное поставить в начальную форму (Именительный падеж, единственное число) - горсточка, она моя оконание а, следовательно 1-ое склонение.
Нас угостили (по чему?) по горсти, также дательный падеж, начальная форма - горсть, она моя, но окончание нулевое, следовательно 3-ие склонение.
В итоге различие в склонениях, также слово горсточка в уменьшительно-ласкательной форме, а слово горсть находится в обычной форме.