Пусть гномов x, тогда за первый круг они взяли монет:
S1=1+2+3+4+...+x
За второй круг:
S_2=(x+1)+(x+2)+(x+3)+...+(x+x)=x*x+S_1
Аналогично за третий:
S_3=x*x+S_2 = x*x + x*x + S_1 = 2x*x + S_1
По условию за третий круг было взято на 338 монет больше, значит
2x*x+S_1=S_1+338
2x*x=338
x*x=169
x=13