Не знаю конечно как теоретически решить эту задачу, но логически это выглядит так:
если на 3 торта потратили 10 коржей, то три верхних коржа тортов не будут намазаны джемом, остаются 10-3=7 коржей, которые будут намазаны.
Т.к. 5 коржей намазаны клубничным джемом, то 7-5=2 коржа будут намазаны малиновым джемом