Вариантов вытащить 3 учебника из 4-х: С (3)(4)
вариантов вытащить 3 не учебника из 8-ми: С (3)(8)
всего кол-во нужных комбинаций С (3)(4) * С (3)(8)
вариантов вытащить 6 книг из 12-ти вообще: С (6)(12)
ответ = С (3)(4) * С (3)(8) / С (6)(12)
где C(m)(n) = n!/(m!*(n-m)!) - количество сочетаний