Дорешайте пожалуйста, не понимаю, что дальше делать (√a * √b - 2a√b) + (4a√b - 2√a * √b)...

Если выражение нужно упростить, то Вы остановились в шаге от победы:

$( \sqrt{a} * \sqrt{b} - 2a \sqrt{b}) + (4a \sqrt{b} - 2 \sqrt{a} \sqrt{b}) = \sqrt{b}( \sqrt{a} - 2a) + 2 \sqrt{b} (2a - \sqrt{a})$ $= \sqrt{b}( \sqrt{a} - 2a) - 2 \sqrt{b} (\sqrt{a} - 2a) = (\sqrt{a} - 2a)( \sqrt{b} - 2 \sqrt{b})$ $= - \sqrt{b}(\sqrt{a} - 2a).$

(Нужно было вынести минус из второй скобки, и скобки бы получились одинаковыми.)

Если задание было другим, напишите мне в комментариях, я исправлю.