Решите уравнение 2 log(3)^2*(2cos x)-5 log(3)*(2cos x)+2=0

Во-первых, знак * между логарифмом и косинусом - неправильный.
Это не произведение логарифма на косинус, а функция логарифма от косинуса. Поэтому пишется просто в скобках: $log_3(2cos(x))$
Делаем замену: $y=log_3(2cos(x))$
2y^2 - 5y + 2 = 0
(y - 2)(2y - 1) = 0
$y1=log_3(2cos(x))=2$
2cos x = 3^2 = 9
cos x = 4,5 - решений нет.
$y2 = log_3(2cos(x))=1/2$
2cos x = 3^(1/2) = 1/9
cos x = 1/18
x = +-arccos(1/18) + 2pi*k