X-y=5, xy=7 при этом значение надо вычислить x^3y +xy^3

Лучший способ. Вынести за скобки xy и выделить полный квадрат, дальше все легко считается при подстановке.

$x^3y+xy^3=xy(x^2+y^2)=xy(x^2-2xy+y^2+2xy)=xy((x-y)^2+2xy)$

Подставим теперь то, что задано в условии

$xy((x-y)^2+2xy)=7\cdot(5^2+2\cdot7)=7\cdot39=273$

Ответ: 273.