Я понятия не имею о том, как в латекс-редакторе составить систему трёх уравнений с тремя неизвестными, поэтому придётся писать текстом. В общем вот такая система:
xy=80
xz=60
zy=48
y=80/10
z=60/10
(80/x)(60/x)=48
4800/x²=48
x²=4800/48
x²=100
x=10 см
y=80/10=8 см
z=60/10=6 см