При подстановке 0 получается 0^2*cos0/sin0, что не определено. Тогда по правилу Лопиталя берем производную от числителя и знаменателя отдельно: (x^2*cosx)'/sin'x=(2x*cosx + x^2*(-sinx))/cosx = (2xcosx -x^2sinx)/cosx.
теперь берем предел снова: (2*0*cos0 - 0^2 * sin0)/cos0 = (0 - 0)/1 = 0