Думаю, в прямом. Время вообще беспощадно, заставляет нас меняться, путает судьбы людей, да и вообще часто вредит всем. Только это от него не зависит, вот в чем загвоздка... Однако, переносное значение - это абсолютно другое, так что здесь все имеется в виду в буквальном смысле.