Родился 16 мая 1866 в многодетной крестьянской семье. Закончил двухклассное училище. В 1881 году семья Коваленко перебралась в Екатеринодар, где отец отдал мальчишку рассыльным в бакалейный магазин купца Пяткова, где он дослужился до кассира. Работая кассиром, Фёдор начал приобретать книги, гравюры, картины. К 1890 году коллекция разрослась до таких размеров, что её владелец счёл возможным устроить у себя на дому первую выставку.