Тут очень сложно определить.
Если задавать вопрос, то получается кафе ср.р.
Однако, мужской род этого слова для русского языка нелеп и нелогичен. Любое существительное, заканчивающееся на -о или -е, в русском языке воспринимается как слово среднего рода. Раньше бодрящий напиток назывался словом "кофий".