Хороший вопрос.
Это традиция. Слышал я и сочетание "боксёрские рукавицы" (никогда "варежки"), но доминировал всегда именно вариант "перчатки".
Откуда взялась эта традиция, не знаю, могу лишь предположить, что эти огромные рукавицы ни одному американцу не пришло в голову назвать mittens, посему их окрестили gloves, что и заимствовалось русским языком путём прямого перевода.
Однако это лишь умозрительная гипотеза, не претендующая на достоверность.