В свое время, в ходе внутрипартийной борьбы Сталина с оппонентами - Троцким, Каменевым, Зиновьевым, Бухариным и прочими, Троцкий был признан чуть ли не врагом народа, он был изгнан из СССР.
В стране начинались жесткие репрессии против троцкистов - последователей идей и учения Троцкого. Если кто получал обвинение в троцкистских взглядах, этот человек считался врагом советского народа и получал приличный срок по политической статье.
Думаю, выражение "с таким хоть на Троцкого" подразумеваем, чт с конкретным человеком, к которому обращена данная фраза, не страшно идти даже на самого заклятого, умного и хитрого врага.