Глагол make в значении "заставить" употребляется следующим образом:
- обычно после него to НЕ ставится: He made me tell the truth - он заставил меня сказать правду (Active Voice - действительный залог - подлежащее само выполняет действие)
- но если глагол make стоит в в Passive Voice, то частица TO ставится.
Например, He wasmadetotell the truth. - Его заставили сказать правду. (подлежащее не выполняет действие)
Ваше предложение должено быть следующим: He made me go there.
(Это Active Voice - подлежащее само выполняет действие, значит, частицу to ставить не нужно)