Можно остаться наедине и поговорить.
Можно позвать классного руководителя и при ней заслушать мнение ученика и мнение учителя, а после постараться придти к какому - нибудь нейтральному компромиссу, который бы устраивал обе стороны (ученика и учителя физкультуры).