Лучше всего использовать "Me too . . .".
Если хочется сказать, что вы тоже что-то сделали, нужно употреблять "Me too".
Употребить "I'm" можно только если в предложении есть вспомогательный глагол "to be".
Стоит понимать, что "to be fond of" - это конструкция, а "to be" здесь крепится к "fond of".
Поэтому употребить в кратком ответе "I am too" невозможно.