Полагаю, так: сначала надо определиться, что значит "раздражаться".
Если
это - "реагировать на раздражители", то раздражаться должно все живое, и
если нечто не реагирует на раздражитель - это нечто уже сдохло и оттого
здоровьем особым похвастать не может))
Если же подразумевать под словом "раздражаться" бытовой смысл - "нервничать, злиться, горячиться" - то, вполне возможно, такое состояние, если оно происходит слишком часто, может отрицательно сказаться на здоровье. Это даже может привести к потере аппетита... Хотя для, тех, кто страдает от излишнего веса, это скорее благо))
Для меня несомненно одно, что если человека, как сказано в вопросе, совсем уж "ничего не раздражает" - здоровье его точно требует пристального внимания специалиста))