Софья Чацкого не любит. И она ему не интересна - он видит в ней только отражение своих надежд и идеалов. Это само по себе неприятно. Кроме того, она влюблена в другого, а Чацкий претендует на её любовь. Он довольно агрессивен. Поэтому вызывает раздражение.
Что касается Чацкого, то он - инфантильный и самодовольный молодой человек, которого все должны любить по умолчанию. Несмотря на то, что сам он всех презирает и критикует. Эти его личностные особенности не позволили ему сориентироваться в ситуации и завоевать расположение окружающих и хотя бы дружбу любимой девушки.