Слушать - глагол действия. Значит, задаём вопрос: прислушиваюсь к чему? - к твоему мнению . Прислушиваюсь чего? - даже слух режет. Определенного правила здесь нет. Это умение пользоваться русским языком, и грамотная работа с правилами падежей и составлением словосочетаний.