Фанис Яруллин родился 9 февраля 1938 года в деревне Кзыл-Яр Бавлинского района Татарской АССР. Его семья была многодетной — шесть детей воспитывала одна мать, поскольку отец Фаниса — Яруллин Гатаулла — погиб на фронте в 1942 году. В трудные послевоенные годы у Фаниса Яруллина не было возможности получить хорошее образование. Чтобы избежать голода, в 1954 году после окончания 8-го класса 16-летний Фанис в поисках работы уезжает в районный центр и устраивается монтёром в контору связи объединения «Татнефть». Через 3 года он становится уже высокоразрядным монтёром.
В 1957 году Фаниса призывают в армию, где он попадает в школу авиации, в которой готовят воздушных стрелков-радистов. Он также записывается в спортивную секцию, где начинает заниматься легкой атлетикой. В этой области он добивается отличных результатов. Однако во время упражнений Фанис неудачно падает на спину и оказывается навсегда прикованным к постели. Здесь он впервые пробует себя в поэзии. Находясь в больнице, Фанис заканчивает среднюю школу. В 1964—1970 годах Фанис заочно учится вКазанском государственном университетеи успешно оканчивает его.
В 1964 году в Татарском книжном издательстве выходит первый сборник его стихов. («Мин тормышка гашыйк» — «Я влюблен в жизнь»). В том же году на Всесоюзном конкурсе, проведённом «Комсомольской правдой», стихи Фаниса Яруллина занимают 2-е место и включаются в поэтический сборник «Розовый олень», который выходит в издательстве «Молодая гвардия». Стихи, рассказы Фаниса Яруллина печатаются в различных газетах и журналах, альманахах в переводах на русский, казахский, украинский, венгерский, болгарский и другие языки.
От небольших по объёму произведений — стихов и рассказов — Фанис постепенно переходит к написанию больших поэм и повестей. Повести «Упругие паруса», «Крик гуся», «Мелодия цветов» и поэтические произведения — «Крик души», «Нэсел агачы» («Древо жизни») , ("Кал человека")принесли ему особенную известность. В 1978 году за сборники стихов «Дыхание» и «Неразлучный друг» Фанису Яруллину была вручена республиканская премия имени Мусы Джалиля, а в 1995 году его книга «Крик души» была удостоена Государственной премии РТ имени Габдуллы Тукая.
В 2001 году ему присвоено званиеНародный поэт Республики Татарстан. В 1984 году за успехи в области литературы писателю было присвоено звание «Заслуженный работник культуры Республики Татарстан», а в 1988 году награждён орденом «Дружбы народов». Его произведения включены в школьные учебники.
Скончался после продолжительной болезни 9 декабря 2011 года.