Да,это фразиологизм
Так же как и:
Камень преткновения
пробный камень
камня на камне не оставить
краеугольный камень
камень с души свалился
держать камень за пазухой
забрасывать камнями
камни вопиют
подводные камни
искать философский камень
вешать камень себе на шею
лечь камнем
камнем упасть
камень на душе
кидать камень в огород
А еще с горой:
как будто гора с плеч