Это из Древней Греции. Долговой камень - это своеобразное "напоминание" о том, что у человека есть долг. Иметь долговой камень, не значило относиться к лучшей половине населения(В Др. Греции). Также, если горожанин не возвращал долг в срок, он становился рабом.