Выражение подразумевает под собой некое зеркало. Так как все поступки обычно отражаются в памяти общества.Поступки бессовестных людей обычно в глазах общества становятся отрицательной меткой. В минуты негодования, общество вытащит некий козарь из рукава- припомнит твои отрицательные и безнравственные поступки