Что определяет потенциал поля в данной точке
Он показывает, какую работу надо совершить чтобы переместить в эту точку единичный заряд из точки с нулевым потенциалом. Это если формально подходить. А по сути имеет смысл только разность потенциалов.