Лучшим реагентом будет ортофосфат натрия, Na3PO4.
Общая жесткость воды состоит из карбонатной(точнее - гидрокарбонатной, которую придают Ca(HCO3)2 и Mg(HCO3)2), которая относительно легко убирается кипячением, и постоянную: там участвуют соли тех же кальция и магния, только уже преимущественно хлориды и сульфаты. Они, в отличие от гидрокарбонатов, более стойкие к нагреванию. Например, CaSO4, MgCl2.
Ортофосфат натрия легко вступает в реакцию с представленными солями обоих типов, образуя осадок, который легко отделить механически:
3Ca(HCO3)2 + 2Na3PO4 → Ca3(PO4)2↓ + 6NaHCO3
3MgSO4 + 2Na3PO4 → Mg3(PO4)2↓ + 3Na2SO4.
В промышленности также используются ионообменные смолы, но это уже как дополнение к основному ответу.