Пусть в "долях" a <= b <= c вершин, и проведены все рёбра между разными "долями". Так как из каждой вершины, лежащей в первой "доле", можно провести только b + c рёбер, из второй доли — a + c рёбер, из третьей — a + b рёбер, то общее количество рёбер равно (a * (b + c) + b * (a + c) + c * (a + b))/2 = ab + ac + bc (деление на 2 возникает из-за того, что каждое ребро подсчитывается дважды).<br>Нужны такие a, b, c, при которых значение выражения ab + bc + ac будет максимально. Максимальное значение можно найти перебором.
python 3:
max_value = 0
for a in range(40//3 + 1):
for b in range(a, (40 - a)//2 + 1):
c = 40 - a - b
value = a * b + a * c + b * c
max_value = max(max_value, value)
print(max_value)
Ответ. 533