Естественно есть формула! Это формула для сочетаний из n элементов по k штук. С=n!/(k!(n-k)!)
В твоём случае n=4 k=3 это значит, что C=4!/(3!*1!); C=24/6; C=8.
Если цвета могут повторяться, то это уже будет размещение, а не сочетание A=n!/(n-k)!
В данном случае A=24/1=24;
Если же флаг может быть не трёхцветным, то количество размещений с повторениями равно n^k. A=4^3=64.