Если достаточно координат концов лучей звезды, то такая задача аналогична задаче поворота отрезка вокруг точки на заданный угол.
Для пятиконечной звезды угол равен 72 градуса.
Поместим центр окружности, в которую вписана звезда, в начало координат.
Пусть обозначим её точкой А (0;0).
Верхняя вершина звезды - точка В (0; R) - R задаётся координатой "у" точки В.
Далее по формулам (против часовой стрелки с плюсом, против - с минусом) указываем угол поворота.
X = x1+(x2-x1)*cos(A)-(y2-y1)*sin(A).
Y
= y1+(x2-x1)*sin(A)+(y2-y1)*cos(A).
Для примера в приложении радиус дан 5.