Предпочтительнее будет употребить "casual clothes" в письменном виде, так как существительное "casual" имеет ряд различных переводов, зависящих от контекста:
- жертва несчастного случаю
- случайный покупатель
- служащий в резерве (военный термин)
- разовое выступление (кино)
- повседневный стиль! (не только одежда)
В разговорном стиле, конечно же, вас поймут, если скажите без "clothes". Более того, во многих требованиях к мероприятию будет прописываться так:
dress: casual или dress code: casual.