Потому что подобное растворяется в подобном: масло - неполярный растворитель, а вода - полярный, йод - молекула не полярная, следовательно она будет растворяться в не полярном растворителе, в вашем случае это масло. По-этому йода в воде будет крайне мало, а в масле будет почти весь йод, следовательно масло окрасится в бурый цвет.