Во-первых, растительное масло относится к гиброфобным веществам, т.е. не растворяется в воде. Поэтому при наливании масла в воду эти жидкости не смешиваются (вода не растворяет масло)
Во-вторых, масло имеет меньшую плотность чем вода, поэтому вода опускается на дно, а масло всплывает на поверхность.