Быть белой вороной - это значит быть изгоем, т.е. человеком, с которым никто не хочет общаться, который чем-то не угодил обществу.
Во втором случае, когда говорят: "Ты что, с другой планеты свалился?" имеется в виду, что человек в данный момент совершил оплошность, что-то не так сказал или о чем-то не знал и задал глупый вопрос. Это носит кратковременный характер, в отличие от первого выражения.