Раньше (во времена СССР и ранее) в городе люди и одевались по-другому (более вычурно), и разговаривали культурно, и прически были причудливые.
В деревне (в селе) же люди одевались, разговаривали по-простому и причесок не делали никаких.
Ни в селу, не к городу - это выражение применялось к нелепому наряду, который не подходил ни к селу, ни к городу. Или ляпнул что-то человек не подумав, говорят "ни к селу, ни к городу", т.е. несуразное, не подходящее к данной ситуации.