Пословица изначально звучит так: ИНАЯ простота хуже воровства. Или вот вариант: СВЯТАЯ простота хуже воровства. Разницу чувствуете?: )
Когда человек ворует, он понимает, что поступает дурно. Следовательно, в принципе, способен различать "хорошо" и "плохо", а в итоге способен на раскаяние. А в своей простоте человек не понимает, что совершает дурной поступок.. . а значит, будет поступать так из раза в раз. И ни о каком раскаянии тут и речи быть не может.