По-моему, не сразу. Но не осудил в момент "Утра". Он говорит. "Значит они знают что-то такое, чего не знаю я, если могут так поступать. А не осудил, потому, что знал: полковник искренне любит дочь. Полковник ИСКРЕННЕ выполняет приказ. Выполняет ТАК КАК ПРЕДПИСАНО. Все по правилу. В этом причина двуличия полковника.
А любовь сошла на нет, потому что Варенька была очень похожа (внешне) на отца. 1) Ив.Ив. было не оч. приятно встречаться с полковником.2) Боялся, что характер отца проявится у дочери.