Возможно, грибоедов брал в счет только тех, кто был главным зачинщиком какой либо мысли, а не толпу следовавшую за глупцом. Например, Фамусов-убежден в своих доводах и за ним следуют остальные, которых Грибоедов не считал за глупцов, а скорее не имевшими своей точки зрения, взглядов и т.д.