Малый баклан имеет длину около 48 см, размах крыльев около 80 см, что почти в два раза меньше большого баклана. Оперение его чёрное с металлическим зеленоватым блеском, усыпанное белыми отметинами. Голова красновато-коричневая. Клюв относительно короткий, голого пятна возле основания клюва нет. В брачном наряде белые перья расположены по всему телу и имеют каплевидную форму.Мало осторожен, превосходно плавает и ныряет. Довольно легкий полёт со спокойными редкими взмахиваниями крыльев. Обычно держатся одиночно или парами, в осенний период встречаются небольшими стаями, состоящими чаще из одного выводка.Отдыхает, сидя на ветвях деревьев, на камыше или на каких-либо возвышениях у воды. Сидит прямо, почти вертикально, изогнув S-образно шею, обхватив лапой ветку или камыш и опираясь слегка на хвост. В это время бакланы обычно просушивают свое оперение, раскрыв крылья и изредка помахивая ими.
Пуховой птенец однотонный, тёмно бурый.Гнездовой наряд: верх головы и шеи бурый, подбородок грязно белесый, нижняя сторона шеи светло бурая. Спина и бока тёмно бурые, перья верхней части спины имеют светло бурые окаймления. Плечевые и верхние кроющие крыла с сероватым налётом и с тёмной каймой. Брюшная сторона тела буровато-белая, с рыжевато-бурыми размытыми пятнами на груди и зобе, на задней части брюшной стороны тела пятна черновато-бурые, продолговатой формы, переходящие постепенно в тёмно бурое подхвостье. Уже в этом наряде в январе появляются на боках зоба несколько белых каплевидных пёрышек.Первый брачный наряд: верх головы и шеи буровато-коричневый, нижняя сторона шеи немного светлее, подбородок светло бурый. Спина и надхвостье черные с зеленоватым металлическим блеском. Кроющие крыла, плечевые и второстепенные маховые с сероватым налетом, с темной предвершинной и бурой вершинной каймой. Низ тела тёмный, коричнево-бурый с крупными, не очень резкими более светлыми пятнами, образуемыми широкой светлой каймой перьев. Бока тела и подхвостье черновато-бурые.Второй брачный наряд: верх головы, шеи и вся верхняя сторона тела окрашены как у взрослой птицы, нижняя сторона тела несколько светлей. Подбородок светло бурый, низ тела однообразно буровато-чёрный без блеска. Белые каплевидные перья разбросаны по всему телу.Второй зимний (послебрачный) наряд почти не отличается от наряда взрослой птицы: нижняя сторона с более слабым металлическим блеском, на нижней части брюха ещё имеются отдельные более светлые перья.Послебрачный зимний наряд (взрослая птица): голова и верхняя половина шеи тёмно коричневые, почти чёрные с буроватым налетом; кольцо у основания клюва почти чёрное. Остальное оперение чёрное с зелёным металлическим блеском на спине и нижней стороне тела. Плечевые, лопаточные и верхние кроющие крыла чёрные с сероватым оттенком и с чёрной каймой отдельных перьев, образующих чешуйчатый рисунок. Клюв черновато-бурый, ноги чёрные, радужина бурая.Брачный наряд (взрослая птица) имеет в оперении спинной и брюшной стороны тела и на боках редкие мелкие каплевидные белые перья. Такие же перья, но меньших размеров, расположены вокруг основания клюва и глаз. Самцы и самки окрашены одинаково.У взрослых птиц 2 линьки в год