Всё очень просто, нужно перемножить Сколько точек(пикселей) на экране на количество байт, отводимых под пиксель для отображения цвета. Тут нужно знать 3 факта
1. Для отображения любого цвета нужно ТРИ базовых (красный, зелёный, синий).
2. Если для цвета отводится n бит, то общее количество градаций этого цвета будет 2^n.
3. 8 бит = 1 байту.
Дальше совсем просто.
Если для цвета отводится n бит, а базовых цветов 3, то всего можно отобразить, конечно
2^(3*n) цветов = 16777216 = 2^24=2^(3*8)
то есть под цвет отводится 8 бит или 1 байт, а так как цветов 3, то на каждый пиксел отводится 3 байта, поэтому и памяти нужно
1024*768 * 3 байта, а так как 2^10=1024=1Кбайт, то ответ 768*3Кбайт=2304Кбайта, то есть почти 2.5Мбайта. Если нужен ответ в байтах, то просто перемножить, получится 2359296 байт.
Вот и всё.