Рассмотрим случай двух классов. Возможно два типа ошибок классификации:
В связи с тем, что названные события взаимоисключающие и составляют полное множество событий, вероятность ошибки может быть рассчитана в соответствии с выражением
В случае многих классов проще вычислить вероятность правильного решения:
Полученный результат справедлив при любом разбиении пространства решений. Разбиение в соответствии с байесовским критерием гарантирует, что полученная вероятность будет максимальной.