Методы, рассмотренные в п. 2.10.1, могут быть с успехом использованы для оценки апостериорных вероятностей P(Hi/x) и, следовательно, для принятия решений по критерию максимума названных вероятностей.
Предположим, что мы размещаем ячейку объема V вокруг x и захватываем k обучающих выборок, ki из которых оказываются принадлежащими гипотезе Hi. При этом
Таким образом, приемлемой оценкой для P(Hi/x) будет
(2.10.8)
Из формулы (2.10.8) следует, что оценкой апостериорной вероятности того факта, что справедлива гипотеза Hi, является доля выборок, отмеченных при обучении как принадлежащих i-му классу. Если число обучающих выборок достаточно велико, а размер ячейки достаточно мал, то получаем практически наилучшую оценку апостериорной плотности.
Интересно, что хорошее решение (близкое к оптимальному) получается при принятии решения о справедливости той или иной гипотезы всего по одному ближайшему соседу. Смысл данного правила заключается в том, что решение принимается в пользу той гипотезы, которой соответствует самая близкая [1] обучающая выборка.
Очевидным расширением правила ближайшего соседа является правило k ближайших соседей. В этом случае анализируют k обучающих выборок, расположенных рядом с наблюдаемой выборкой. Предпочтение отдается той гипотезе, которая порождает большее число обучающих выборок в окрестности наблюдаемой выборки, для которой принимается решение.