Научная электронная библиотека
Монографии, изданные в издательстве Российской Академии Естествознания

2.10.3. Оценка апостериорных вероятностей. Правило ближайших соседей

Методы, рассмотренные в п. 2.10.1, могут быть с успехом использованы для оценки апостериорных вероятностей P(Hi/x) и, следовательно, для принятия решений по критерию максимума названных вероятностей.

Предположим, что мы размещаем ячейку объема V вокруг x и захватываем k обучающих выборок, ki из которых оказываются принадлежащими гипотезе Hi. При этом

doros192.wmf

Таким образом, приемлемой оценкой для P(Hi/x) будет

doros193.wmf (2.10.8)

Из формулы (2.10.8) следует, что оценкой апостериорной вероятности того факта, что справедлива гипотеза Hi, является доля выборок, отмеченных при обучении как принадлежащих i-му классу. Если число обучающих выборок достаточно велико, а размер ячейки достаточно мал, то получаем практически наилучшую оценку апостериорной плотности.

Интересно, что хорошее решение (близкое к оптимальному) получается при принятии решения о справедливости той или иной гипотезы всего по одному ближайшему соседу. Смысл данного правила заключается в том, что решение принимается в пользу той гипотезы, которой соответствует самая близкая [1] обучающая выборка.

Очевидным расширением правила ближайшего соседа является правило k ближайших соседей. В этом случае анализируют k обучающих выборок, расположенных рядом с наблюдаемой выборкой. Предпочтение отдается той гипотезе, которая порождает большее число обучающих выборок в окрестности наблюдаемой выборки, для которой принимается решение.


Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074