Постановка нашей задачи предполагает, что верна либо гипотеза Н0, либо Н1. При каждом испытании возможен один из четырех исходов:
1. Верна гипотеза Н0, принимаем решение Н0.
2. Верна гипотеза Н0, принимаем решение Н1.
3. Верна гипотеза Н1, принимаем решение Н1.
4. Верна гипотеза Н1, принимаем решение Н0.
Первый и третий варианты соответствуют истинным решениям, а второй и четвертый – ошибочным.
Смысл описываемого критерия решения состоит в том, что каждому из возможных исходов приписывается некоторая относительная стоимость (штраф), которая выбирается из эвристических соображений. Обозначим стоимости упомянутых выше исходов наблюдения вектора через С00, С10, С11, С01 соответственно. Первая цифра подстрочного индекса означает выбранную гипотезу (принятое решение), а вторая – гипотезу, которая была правильной.
Следующее допущение состоит в том, что каждой из исходных гипотез соответствуют априорные вероятности Р1 и Р0.
Каждый опыт, связанный с наблюдением реализации входного случайного процесса, будет сопряжен с определенными потерями, оцененными в форме вышеупомянутых стоимостей. Таким образом, стоимость – случайная величина вероятность которой есть вероятность события, заключающегося в том, что принимается i-я гипотеза, а справедлива j-я. Необходимо сформулировать критерии принятия решения таким образом, чтобы минимизировать среднюю величину стоимости, иначе говоря, минимизировать средний риск:
(2.2.1)
где Рij – вероятность совместного выполнения двух событий: принимается решение в пользу i-й гипотезы, а истинной является j-я.
Использование формулы умножения вероятностей позволяет получить выражение
Pij = Pj p(Hi / Hj) , (2.2.2)
где Р(Нi/Нj) – условная плотность вероятности принять решение в пользу i-й гипотезы при истинной j-й.
С учетом (1.2.2) запишем выражение среднего риска:
(2.2.3)
Поскольку мы предполагаем, что в итоге следует выбрать либо Н1, либо Н0, правило решения заключается в разбиении пространства наблюдения на две части: Г1 и Г0 (рис. 2.1). Если результат наблюдения вектор
оказывается в Г0, то принимается решение в пользу гипотезы Н0, а если в Г1 – то в пользу Н1.
Рис. 2.1. Область решения
Теперь запишем выражение для риска через условные вероятности и подпространства решения:
(2.2.4)
При записи формулы (2.2.4) учтено, что условная вероятность принятия i-й гипотезы при истинной j-й совпадает с вероятностью попадания вектора , распределенного с плотностью
, в подпространство Гi пространства Г (Гi ⊂ Г).
Далее будем считать, что стоимость ошибочно принятого решения выше, чем стоимость правильного решения, т.е.
C10 > C00; C01 > C11. (2.2.5)
Чтобы определить результат байесовского испытания (минимизировать средний риск), следует выбрать подпространства решений Г0 и Г1 так, чтобы величина (2.2.4) была сведена к минимуму.
Поскольку все пространство Г есть сумма Г0 и Г1
Г = Г0 + Г1, (2.2.6)
постольку перепишем выражение риска в следующем виде:
(2.2.7)
Учитывая условия нормировки
(2.2.8)
выражение (1.2.7) можно привести к виду
(2.2.9)
Первые два члена в (2.2.9) не изменяются, коэффициенты Р1(С01 – С11) и Р0(С10 – С00) в силу предположения (2.2.5) положительны. Поэтому для минимизации среднего риска область Г0 принятия нулевой гипотезы должна быть выбрана таким образом, что все значения , при которых второй член подынтегрального выражения больше, чем первый, были включены в эту область, т.к. эти значения вектора наблюдаемых данных вносят отрицательный вклад в интеграл и, следовательно, уменьшают средний риск.
Аналогично все значения , когда второй член подынтегрального выражения меньше первого, следует исключить из Г0 (отнести к Г1), поскольку ими вносится в интеграл положительная величина. Таким образом, области решения определяются следующим условием, если
(2.2.10)
то относим к Г1 и, следовательно, утверждаем, что истинна гипотеза Н1; в противном случае относим
к Г0 и утверждаем справедливость Н0. Перепишем формулу (2.2.10) в виде
(2.2.11)
Величину в левой части неравенства (2.2.11) называют отношением правдоподобия и обозначают через :
(2.2.12)
Величина в правой части неравенства (2.2.11) является порогом испытания и обозначается через h:
(2.2.13)
Таким образом, критерий Байеса приводит нас к критерию отношения правдоподобия
(2.2.14)
Важно отметить, что необходимые для минимизации среднего риска функциональные преобразования над наблюдаемыми данными заключаются в вычислении , а значения априорных вероятностей и стоимостей учитываются только при определении порога. Указанная инвариантность процедуры обработки информации имеет большое практическое значение. Условие (2.2.14) позволяет определить все устройство обработки, рассматривая h как переменный порог, учитывающий происходящие изменения в наших оценках априорных вероятностей и стоимостей.
Если – монотонная функция, то эквивалентной формой записи критерия отношения правдоподобия будет
В том случае, когда отношение правдоподобия принадлежит к экспоненциальному семейству функций, в качестве функции φ целесообразно выбрать натуральный логарифм:
При этом устройство классификации двух изображений существенно упрощается.