Что такое z-оценка? Что такое p-значение?

Большинство статистических тестов начинаются с определения нулевой гипотезы. Нулевая гипотеза для инструментов анализа структурных закономерностей (Группа инструментов Анализ структурных закономерностей и Список кластеров) – это полная пространственная хаотичность (ППХ) или самих объектов или значений, связанных с ними. Z-оценки и p-значения, полученные в результате анализа структурных закономерностей, свидетельствуют о том, можно ли отклонить нулевую гипотезу или нет. Как правило, вы запускаете один из инструментов анализа структурных закономерностей, предполагая, что z-оценка и р-значение будут свидетельствовать о возможном опровержении нулевой гипотезы. Это будет говорить о том, что ваши объекты или значения, связанные с ними, проявляют статистически значимую кластеризацию или дисперсию. Всякий раз, когда вы видите пространственную структуру, такую как кластеризация ландшафта (или пространственных данных), вы видите доказательства работы некоторых основных пространственных процессов, и, как географа или ГИС-аналитика, это может интересовать вас больше всего.

p-значение – это вероятность. Для анализа структурных закономерностей, это вероятность того, что наблюдаемые пространственные закономерности были созданы некоторым случайным процессом. Когда p-значение является очень маленьким, это означает, что это очень маловероятно (маленькая вероятность), что наблюдаемые пространственные закономерности – результат случайных процессов, таким образом, можно отклонить нулевую гипотезу. Вы можете задать вопрос: насколько маленький объект в действительности мал? Хороший вопрос. Смотрите таблицу и обсуждения ниже.

Z-оценки являются стандартными отклонениями. Если, например, инструмент возвращает z-оценку +2.5, вы сказали бы, что результат – это 2.5 стандартных отклонений. И z-оценки, и p-значения связаны со стандартным нормальным распределением, как показано ниже.

Очень высокие или очень низкие (отрицательные) z-оценки, связанные с очень маленькими p-значениями, располагаются в хвостах нормального распределения. Когда Вы запускаете инструмент анализа структурных закономерностей, и он приводит к маленьким p-значениями или очень высоким или очень низким z-оценкам, это указывает, что маловероятно, что наблюдаемая пространственная модель отражает теоретическую случайную структурную закономерность, представленную Вашей нулевой гипотезой.

Чтобы отклонить нулевую гипотезу, Вы должны сделать субъективное суждение относительно уровня риска, который вы готовы принять для того, чтобы ошибиться (для того, чтобы ложно отклонить нулевую гипотезу). Следовательно, прежде чем вы запустите пространственный статистический процесс, вы выбираете доверительный уровень. Типичные доверительные уровни 90, 95, или 99 процентов. Доверительный уровень 99 процентов был бы самым консервативным в этом случае, указывая, что вы не желаете отклонить нулевую гипотезу до тех пор, пока вероятность, что модель была создана случайным процессом, не является действительно маленькой (меньше чем 1-процентная вероятность).

Доверительные уровни

В таблице ниже показаны некорректированные критические p-значения и z-оценки для различных доверительных уровней.

Примечание:

Инструменты, которые позволяют применять FDR, будут использовать корректированные критические p-значения. Эти критические значения будут такими же или меньше, чем показанные в таблице ниже.

z-оценка (Стандартные отклонения)	p-значения (Вероятность)	Доверительный уровень
< -1,65 или > +1,65	< 0,10	90%
< -1,96 или > +1,96	< 0,05	95%
< -2,58 или > +2,58	< 0,01	99%

Рассмотрим пример. Критические значения z-оценки, используя 95-процентный доверительный уровень являются-1.96 и +1.96 стандартными отклонениями. Нескорректированное p-значение, связанное с 95-процентным доверительным уровнем, равно 0.05. Если z-оценка находится между -1.96 и +1.96, то нескорректированное p-значение будет больше чем 0.05, и вы не сможете отклонить нулевую гипотезу, поскольку показанная модель может, вероятно, быть результатом случайных пространственных процессов. Если z-оценка падает вне того диапазона (например,-2.5 или +5.4 стандартных отклонений), наблюдаемая пространственная модель, вероятно, слишком необычная, чтобы быть результатом случайного процесса, и p-значения будут маленькими, чтобы отклонить это. В этом случае возможно отклонить нулевую гипотезу и возобновить выяснение, что могло бы вызывать статистически существенную пространственную структуру в ваших данных.

Ключевая идея здесь состоит в том, что значения в середине нормального распределения (z-оценки такие как 0.19 или-1.2, например), представляют ожидаемый результат. Когда абсолютное значение z-оценки является большим, и вероятности являются маленькими (в хвостах нормального распределения), однако, вы видите что-то необычное и вообще очень интересное. Для инструмента Анализ горячих точек например, "необычный" означает статистически существенную "горячую" или "холодную" точку.

Коррекция FDR

Инструменты анализа локальных пространственных закономерностей, включая Анализ горячих точек и Анализ кластеров и выбросов (Anselin Локальный индекс Морана I) предлагают дополнительный параметр Применить коррекцию FDR. Когда этот параметр включен, Коррекция FDR снижает критический порог p-значения, показанный в таблице выше, чтобы использовать во множественном тестировании и в пространственной зависимости. Уменьшение, если происходит, является функцией числа входных объектов и используемой структуры окружения.

Инструменты анализа локальных пространственных закономерностей работают, рассматривая каждый объект в контексте окружающих объектов, и определяют, отличается ли локальная закономерность (целевой объект и его окружение) от глобальной (все объекты набора данных). Результаты вычислений z-оценки и p-значения, связанные с каждым объектом, позволяют определить, является ли различие статистически значимым или нет. Этот аналитический подход создает определенные сложности при множественном тестировании и изучении зависимостей.

Множественное тестирование – с уровнем достоверности 95 процентов, теория вероятности говорит о том, что существует только 5 шансов из 100, что пространственная закономерность может быть структурированной (кластеризованной или дисперсионной, например) и может быть связана со статистически значимым p-значением, когда на самом деле, пространственные процессы, создающие эту закономерность, являются случайными. В этом случае мы неверно отвергаем нулевую гипотезу, основываясь на статистически значимых p-значениях. Пять шансов из 100 выглядят достаточно убедительно, пока вы не поймете, что локальная пространственная статистика выполняет тест каждого объекта в наборе данных. Например, если имеется 10000 объектов, мы может получить до 500 ошибочных результатов.

Пространственная зависимость – близко расположенные объекты имеют тенденцию к сходности; они чаще, чем не пространственные данные, демонстрируют такой тип зависимости. Тем не менее, для многих статистических тестов необходимо, чтобы объекты были независимыми. Это необходимо для инструментов анализа локальных закономерностей потому, что пространственная зависимость может искусственно сглаживать статистическую значимость. Пространственная зависимость усугубляется инструментами локального анализа закономерностей, поскольку каждый объект оценивается в контексте его соседства, и близко расположенные объекты будут иметь множество одинаковых соседств. Такое совпадение подчеркивает пространственную зависимость.

Для обработки проблем, возникающих с множественным тестом и пространственными зависимостями, используются как минимум три 3 подхода. Первый подход – это игнорировать проблему, учитывая то, что отдельный тест, выполненный для каждого объекта набора данных, должен рассматриваться отдельно от других. Однако при этом подходе, весьма вероятно, что некоторые статистически значимые результаты будут неверны (выглядеть статистически значимыми при случайном характере базовых пространственных процессов). Второй подход состоит в применении классической процедуры множественного тестирования, например поправки Бонферрони или коррекции Сидак. Однако эти методы обычно слишком консервативны. Хотя они значительно снижают число ложноположительных результатов, они также пропускают имеющиеся статистически значимые результаты. Третий подход состоит в применении коррекции FDR, которая оценивает число ложноположительных результатов для данного уровня достоверности и соответственно корректирует критическое p-значение. При этом способе статистически значимые p-значения ранжируются от наименьших (самых строгих) до наибольших(наименее строгих), на основе оценки ложноположительных результатов, наименее строгие убираются из списка. Оставшиеся объекты со статистически значимыми p-значениями определяются по полям Gi_Bin или COType в выходном классе объектов. Не будучи идеальным, этот метод, как показывают эмпирические тесты, показывает лучшие результаты, чем выполнение каждого теста по-отдельности или применение традиционных, часто излишне консервативных, методов множественного теста. В разделе дополнительных ресурсов можно найти более подробные сведения о коррекции FDR.

Нулевая гипотеза и пространственная статистика

Некоторые инструменты статистики в наборе инструментов пространственной статистики представляют собой логически выведенные методы пространственного анализа структурных закономерностей, например, Пространственная автокорреляция (Global Moran's I), Анализ кластеров и выбросов (Anselin Local Moran's I) и Анализ горячих точек (Getis-Ord Gi*). Логически выведенные статистические показатели обоснованы в теории вероятности. Вероятность – мера случайности, и лежащие в основе все статистические тесты (любой прямо или косвенно) – вычисления вероятностей, которые оценивают роль случая на результат вашего анализа. Как правило, с традиционными (не пространственными) статистическими показателями, вы работаете со случайной выборкой и пытаетесь определить вероятность, что ваша выборка данных – хорошее представление (рефлексивно) населения в целом. Как пример, вы могли бы спросить, "Каковы шансы, что результаты моего опроса избирателей (показывающие, что кандидат А слегка превзойдет кандидата Б) отразят заключительные результаты выборов?" Но в большинстве случаев работая с пространственными статистическими показателями, включая упомянутую выше пространственную автокорреляцию, как правило, вы используете все данные, которые доступны в области исследования (все преступления, все случаи болезни, атрибуты для каждого переписного участка, и так далее). Когда вы вычисляете статистическую величину для всего населения, у вас больше нет оценки вообще. Перед вами факт. Следовательно, более нет никакого смысла говорить о подобии или вероятностях. Таким образом, как могут инструменты анализа пространственных структурных закономерностей, часто применяемые ко всем данным в области исследования, законно сообщить о вероятностях? Ответ – то, что они могут сделать это, постулируя через нулевую гипотезу, что данные, фактически, являются частью некоторого более многочисленного населения. Рассмотрим это более подробно.

Рандомизация нулевой гипотезы – где необходимо, инструменты из набора инструментов пространственной статистики используют рандомизацию нулевой гипотезы в качестве основы для теста статистической значимости. Рандомизация нулевой гипотезы постулирует, что наблюдаемая пространственная модель ваших данных представляет одну из многих (n!) возможных пространственных организаций данных. Если бы вы могли собрать значения данных и бросить их на объекты в вашей области исследования, у вас было бы одно возможное пространственное расположение этих значений. (Отметьте, что собирание ваших значений данных и их произвольных бросок являются примером случайного пространственного процесса). Рандомизация нулевой гипотезы утверждает, что, если бы Вы могли сделать это упражнение (собрать их и бросить) бесконечное количество раз, в большинстве случаев вы бы создали структуру, которая не будет заметно отличаться от наблюдаемой структуры (ваши реальные данные). Иногда вы могли бы случайно бросить все самые высокие значения в один и тот же угол вашей области исследования, но вероятность такого исхода является маленькой. Рандомизация нулевой гипотезы утверждает, что ваши данные – одна из многих, многих, многих возможных версий полной пространственной хаотичности. Значения данных фиксированы; могла измениться только их пространственная организация.

Нормализация нулевой гипотезы – общая альтернативная нулевая гипотеза, не реализованная для набора инструментов пространственной статистики, является нормализацией нулевой гипотезы. Нормализация Нулевой гипотезы постулирует, что наблюдаемые величины получены из бесконечно большого, нормально распределенного населения посредством некоторого случайного процесса осуществления выборки. С разной выборкой, вы получили бы различные значения, но вы будете все еще ожидать, что те значения будут представительны для большего распределения. Нормализация нулевой гипотезы утверждает, что значения представляют одну из многих возможных выборок значений. Если вы могли бы привести свои наблюдаемые данные к нормальной кривой и хаотично выбирать значения из того распределения, чтобы бросить их на вашу область исследования, большую часть раз вы произведете модель и распределение значений, которые заметно не отличались бы от наблюдаемого образца/распределения (ваши реальные данные). Нормализация нулевой гипотезы утверждает, что ваши данные и их организация – одна из многих, многих, многих возможных случайных выборок. Ни значения данных, ни их пространственное расположение не установлены. Нормализация нулевой гипотезы является только соответствующей, когда значения данных нормально распределены.

Дополнительные источники

• Ebdon, David. Statistics in Geography. Blackwell, 1985.
• Mitchell, Andy. The ESRI Guide to GIS Analysis, Volume 2. ESRI Press, 2005.
• Goodchild, Michael F. Spatial Autocorrelation. Catmog 47, Geo Books, 1986
• Caldas de Castro, Marcia, and Burton H. Singer. "Controlling the False Discovery Rate: A New Application to Account for Multiple and Dependent Test in Local Statistics of Spatial Association." Geographical Analysis 38, pp 180-208, 2006.