Доверительные Интервалы и Размер Выборки Простыми Словами

Доверительные интервалы, размер выборки и p-значения — три наиболее часто неправильно понимаемых понятия в статистике, и большая часть путаницы происходит от того, что не видно, как они складываются в последовательность. Каждое отвечает на по-настоящему другой вопрос, и они идут в определённом порядке: сколько данных следует собрать, насколько неопределённы реально собранные данные и означает ли вообще что-нибудь разница в этих данных.

Перед Сбором Данных: Сколько Вам Нужно?

Калькулятор Размера Выборки отвечает на вопрос, который возникает первым, ещё до того, как собран хотя бы один ответ: сколько респондентов или наблюдений реально нужно опросу при заданной желаемой погрешности и уровне доверия? Поскольку погрешность возводится в квадрат в исходной формуле, уменьшение желаемой погрешности вдвое не просто удваивает требуемую выборку — оно примерно учетверяет её, и именно поэтому узкая погрешность ±1% требует значительно больше респондентов, чем типичная ±5%.

Практический совет: решите, насколько точными должны быть ваши результаты на самом деле, прежде чем проектировать опрос, а не после — сужение погрешности после того, как сбор данных уже начался, означает, что решение о размере выборки уже принято, к лучшему или к худшему.

После Сбора Данных: Насколько Широка Ваша Неопределённость?

Калькулятор Доверительного Интервала отвечает на обратный вопрос, когда реальные данные уже существуют: насколько широк, при данном среднем значении, стандартном отклонении и размере выборки, интервал, который, вероятно, содержит истинное значение генеральной совокупности? «95%-й доверительный интервал» означает, что если бы тот же процесс выборки повторялся много раз, около 95% полученных интервалов содержали бы истинное среднее значение генеральной совокупности — это НЕ означает, что существует 95% вероятность того, что истинное среднее попадает именно в этот конкретный интервал, — различие, которое сбивает с толку даже тех, кто регулярно использует этот термин. То же соотношение квадратного корня с размером выборки проявляется и здесь: больший размер выборки уменьшает стандартную ошибку (и, следовательно, весь интервал), но повторное уменьшение интервала вдвое снова требует примерно учетверения выборки, а не просто удвоения.

Практический совет: «погрешность плюс-минус 3 процентных пункта» в новостном сообщении описывает именно тот же интервал, только сформулированный иначе — и более узкий интервал не автоматически лучше, если он достигается ценой более низкого уровня доверия, поскольку точность и доверие являются компромиссом друг с другом.

Определение, Реальна ли Разница

Калькулятор P-Значения отвечает на третий, по-настоящему другой вопрос: при данном z-значении из сравнения или теста, какова вероятность увидеть настолько экстремальный результат чисто случайно, если бы на самом деле никакого реального эффекта не было? P-значение ниже общепринятого порога 0,05 обычно считается статистически значимым — но этот порог является широко используемым соглашением, а не законом природы, и p-значение никогда не указывает вероятность того, что сама нулевая гипотеза верна — распространённое и серьёзное по последствиям неверное толкование.

Практический совет: статистическая значимость и практическая значимость — это разные вещи — при достаточно большой выборке даже крошечный, практически незначимый эффект может дать очень маленькое p-значение, поэтому p-значение лучше всего читать вместе с доверительным интервалом или размером эффекта, а не само по себе.

Собираем Всё Вместе

Естественный порядок таков: используйте Калькулятор Размера Выборки при планировании опроса или эксперимента, чтобы решить, сколько данных собрать для желаемой точности, запустите

Калькулятор Доверительного Интервала, когда реальные данные уже есть, чтобы увидеть, насколько широкой оказалась ваша реальная неопределённость, и используйте Калькулятор P-Значения при сравнении групп или проверке конкретной гипотезы, чтобы оценить, является ли наблюдаемая разница, вероятно, реальной или просто шумом. Эти три инструмента находятся на разных этапах одного и того же статистического процесса — путаница в том, какой из них применяется на каком этапе (задавать вопрос о доверительном интервале до того, как у вас есть данные, или вопрос о размере выборки после того, как они уже есть), — один из самых распространённых способов неправильного использования чужих чисел.