Регрессия Методом Наименьших Квадратов

Сравнение Расчётов

Скачивания

Включает ваши данные и результаты этого расчёта, а также все дополнительные расчёты, которые вы сравнивали.

Подбор Линии для Разбросанных Точек Данных

Регрессия методом наименьших квадратов находит единственную прямую линию, которая наилучшим образом соответствует разбросу точек данных. Введите список пар x, y — по одной на строку — и этот калькулятор найдёт наклон и точку пересечения линии, а также насколько точно точки на самом деле следуют этой линии.

Формула

\vC{m} = \frac{n\sum{xy} - \sum{x}\sum{y}}{n\sum{x^2} - \left(\sum{x}\right)^2}

\vC{b} = \frac{\sum{y} - m\sum{x}}{n}

где $m$ — наклон, $b$ — точка пересечения, а $n$ — количество точек данных — вместе они описывают линию $y = mx + b$ , которая минимизирует общее квадратичное расстояние от каждой точки до линии.

Решённый Пример

Построение линии через точки (1, 1), (2, 2) и (3, 4):

$m = \frac{3(17) - 6(7)}{3(14) - 6^2} = \frac{51 - 42}{42 - 36} = \frac{9}{6} = \vC{1,5}$
$b = \frac{7 - 1,5(6)}{3} = \frac{7 - 9}{3} = \vC{-0,667}$ — таким образом, подобранная линия — $y = 1,5x - 0,667$ , с коэффициентом корреляции примерно $0,98$ .

Ключевые Факторы, Которые Следует Учитывать

Сильный коэффициент корреляции не обязательно означает, что x реально вызывает y. Две переменные могут быть сильно коррелированы, потому что одна действительно влияет на другую, потому что обе определяются третьим фактором, или просто по совпадению в небольшом наборе данных — корреляция описывает силу линейной связи, а не причину, стоящую за ней.
Этот метод предполагает, что истинная зависимость линейна, что не всегда верное предположение. Если разброс точек на самом деле следует по кривой, принудительное проведение прямой линии через него может дать технически «наилучшую» линию, которая всё равно плохо описывает данные — визуально построить точки перед тем, как доверять подбору, — хорошая практика.
Одна необычная точка (выброс) может непропорционально сильно притянуть подобранную линию к себе. Поскольку метод наименьших квадратов минимизирует КВАДРАТЫ расстояний, точка, далёкая от общей тенденции, вносит гораздо больший вклад в подбор, чем близкая к ней точка — небольшой набор данных с одним экстремальным выбросом особенно чувствителен к этому.
Больше точек данных обычно даёт более надёжный подбор, при прочих равных. Линия, подобранная всего по 3-4 точкам (как в разобранном примере), может выглядеть убедительно, но несёт гораздо больше неопределённости, чем та же зависимость, измеренная по десяткам точек — сама по себе сила корреляции не показывает, сколько данных на самом деле подтверждает подбор.

Частые Ошибки

Рассмотрение высокого коэффициента корреляции как доказательства причинно-следственной связи. Сильное значение r показывает только то, что точки тесно группируются вокруг линии — оно ничего не говорит о том, вызывает ли одна переменная реальные изменения в другой.
Подбор прямой линии для данных, которые на самом деле имеют кривую форму. Метод наименьших квадратов всегда возвращает наклон и точку пересечения, даже когда линейный подбор плохо описывает лежащую в основе закономерность — сначала постройте точки визуально или проверьте, не является ли коэффициент корреляции неожиданно низким, прежде чем доверять результату.
Использование слишком малого количества точек данных и рассмотрение подбора как надёжного. Линия всего по 3-4 точкам может выглядеть убедительно, но несёт гораздо больше неопределённости, чем та же зависимость, измеренная по десяткам точек.
Позволение одному выбросу незаметно доминировать в подборе. Поскольку метод наименьших квадратов минимизирует квадраты расстояний, одна далёкая точка может притянуть к себе всю линию — стоит проверить, существенно ли меняется результат при удалении необычной точки.

Полезно Знать

Нужно оценить значение между двумя известными точками вместо подбора линии тренда по многим точкам? Калькулятор Линейной Интерполяции охватывает этот более прямой случай.
Хотите увидеть, как одно конкретное значение соотносится с общим разбросом набора данных? Калькулятор Z-Оценки измеряет именно это.
Работаете с тем же списком чисел для более широкой сводной статистики? Калькулятор Статистики охватывает среднее значение, медиану, и стандартное отклонение.

Источник: Простая линейная регрессия.

Часто Задаваемые Вопросы

Что такое регрессия методом наименьших квадратов?

Регрессия методом наименьших квадратов находит единственную прямую линию, которая наилучшим образом соответствует разбросу точек данных, минимизируя сумму квадратов вертикальных расстояний между каждой точкой и линией. Это стандартный метод описания линейной зависимости между двумя переменными.

Что означают наклон и точка пересечения?

Наклон показывает, насколько меняется y при каждом увеличении x на 1 единицу -- наклон 2 означает, что y увеличивается на 2 каждый раз, когда x увеличивается на 1. Точка пересечения -- это прогнозируемое линией значение y, когда x равно 0, то есть место, где линия пересекает вертикальную ось.

Что мне говорит коэффициент корреляции (r)?

Коэффициент корреляции варьируется от -1 до 1 и измеряет, насколько плотно точки группируются вокруг подобранной линии. Значение около 1 означает сильную положительную зависимость (при увеличении x y также стабильно растёт), около -1 означает сильную отрицательную зависимость, а около 0 означает слабую или отсутствующую линейную зависимость. R-квадрат (r²) -- это просто r, умноженное само на себя, и часто трактуется как «процент вариации y, объяснённый x».

Означает ли сильная корреляция, что x вызывает y?

Нет — корреляция измеряет только то, насколько сильно две переменные изменяются вместе, а не почему. Сильная корреляция может отражать реальную причинность, общую скрытую причину, влияющую на обе переменные, или простое совпадение, особенно в небольшом наборе данных. Не рассматривайте один лишь высокий коэффициент корреляции как доказательство причинно-следственной связи.

Что если мои данные на самом деле не следуют прямой линии?

Регрессия методом наименьших квадратов всегда подбирает прямую линию, даже к данным, которые на самом деле следуют по кривой — она всё равно вернёт наклон, точку пересечения и коэффициент корреляции, но они могут плохо описывать зависимость. Построение точек заранее или проверка того, не оказался ли коэффициент корреляции неожиданно низким, может подсказать, когда линейный подбор — неподходящий инструмент для ваших данных.