Кто изобрел понятие о статистической регрессии?

Posted on by riasevastopol

Легендарный математик Карл Фридрих Гаусс (Carl Friedrich Gauss), изобретший способ статистической регрессии, недооценивал собственный открытие. Он полагал, что не первый применяет его, и был уверенный в очевидности подхода. Гаусс публично заявил о собственной находке только много лет спустя, в то время, когда его современник Адриен Мари Лежандр (Andrien-Marie Legendre) независимо от него открыл и опубликовал подобный способ.

Заявление Гаусса о том, что он нашёл статистическую регрессию до Лежандра, стало причиной один из самых известных споров в истории науки. Не без борьбы, но все же Гауссу удалось доказать собственный право принимать во внимание первооткрывателем. Сейчас когда-то казавшееся собственному автору малым открытие лежит в базе современной науки и статистики о данных.

  • Занимательная статистика: от 1 и до 1 000 000

Что такое статистическая регрессия?

Выражаясь несложным языком, регрессия — это инструмент, предназначенный для изучения связи между переменными. Он довольно часто употребляется для прогнозирования будущего, и понимания, какие конкретно факторы воздействуют на итог.

К примеру, если вы желаете узнать, какую роль играется образование с позиций заработной плата, предположить, кто победит на следующих выборах, либо спрогнозировать эффект нового препарата, у вас имеется хорошая возможность — применить регрессию в действии.Кто изобрел понятие о статистической регрессии?

Историк статистики Стефан М. Стиглер (Stephen M. Stigler) именует регрессию «автомобилем» статистического анализа: «Не обращая внимания на ограничения, несущественные погрешности и случайные происшествия, этот способ и его бессчётные вариации составляют базу статистического анализа, и на данный момент известны и оценены большинство них».

Но из-за чего когда-то столь очевидная для Гаусса регрессия получает определяющее значение в современной науке?

На рубеже XVIII и XIX столетий совершенствование способов навигации в океане было, пожалуй, серьёзной научно-практической проблемой. Эра Великих географических открытий стала причиной большому обогащению и торговле, но морские путешествия так же, как и прежде оставались страшными и ненадежными. Совершенствование разработок в данной области потребовало больших финансовых вложений.

С более правильной навигацией грузы и суда, каковые они перевозят, достигали бы целей более действенно.

Учитывая огромные экономические пользы, которые связаны с улучшением геодезии и навигации, в моде были изучения по измерению почвы. Сейчас главным инструментом геодезистов стало применение перемещений вторых планет и комет по отношению к Почва, как метода осознать свойства и форму планеты. Благодаря этим изучениям, поддерживаемым аристократами и монархами, были улучшены знания и карты о местности, что со своей стороны разрешило отыскать первый стремительный и надёжный путь из Португалии в Индию.

В таком историческом контексте математики Карл Фридрих Адриен и Гаусс Мари Лежандр независимо друг от друга и открыли способ мельчайших квадратов (least squares) — наиболее значимый инструмент статистической регрессии.

Мельчайшие квадраты — это метод применения данных для количественных прогнозов. Эти прогнозы оптимизированы так, что для любой точки в комплекте предоставит шанс умножения неточности модели на саму себя (получение квадрата) сводится к нулю. И Гаусс, и Лежандр применяли способ мельчайших квадратов для изучения орбит комет на базе неточных измерений их прошлого расположения:

Комплект данных, что применял математик Андриен Мари Лежандр для демонстрации статистической регрессии, в первый раз опубликованной им в начале XIX века

Благодаря открытию Карла Фридриха Гаусса произошло прогнозирование будущего и познание связи вещей

Твитнуть цитату

Неприятности, которыми занимались Гаусс и Лежандр, достаточно сложны для понимания, но сам способ возможно растолковать на довольно несложном примере. Представьте, что вам предстоит вести урок у пятиклассников. Вам известны пол, вес и рост всех учеников. Внезапно вам таинственно информируют, что один из учеников сейчас отсутствует, но незнакомец знает лишь рост и пол школьника, но не его вес.

Как вычислить вес ученика?

Существуют разные виды параметров оптимизации (либо показателей, по которым делают выводы об оптимальности ответа задачи), на каковые вы имели возможность бы опереться. К примеру, критерий, минимизирующий полную погрешность вашей предположения, либо тот, что имеет мельчайший шанс различаться больше, чем на 10 фунтов (примерно 4,5 кг). Способ мельчайших квадратов оптимален тем, что минимизирует квадратичную неточность.

Но что для того чтобы особого в данной квадратичной неточности? Из-за чего и Гаусс, и Лежандр независимо друг от друга обратили на нее внимание?

Имеется две главные обстоятельства, по которым квадратичная неточность была фактически сходу принята математическим сообществом. Во-первых, в то время ее было относительно легко вычислить (сейчас в меньшей степени). Не смотря на то, что существует несложная формула, благодаря которой возможно взять наилучшее предположение для минимизации квадратичной неточности, вычислить лучшее предположение для любого другого критерия оптимизации, а также безотносительную погрешность — важное опробование.

Во-вторых, оценка на базе мельчайших квадратов имеет кое-какие хорошие статистические особенности. При определенных условиях вы имеете возможность сделать предположение, что ваша неточность нормально распределяется, что достаточно удобно для понимания того, как вы имеете возможность верить всобственной догадке:

Надпись на картине: слева — обычное распределение, справа — паранормальное распределение. Создатель шутки: Роберт Буксбаум (Robert Buxbaum)

Лежандр первым опубликовал способ мельчайших квадратов. В собственной работе называющиеся «Новый способ определения орбит комет» (1805 г.) ученый показал пример использования и оригинальную точку зрения мельчайшего квадрата регрессии. Лежандр был уверен, что есть первооткрывателем способа:

«Из всех правил, каковые смогут быть предложены для оценки примера, мы полагаем, что нет более подходящего, более правильного и несложного, чем способ, что мы применяли сущность способа — в минимизации суммы квадратов отклонений».

К сожалению для Лежандра, один из блестящих умов в истории науки уже трудился над той же проблемой.

  • Занимательная статистика. Часть вторая, огромная

В чем заслуга Гаусса?

Карл Фредрих Гаусс был одним из величайших математиков в истории и собственного рода двигателем науки — его изображение возможно было встретить кроме того на германских марках

Из-за необычного вклада в развитие математики Карла Фредриха Гаусса время от времени именуют «королем математиков». И не смотря на то, что Лежандр признавал гений Гаусса, нельзя исключать, что в узком кругу он именовал Гаусса менее хорошими именами. По отвлечённым меркам Гаусс совершил возмутительный поступок, похитив заслугу открытия мельчайшего квадрата регрессии прямо из-под носа у Лежандра.

В трактате Гаусса «Теория перемещения небесных тел, находящихся на орбите Солнца по коническим сечениям» математику удалось решить, казалось бы, неразрешимую проблему расчета планетарных орбит. Основной изюминкой теории Гаусса была ее свойство угадать, в какой точке ночного неба покажется астероид Церера, чего не имел возможности сделать ни один второй ученый того времени. Много сложных математических и геометрических неприятностей удалось решить при помощи способа мельчайших квадратов.

«Отечественный принцип, что мы используем с 1795 года, был сравнительно не так давно опубликован Лежандром» — пишет Гаусс, — «что растолковывает пара иные свойства этого способа». Как и другие математики того времени, Гаусс употребляет королевское «мы».

Лежандр был удивлен. Ответ Гаусса претендовать на открытие, опубликованное им ранее, само собой разумеется, смотрелось вызывающе большие сомнения. Узнаваемый историк статистики Стивен Стиглер говорит, что ответ Гаусса было «лишено сочувствия». Лежандр послал Гауссу письмо, дабы выразить собственный разочарование:

«Не без наслаждения я понял, что в собственных изучениях вы применяли тот же способ, что я назвал способом мельчайших квадратов в собственных наблюдениях за кометами Соглашусь вам, что я придаю некое значение этому мелкому открытию. Исходя из этого я не буду скрывать от вас, господин: я испытал некое сожаление, что вы, ссылаясь на мою работу, рассказываете, что нашли способ в 1795 году. Не существует открытия, которое не было возможности бы приписать себе, сообщив, что те же вещи были обнаруженыпара лет раньше; но если не дано этим словам доказательства, пребывающего в указании места, где они опубликованы, то это утверждение делается беспредметным и представляет собой лишь обиду для подлинного автора открытия».

Лежандр заканчивает письмо очень неуважительно:

«У вас хватает собственных достатков и нет необходимости питать зависть к кому-то. Я совсем не сомневается в собственном открытии. Помимо этого, у меня имеется основания оспаривать ваше высказывание».

Гаусс ни при каких обстоятельствах не отступал от собственного заявления о том, что он открыл способ первым. Не смотря на то, что это высказывание смотрелось не в полной мере убедительно, все же преобладающее количество доказательств говорит в пользу Гаусса. Его сотрудники подтвердили, что он растолковывал им способ мельчайших квадратов, и были соответствующие записи расчетов, каковые, непременно, не могли быть сделаны иным способом.

Гаусс не опубликовал собственный открытие сходу, по причине того, что предпочитал всецело развить собственную идею, перед тем как опубликовать ее. Он руководствовался девизом: «Лучше меньше да лучше». Историк математики Эрик Темпл Белл (Eric Temple Bell) уверен в том, что если бы все теории Гаусса были опубликованы тогда, в то время, когда они пришли к нему, в математике случился бы скачок более, чем на 50 лет вперед.

Сейчас Гаусс считается изобретателем способа мельчайших регрессии и квадратов, по причине того, что он внес предложение более правильное описание, чем Лежандр. Стиглер растолковывает: «В то время, когда Гаусс опубликовал способ мельчайших квадратов, стало ясно, что в собственных изучениях он продвинулся намного дальше Лежандра как в концептуальном, так и в техническом замысле, связав способ возможности и представив методы для расчета оценок».

Наряду с этим Гаусс не придавал особенного значения способу мельчайших квадратов, не считая его величайшим открытием. в один раз Фредрих написал сотруднике, как он был удивлен, что никто из его предшественников не открыл данный способ ранее. И сказал, что не будет публиковать его, не хотя minxit in patrios cineres, что в переводе с латинского свидетельствует «осквернять прах собственных предков».

Однако, Гаусса всю жизнь тревожили сомнения людей в том, что именно он открыл регрессию. Р. Л. Плакетт (R.L. Plackett) писал о Гауссе: «Искренное принятие принципа приоритетнее, чем его публикация».

Согласно точки зрения Стиглера, для того чтобы рода приоритетные разногласия свойственны для истории научных открытий. И поясняет: «Спор о приоритете говорит о том, что происходит что-то серьёзное»

  • статистическая достоверность и Оптимизация конверсии: это что может значить?

Прекрасно, но причем тут регрессия?

Будучи первооткрывателями фундаментального свойства регрессии, ни Гаусс, ни Лежандр не употребляли слово «регрессия» довольно собственного способа.

Термин был в первый раз применен к статистике энциклопедистом Фрэнсисом Гальтоном (Francis Galton). Гальтон внес значительный вклад в развитие статистики и генетики. К сожалению, его изучения наследственности кроме этого стали причиной изобретению термина «евгеника» и утверждению права на селекцию лучшего общества.

Гальтон применял термин «регрессия», дабы растолковывать явления природы. В первой половине 70-ых годов девятнадцатого века он собрал информацию о высоте потомков экстремально высоких и экстремально низких деревьев. Он желал узнать, как связаны деревья со собственными предками.

Ученый опубликовал результаты изучения во второй половине 80-ых годов девятнадцатого века называющиеся «Регрессия к среднему в наследственности».

«Из моих наблюдений направляться, что потомство не пытается быть похожим своих родителей по размеру, но постоянно получается более средним — ниже, чем предки, в случае если предки были высокими, и выше, чем предки, в случае если предки были низкими».

В наши дни явление, найденное Гальтоном, так и именуется — регрессией к среднему. Так, в случае если сейчас очень жаркий сутки, возможно ожидать, что на следующий день также будет жарко, но уже не так жарко, как сейчас. В случае если игрок в бейсбол только что завершил собственный лучший сезон в карьере, вероятнее, в следующем году вы станете разочарованы его игрой.

За экстремальными событиями следуют более обычные.

Регрессия к среднему: в случае если сейчас очень жаркий сутки, то на следующий день будет жарко, но уже не так жарко, как сейчас

Твитнуть цитату

Регрессия начала ассоциироваться с способом мельчайших квадратов примерно в конце XVIII века. Карл Пирсон (Carl Pearson), один из основателей математической статистики и сотрудник Гальтона, увидел, что в случае если отметить рост своих родителей на оси x и их детей на оси y — линия, наилучшим образом соединяющая данные в соответствии с способом, имеет наклон меньше единицы (yx), что практически есть математическим понятием «регрессии к среднему». Пирсон именует данный наклон на графике «линией регрессии». Так, способ мельчайших квадратов и понятие регрессии стали собственного рода синонимами:

В 1901 году статистик Карл Пирсон применял способ “линии регрессии” для расчета мельчайших квадратов

Регрессионный анализ, каким мы его знаем сейчас, в первый раз был озвучен в работе одного из самых известных статистов XX века Р.А. Фишера. Ученый объединил труды Гаусса и Пирсона, дабы создать идеальную теорию оценки особенностей мельчайших квадратов. Благодаря работе Фишера, регрессионный анализ употребляется не только для понимания и прогнозирования корреляции, но и чтобы сделать вывод (время от времени неверный) о связи между результатом и фактором.

По окончании Фишера показалось большое количество серьёзных расширений способа, а также логистическая регрессия, непараметрическая регрессия, регрессия Байеса и регрессия, включающая регуляризацию.

Развитие вычислительной техники сделало регрессию популярным способом. В 20-е годы XX века IBM создала автоматизированные табуляторы с перфокартами, каковые возможно было применять с целью проведения сложных вычислений статистического анализа, таких как регрессия. До этого все расчеты делались вручную — регрессию возможно было вычислить для совсем маленьких комплектов данных либо тех, для которых приходилось создавать в уме последовательность вычислительных операций.

Впредь до 1970-х годов вычисления чтобы получить регрессию занимали пара дней, и разработка была дешева ограниченному числу исследователей. Лишь с возникновением ПК применение регрессионного анализа стало массовым. Сейчас любой человек, имеющий ПК, может вычислить регрессию для маленького количества данных меньше, чем за секунду.

Гаусс и Лежандр удивились бы, выяснив, что способ мельчайших квадратов так популярен сейчас. Регрессионный анализ довольно часто употребляется учеными, политическими аналитиками, журналистами а также командам , дабы угадать будущее и осознать прошлое. С развитием более формулирования выводов и сложных алгоритмов прогнозирования, ветхий хороший способ мельчайших квадратов не потерял актуальностии так же, как и прежде остается жемчужиной статистического анализа.

Высоких вам конверсий!

По данным: priceonomics.com, image source thcastor

Случайные статьи:

03 — Основы статистики. Корреляция и регрессия


Подборка похожих статей:

riasevastopol

More Posts