Пивовар, революционизировавший прикладную статистику

Posted on by riasevastopol

В XX веке величайший вклад в развитие статистики внес не отвлечённый ученый, а скромный пивовар из компании «Гиннесс» (Guinness). Именно он, Уильям Сили Госсет (William Sealy Gosset), ввел в эту научную дисциплину понятие статистической значимости (statistical significance), создал совокупность промышленного контроля качества и способ действенного планирования опытов, и изобрел способ последовательной проверки качества пива.

Имя Госсета, но, не стало нарицательным. статьи и Книги о нем малы, он редко упоминается в списке величайших статистиков в истории. Потому, что Госсет публиковал свои работы под псевдонимом, его настоящее имя незнакомо практически всем из тех, кто довольно часто пользуется его самым известным открытием: Госсет был тем самым «Студентом», чье имя (правильнее, псевдоним) носит способ корректной экстраполяции числовых значений, забранных из маленькой выборки данных — t-тест Стьюдента (Student s T-Test).

Как пивовар, чьим главным занятием был выбор сырья для варки стаута, произвел революцию в статистике? И из-за чего Госсет столь мало извесстен кроме того в среде опытных статистиков?

Госсет совершил все собственные открытия на протяжении работы на компанию «Гиннесс» в 1899–1937 гг.Пивовар, революционизировавший прикладную статистику

Джентльмен-ученый

В соответствии с дошедшим до нас историческим сведениям, Уильям С. Госсет был настоящим, что именуется, «хорошим юношей».

Его современники, известные статистики, такие как Уильям Эдвардс Деминг (William Edwards Deming) и Джордж Удни Юл (George Udny Yule), именовали его, соответственно «весьма скромной и обаятельной личностью» и «весьма приятным человеком». Двое выдающихся ученых, заложивших фундамент современной статистики — господин Рональд Эйлмер Фишер (Sir Ronald Aylmer Fisher) и Карл Пирсон (Karl (Carl) Pearson) — известных, кроме всего другого, глубокой и неподдельной обоюдной неприязнью, приходили к согласию лишь в одном вопросе: они оба испытывали искреннюю симпатию к Госсету.

Про таких, как появившийся во второй половине 70-ых годов девятнадцатого века в Кентербери (Canterbury, England) Госсет, британцы говорят «появился с серебряной ложкой во рту». Появление Госсета на свет в семье полковника Королевского инженерного корпуса (Corps of Royal Engineers) обеспечивало будущему великому статистику большие привилегии, недоступные практически всем современников. Юный Уильям собирался последовать по стопам отца, но был негоден к военной работе из-за нехорошего зрения.

Смирившись с мыслью о неосуществимости военной карьеры, Госсет заканчивает респектабельный Винчестерский колледж (Winchester College), а после этого поступает в Оксфорд (Oxford), где изучает математику и химию. По окончании окончания университетского курса во второй половине 90-ых годов девятнадцатого века Госсет поступает на работу на пивоваренный завод компании «Гиннесс» в Дублине.

В превосходной ретроспекции достижений Госсета экономист Стивен Зиляк (Stephen Ziliak) красочно обрисовывает молодого выпускника Оксфорда:

«Во второй половине 90-ых годов девятнадцатого века Госсет был энергичным — если не легко помешанным — 23-летним джентльменом-ученым. Он владел излишне богатым воображением и был более энергичным и внимательным, чем сенбернар в снежную бурю. Одержимый наблюдатель, счетовод, фанатичный поклонник и велосипедист крикета, новоявленный пивовар приходил в восхищение от изобретений, пребывания и экспериментов на свежем воздухе».

Госсет до самой смерти трудился в компании Guinness, и все выдающиеся инновации, привнесенные им в статистику, напрямую связаны с его главной работой — пивоварением.

Госсет пришел в науку через лабораторию пивоваренной компании

В то время, когда Госсет начинал трудиться в «Гиннесс», эта пивоваренная компания была уже наибольшей в мире. Кроме того в сравнении с работой современных корпораций тогдашняя производственная практика Guinness выглядит радикально ориентированной на применение новейших достижений науки для улучшения производимой продукции. Топ-менеджеры ирландской компании нанимали на работу самых броских молодых ученых, каких лишь имели возможность отыскать, и давали им полную свободу в применении инноваций в проведении и производственных процессах самых храбрых опытов.

Инновационная политика Guinness создавала превосходные условия для самореализации любознательного и фактически мыслящего Госсета — равнозначные шансы на воплощение собственных идей позднее приобретал непризнанный компьютерный гений, устраиваясь на работу в исследовательский центр корпорации Bell Labs в 1970-х, либо ученый, трудящийся в области изучений ИИ, приглашенный в команду Гугл сейчас.

На рубеже девятнадцатого и двадцатого столетий Guinness уделяла собственный главное внимание высококачественному поддержаниюпродукции при снижении себестоимости и одновременном увеличении масштабов производства пива. За период между 1887 и 1914 выпуск продукции вырос в 2 раза, достигнув практически миллиарда пинт (568 261 250 литров). Резонно спросить: как компания может расширить производство пива, сохранив ожидаемое потребителями привычно хорошее уровень качества пенного напитка?

Госсет был назначен в состав команды исследователей, искавших ответ на данный вопрос.

При изготовлении «Гиннесса» — как и большинства вторых сортов пива — употребляются соплодия («шишки) хмеля обычного (Humulus lupulus), придающие пенному напитку аромат и специфический вкус. Во второй половине 90-ых годов XIX века, к примеру, ирландские пивовары применяли практически 5 млн фунтов (2 268 тысячь киллограм) этого сырья. Хмель для пивоварения они выбирали на базе качественных параметров — аромата и внешнего вида.

В производственных масштабах Guinness данный способ был неэкономным и неточным. Команда «ученых-пивоваров», частью которой стал Госсет, сумела усовершенствовать процесс отбора сырья для пивоварения.

Первый шеф Госсета, Томас Кейс (Thomas Case), что лучший метод выяснить уровень качества хмеля — это вычислить количественное соотношение мягких смол к твёрдым (хмелевые смолы — полутвердые вещества, выделяющиеся из «шишек» растения).

Кейс решил забрать маленькое количество образцов, забранных из разных партий хмеля, и вычислить процентное соотношение мягких смол к твёрдым. Он нашёл среднее значение содержания мягких смол 8,1% для выборки из 11 образцов, а для выборки из 14 образцов это значение составило 8,4%. Но как трактовать полученный значения на совокупность образцов, на порядки превышающую мелкие выборки?

Этого Кейс в действительности не знал: он просматривал эти и не имел возможности прийти к какому-либо определенному выводу, не смотря на то, что и осознавал, что эту проблему нужно решить чтобы в будущем мочь разбирать результаты совершённых тестов. Исходя из этого он обратился к Госсету.

Историк Джоан Фишер Бокс (Joan Fisher Box) растолковывает привлечение Госсета к ответу задачи тем, что он изучал математику в Оксфорде, соответственно, «меньше опасался цифр», чем другие пивовары.

Современному исследователю, трудящемуся с количественными значениями (к примеру, маркетологу, проводящему сплит-тесты), тяжело представить, что в то время теории, разрешавшей делать выводы по итогам тестирования маленькой выборки образцов, не существовало.

  • История фармацевтического маркетинга

Само собой разумеется, ученые иногда применяли маленькие выборки в качестве доказательства выводов, но они не имели никакой возможности измерить возможную точность собственных оценок. Все способы экстраполяции по выборке опирались на идею, что необходимо забрать громадную выборку — больше 30 наблюдений — и применять понятие стандартного обычного распределения. Данный подход был верен для большинства неторопливых отвлечённых изучений, но в условиях производства возможности разглядеть громадную выборку образцов обычно просто не было.

Кроме того «научно мыслящие» компании — такие как «Гиннесс» — были ограничены числом продукта, что они имели возможность подвергнуть тестированию: в итоге, все они трудились для поставки товаров конечному потребителю и получения прибыли.

Распределение Стьюдента: кривые на графике отображают Z-распределение (стандартное обычное распределение; количество образцов в выборке принимается за вечно громадное), t-распределение с числом степеней свободы (образцов в выборке) n ~ 30, t-распределение с числом степеней свободы (образцов в выборке) n30

Итак, Госсет приступил к работе. Его цель — осознать, как понижается репрезентативность взятых результатов при уменьшении размера выборки. В чуть более отвлечённых терминах задача формулируется так: как возрастает погрешность измерения при, в то время, когда у вас имеется маленькая выборка из 2 либо 10 образцов если сравнивать с выборкой в 1000 образцов?

Первая неприятность, которую начал решать Госсет: правильное выяснение количества измерений уровня сахаридов в солодовом экстракте, нужное чтобы быть уверенным, что их содержание соответствует эталонному значению в 133 единицы с точностью 0,5 единицы.

Начальный подход Госсета был несложен и сводился к сравнению погрешности измерений, взятых по минимальной выборке (2 примера) и по максимально многочисленной группе данных (результаты измерений последней считались по умолчанию примерно правильными). При большой выборки образцов хватает вычисления среднего значения измеренных уровней сахаридов — оно будет в полной мере точным, но для получения корректных значений измерений по минимальным выборкам, Госсету было нужно изучить огромное количество таковых. Он заключил, что 80% от общего числа измерений, взятых по «2 точкам», совпадают с точностью в 0,5 единицы с образцовым результатом.

После этого Госсет повторил подобный опыт с группами из 3 измерений. В этом случае совпадение с точностью в 0,5 единицы наблюдалось в 87,5% от всех сравнений результатов. При применении выборок, содержащих 4 измерения, количество совпадений с эталонным результатом превысило 92%.

При применении групп из 82 результатов возможность взять правильное значение с погрешностью 0,5 единицы стала фактически нескончаемой.

Руководство Госсета было в восхищении от взятых им результатов: они разрешали принимать ответ о выборе сырья для пивоварения, опираясь на числовые эти, полученные на протяжении тестов, а не на показания и «интуицию» органов эмоций. Ни один из соперников Guinness в то время ничего аналогичного делать не умел.

  • 8 действенных способов измерения пользовательского опыта

Но самого Госсета личный способ аппроксимации (приближения) устраивал не всецело: он желал знать, как с позиций математики возможно обосновать достоверность выводов, взятых при изучении малой выборки, и правомерность применения этих выводов к выборке громадной. Госсет сказал управлению «Гиннесса» о собственном жажде проконсультироваться по этому вопросу с «каким-нибудь опытным математиком».

Обязанная Госсету компания оплатила ему творческий отпуск и послала его в лабораторию Карла Пирсона в Университетском колледже Лондона (University College London). Пирсон являлся одним из ведущих научных деятелей собственного времени и, как стали считать позднее, «отцом-основателем» современной статистики.

Уникальная таблица t-распределения из работы Госсета «Возможная неточность среднего» (англ. The probable error of a mean)

Как Госсет стал «Студентом»

За год, совершённый в лаборатории Пирсона, Госсет создал математическое обоснование «закона неточностей» («law of errors») для малых статистических выборок. Сейчас его открытие известно как «t-распределение Стьюдента» (Student s t-distribution). Распределение Стьюдента —главный метод определения возможной неточности оценки в зависимости от размера выборки, и сейчас обширно используемый в промышленности и науке.

Student s t-distribution есть одним из столпов современной статистики и фундаментом концепции статистической значимости.

Но из-за чего t-распределение исторически приписывается какому-то «Студенту», а не Госсету?

По окончании завершения работы над математическим аппаратом t-распределения Госсет решил сделать собственную работу дешёвой широкой общественности. Он взял ответственные результаты, которыми желал поделиться со всем миром. Но менеджеры «Гиннеса» противодействовали намерениям Госсета: они осознавали, какое преимущество над соперниками снабжает им способ контроля качества, и были далеко не в восхищении от возможности потерять собственные передовые позиции.

В случае если Госсет опубликует свои работы, то другие пивоваренные компании также смогут применить его открытие на практике.

Но в итоге стороны достигли компромисса: «Гиннесс» разрешил публиковать Госсету свои работы при применении последним псевдонима. Так, соперники не смогут установить, что некие изучения совершены на деньги ирландских пивоваров, и связать успех «Гиннесса» с промышленным применением способа Госсета.

Вот из-за чего статья, в которой в первый раз используется понятие t-распределения — «Возможная неточность среднего» (The probable error of a mean) — была опубликована Госсетом под псевдонимом Стьюдент («Студент»). «Возможная неточность среднего» была относительно неинтересным фрагментом из громадной работы Госсета и содержала по большей части математические подтверждения точности его способа.

Не смотря на то, что публикация «The probable error of a mean» сначала игнорировалась учеными, трудящимися в области статистики, юный математик Рональд Эйлмер Фишер по прочтении данной статьи вдохновился подходом и результатами Госсета. Фишера особенно захватила мысль Госсета об применении таблицы распределений для получения заведомого точного результата, отличимого от случайного.

Минимизировав влияние случайности, мы приходим к определению значимого результата, и потом — к фундаментальному для современной науки понятию статистической значимости. Вот такие важные последствия имело восторг Фишера статьей «Студента».

Рональд Эйлмер Фишер, «папа современной статистики», вдохновленный статьей «Возможная неточность среднего», принял идеи Госсета за некую догму, что нанесло ущерб науке в целом

  • Перемещение свободных пивоваров, либо Экономика пивоварения

Развитие Фишером идей Госсета и «освящение пяти сотых»

популяризатор науки и Британский учёный Ричард Докинз (Richard Dawkins) назвал Р. А. Фишера «гением, фактически в одиночку заложившим фундамент современной статистической науки». К самые важным работам Фишера относятся его теория экспериментального проектирования, разработка баз дисперсионного анализа и внедрение концепции точечной оценки в прикладную математическую статистику. Кроме этого Фишер был известен как авторитетный биолог.

Фишер начал изучать математику в Кембриджском университете год спустя по окончании публикации «Студентом» его революционной статьи и был одним из немногих, кто сходу оценил величину вклада Госсета в науку.

T-концепция и распределение статистической значимости, истолковываемые в терминах, легко отличающихся от употребляемых Госсетом, были положены Фишером в базу его идеи статистических способов. В 1925 году он публикует «Статистические способы для научных работников» (Statistical Methods for Research Workers), быть может, самую влиятельную книгу в истории статистики, представившую научные труды Госсета и Фишера широкой публике.

Расширение Фишером применения идей Госсета на кое-какие области статистики было и остается спорным. Сам Госсет довольно часто осуждал подобное развитие его разработок.

самый спорный тезис Фишера: итог, что имеет возможность быть взятым менее 5%, есть случайным (эта возможность — англ. Probability — обозначается как р-значение либо P). К примеру, в случае если пивоваренная компания опрашивает потребителей, какой из двух сортов пива те предпочитают, то может обнаружиться, что 20 из 25 опрошенных определенный сорт.

Но как решить, есть ли таковой итог достаточно убедительным для констатации преимущества этого сорта?

Фишер считает, что потому, что при выборе 20 респондентами из 25 одного пива возможность для того чтобы предпочтения образовывает менее 5% (100% / 25 = 4%), то выбор происходит наугад при условии, что опрошенным оба сорта нравятся одинаково, и нам легко комфортно применять подобные результаты в качестве доказательства правоты того либо иного утверждения.

Он писал в «Статистических способах»:

«Значение P = 0.05 либо 1 к 20 — комфортно брать данный параметр как предел для оценки отклонения, разрешающий разглядывать его как значимое либо нет. Так, отклонения, превышающие стандартные размеры отклонений в 2 раза, формально считаются значимыми».

В публикации «Guinnessometrics: The Economic Foundation of “Student какое количество” t» уже упоминавшийся Стивен Зиляк обосновывает, что Госсет вычислял порог 0.05 (5%) выбранным произвольно.

Госсета неизменно больше тревожило, окажется ли итог значимым фактически, а не статистически. Госсет полагал, что сама по себе концепция статистической значимости «практически ненужна». Он считал, что подтверждение должно оцениваться в зависимости от «важности вопроса, поставленного на карту», а не «какого-либо постороннего математического обоснования».

Зиляк предполагает, что Госсет в собственных работах руководствовался байесовской теорией, определяющей возможность как степень уверенности в истинности суждения, что диаметрально противоположно «фишерианскому» подходу, сводящемуся к принятию либо отклонению догадки на базе порогового р-значения.

Сейчас многие статистики признают, что «освящение» Фишером порога значимости, равного 0,05, нанесло большой вред науке. исследователь и Врач Джон Иоаннидис (John Ioannidis) демонстрирует, что в основном данные исследований, размещённых в научных изданиях, являются фальшивыми, что в значительной мере обусловлено пороговым значением 0, 05. Учитывая огромное количество проводимых каждый год изучений и тот факт, что в выборке из двадцати изучений одно будет соответствовать пороговому значению случайности (1 / 20 = 0, 05), то «значимые» выводы, найденные на протяжении многих из этих изучений, будут фальшивыми.

  • Из-за чего сплит-тесты не трудятся?

Госсет был скептиком, неизменно учитывавшим контекст проводимых измерений. В течение всей собственной жизни он ни при каких обстоятельствах не применял «правило пяти сотых», созданное Фишером на базе работ «Студента». в один раз Госсет назвал «достаточно прекрасно подходящим» р-значение, равное 0,13; в второй раз он посчитал р-значение 0, 02 недостаточным для получения точного результата, по причине того, что «возможно ли ограничиваться достигнутым либо потребуется предстоящая работа, зависит от трудности получения и важности заключения дополнительных данных».

Идеи Госсета легли в базу совокупностей контроля качества промышленной продукции

Источник методики «Шесть сигм»

Собственной сегодняшней скромной славой Госсет прежде всего обязан студентам, изучающим статистику. Но быть может, что самое громадное влияние он оказал как основоположник методики промышленного контроля качества.

современные фабричные и Промышленная революция способы производства стали причиной созданию продукции в прежде невиданных масштабах. До наступления эры широкомасштабных производств существовала возможность проверки товаров с применением качественных способов контроля. Пекари, пивовары и кораблестроители создавали так мало продукции, что не воображало трудности проверить уровень качества по большому счету каждой единицы товара.

Производство принесло множество польз и производителям, и потребителям, но его масштабы поставили задачу контроля качества: как брендам предохранить собственную репутацию ущерба, наносимого попаданием в торговлю бракованных товаров либо продукции низкого качества?

На помощь промышленникам пришел Госсет, показавший, как им нужны случайные выборки единиц продукции, проверка которых может дать представление о качестве в целом. Его способы на данный момент стали стандартной частью промышленных протоколов контроля качества. Работы Госсета заметили свет большое количество раньше, чем Уильям Эдвардс Деминг создал собственный цикл контроля качества либо в корпорации Motorola начала применяться известная концепция управления качеством «Шесть сигм» (Six Sigma), причем обе методики в значительной мере базировались на идеях «джентльмена-ученого».

Математик Джон Д. Кук (John D. Cook) вычисляет совсем неудивительным, что «отцом» промышленного контроля качества стал как раз пивовар: «В отличие от виноделов, каковые ценят вариации вкуса, пивовары гордятся его неизменностью».

Идеи Госсета сильно повлияли на сельскохозяйственное производство, в особенности экспериментальное

  • Пиво с уксусом, либо Как ожидания воздействуют на отечественные ощущения?

Вместо заключения

Превосходные успехи Госсета так же, как и прежде остаются неизвестными за пределом узкого круга экспертов. Частично эту несправедливость возможно растолковать тем, что он трудился в бизнесе, а не отвлечённой науке. Будь Госсет университетским доктором наук как Фишер либо Пирсон, он бы имел возможность подписывать работы своим собственным именем; быть может, он бы издал книжки с подробным изложением собственных идей и методов.

Но если бы Госсет не трудился в пивоваренной индустрии, то возможно, что ему ни при каких обстоятельствах бы не довелось решать практические неприятности, каковые, казалось, стимулировали его больше всего. Как практик, Госсет ни при каких обстоятельствах не придерживался какого-либо предпочитаемого конкретного способа, а количественные изучения ни при каких обстоятельствах не были для него самоцелью: он был легко заинтересован в скорейшем достижении цели всеми методами. Подобный подход к оптимизации бизнес-процессов хорош применения и изучения на практике Сейчас, в частности — в интернет-маркетинге.

Высоких вам конверсий!

По данным priceonomics.com

Случайные статьи:

КАК ВЫВЕСТИ СТАТИСТИКУ В ИНСТАГРАМ ОФИЦИАЛЬНО?


Подборка похожих статей:

riasevastopol

More Posts