Механический турок амазон (mechanical turk): новый взгляд на поведенческие науки

Posted on by riasevastopol

Одним из самые сложных и самый распространенных когнитивных искажений есть так называемая предвзятая либо же нерепрезентативная выборка (sampling bias).

В статистике нерепрезентативной выборкой именуется выборка, отражающая характеристики только определенной части популяции, из которой она была отобрана.

Представьте, что в вазу опускают 20 желтых мячиков для настольного тенниса, а после этого — 20 светло синий мячиков. В случае если срочно дотянуться из вазы 10 мячиков, может сложиться ошибочное вывод о том, что все мячики в вазе окрашены в светло синий цвет. В случае если перед тем как извлечь мячики, хорошенько встряхнуть вазу, выборка будет включать как желтые, так и светло синий объекты, что значительно снизит ее нерепрезентативность.

Совершенно верно так же, в случае если с целью проведения исследования психологии человека отбирают лишь американских студентов, каковые нуждаются в деньгах либо — что еще хуже — были приглашены одними и теми же докторами наук для принятие участия в аналогичных опытах, может сложиться фальшивое представление о том, что практически всем людей нравятся студенты американских институтов.

В работе называющиеся «Самые необычные люди в мире» (The Wierdest People in the World) Джозеф Хенрик (Joseph Henrich) и Стивен Хайне (Steven Heine), учители психологии университета Английской Колумбии, совершили аудит изучений для принятие участия в которых отбирали только студентов американских институтов.Механический турок амазон (mechanical turk): новый взгляд на поведенческие науки Не считая всего другого, любой из них должен был принадлежать к обществу, которому свойственны следующие характеристики: западное (Western), образованное (Educated), индустриально развитое (Industrialized), богатое (Rich) и демократическое (Democratic) — WEIRD.

«Анализ лучших изданий по психологии за период с 2003 по 2007 год продемонстрировал, что 68% участников разных опытов были из америки, а в общей сумме 96% участников были из западных индустриально развитых государств. Как выяснилось, структура каждой выборки как правило говорила о стране нахождения самого исследователя, потому, что авторами 73% опытов были американцы, а в целом 99% опытов были совершены учителями институтов западных государств.

Это указывает, что 96% выборок для психотерапевтических опытов включали представителей государств, население которых образовывает всего 12% от населения планеты.

Обычный способ отбора участников опыта весьма не легко назвать репрезентативным. Анализ выпусков “социальной психологии психологии и Журнала личности” (The Journal of Personality and Social Psychology) за 2008 год продемонстрировал, что участниками 67% опытов, совершённых американцами, были только студенты факультетов психологии.

Иными словами, случайно выбранный американский студент в 4000 раз возможнее окажется участником какого-либо изучения, чем каждый человек, не живущий в западной индустриально развитой стране».

После этого ученые сравнили данные исследований, участниками которых были студенты, находящиеся в собствености к группе WEIRD, с подобными опытами для принятие участия в которых отбирались люди из вторых социальных групп.

«Нами был проанализирован последовательность черт каждой из групп испытуемых: визуальное восприятие, честность, пространственное мышление, самооценка, наследственность IQ, свойство к кооперации, категоризации. Полученные результаты говорят о том, что участников обществ, соответствующих требованиям WEIRD, возможно найти кроме того среди наименее представленных популяций».

Неприятность содержится в том, что привлечь студентов к участию в каких-либо опытах весьма легко: во-первых, это дешево, во-вторых, они готовы «пожертвовать» собой для науки — иными словами, студенты находятся сверху условной «вазы».

Выборка, организованная из дешёвых для изучения опрощеных, есть разновидностью предвзятой выборки и именуется «эргономичной» (convenience sampling).

Итак, каким же образом исследователи смогут «встряхнуть вазу» и взять репрезентативную выборку? Многие ученые считаюм, что оптимизировать структуру выборки возможно посредством интернета, и все большее число из них уверены, что для этого употребляется краудсорсинговая платформа Amazon Mechanical Turk.

  • Как применять способы качественных изучений для оптимизации конверсии?

Что такое Механический турок?

Механический турок — это виртуальный рынок труда, созданный компанией Amazon в 2005 году. Эта платформа дает работодателям возможность предлагать разнообразные в основном простые задания широкому кругу пользователей. В большинстве случаев, плата за исполнение для того чтобы задания не превышает $1, а время, нужное для его исполнения, — нескольких мин..

Изначально Механический турок был рекомендован для внутреннего применения в Amazon, в частности для исполнения той работы, которая не воображает сложности для человека, но одновременно с этим неподвластна компьютерам. В случае если сказать правильнее, существуют определенные задания, с которыми человек легко может совладать самостоятельно, но все еще не в силах вынудить компьютер сделать эту работу вместо себя.

«В ноябре 2005 года, уже имея миллионы товарных целевых страниц, компания Amazon столкнулась с проблемой распознания их дубликатов. С одной стороны это задание потребовало написания запутанных громоздких методов, а с другой — отнимало всего пара секунд у простого человека. В случае если компьютер неимеетвозможности сделать работу, из-за чего бы не нанять для ее исполнения людей, каковые бы действовали как часть программы и делали маленькие дискретные задачи?

Людей, притворяющихся автомобилями, каковые ведут себя как люди, Безос очень удачно назвал “неестественным ИИ” (artificial artificial intelligence)», — Эллен Кашинг (Ellen Cushing), статья «Восход солнца виртуальной потогонной совокупности» для East Bay какое количество.

Механический турок интегрирует принятые работниками — «турками» — ответа в автоматизированный процесс, разрешающий программе запрашивать их результаты. Так, вместо сканирования двух сравнения и изображений взятых результатов, программе достаточно всего лишь задать вопрос Механического турка, какой процент «турков» сделал вывод, что на картинах изображены одинаковые объекты.

Безос назвал собственный изобретение в честь известного «иллюзионного устройства», сконструированного Вольфганом фон Кемпеленом в восемнадцатом веке. «Механический турок» был представлен широкой публике как первый в мире шахматный автомат. Собственный наименование он взял благодаря турецкой одежде и тюрбану, в которую была облачена восковая фигура очень способного, как казалось тогда зрителям, шахматиста, талантливого обыграть самого Наполеона.

Так было до того времени, пока через 3 десятилетия по окончании смерти Кемпелена, автомат не был разоблачен Эдгаром По. Как выяснилось, в «Турка» прятался сильный шахматист, что двигал шахматные фигуры при помощи вмонтированных в них магнитов и железных шариков, прикрепленных с внутренней стороны доски. По окончании смерти второго обладателя автомата, австрийского механика Мельцеля, «Механический турок» был передан в Китайский музей Филадельфии, где в первой половине 50-ых годов XIX века был стёрт с лица земли пожаром.

Механический турок, изобретенный компанией Amazon, может употребляться для совсем разнообразных заданий: категоризации, верификации данных, расстановки тегов, написания транскрипций либо переводов. Порносайты применяют данную платформу для написания названий видеороликов, а многие другие сайты чтобы отмечать нежелательный контент особыми «флажками».

Ну а вы, к примеру, имеете возможность заплатить $200 за коллекцию из 10 000 картинок овечек, каковые наблюдают влево. 🙂

«Рынок овечек — это коллекция из 10 000 картинок, созданных работниками краудсорсинговой платформы Amazon Mechanical Turk. Любой из работников получил $0,02 за нарисованную им овечку, которая наблюдает влево», — Аарон Коблин, создатель проекта «Рынок овечек».

  • 12 полезных бизнес-уроков от Джеффа Безоса (Amazon.com)

Краудсорсинг как природа человека

В 2008 году американский блоггер Энди Байо (Andy Baio) внес предложение работникам Механического турка по $0,5 за селфи с объяснением обстоятельства, по которой они стали «турками».

Механический турок был запущен в 2005 году, но первые упоминания о нем в научной литературе показались только по прошествии нескольких лет. После этого медлительно, но с уверенностью ученые начали осознавать, что люди, каковые за пара мин. делают практически непосильные для компьютера задания, смогут быть участниками научных опытов.

Ученые подчернули, что привлечение работников платформы к участию в разнообразных научных изучениях предоставит шанс значительно повысить репрезентативность выборок и сэкономить много денег, потому, что кроме того в сравнении со студентами работа «турков» стоит значительно дешевле.

Самые первые изучения с участием «турков» проводились с целью сравнения «неестественного ИИ» с ИИ. Иными словами, сравнения свойств работников платформы с компьютерными программами.

Обработка естественного языка (Natural Language Processing, NLP) как одно из неспециализированных направлений ИИ предполагает сравнение результативности программы с подобными свойствами человека.

Разглядим для примера предложение «Я ощущаю себя подавленно». Человек с легкостью охарактеризует это предложение как связанное с негативными чувствами, тогда как анализ тональности текста программой будет строиться на сравнении соответствия каждого раздельно забранного слова с «пессимистическим» и «оптимистическим» словарями, ранее составленными человеком.

В 2008 году команда университета и учёных совершила изучение, в котором сравнила уровень качества аннотаций, написанных «турками», с аннотациями, составленными намерено приглашенными специалистами. Как выяснилось, аннотации «турков» как правило соответствовали всем стандартам. Статья, в которой были опубликованы результаты изучения, именовалась «Дешево и скоро, но действенно ли?».

В 2009 году исследователи компании Яху изучили реакцию «турков» на материальные стимулы. Ученые заключили, что привлечение работников Механического турка к участию в опыте существенно повысило репрезентативность взятых ими результатов (при возрастании материальных стимулов люди трудятся больше и стремительнее, но наряду с этим уровень качества их работы не улучшается).

С того времени ученые начали деятельно завлекать «турков» к участию в разных онлайн-опросах и строить собственные догадки на основании взятых данных.

  • 15 психотерапевтических изучений, каковые повысят эффективность вашего интернет-маркетинга

Тестирование «турков»

Не обращая внимания на то, что «турки» являются недорогим методом сбора громадных массивов данных, все же существуют пара рисков, на каковые стоит обратить внимание. Речь заходит о внутреннем и внешнем несоответствии взятой информации.

Внутреннее несоответствие связано в первую очередь с анонимностью участников. Потому, что исследователь неимеетвозможности осуществлять контроль, как «турки» отвечают на вопросы, нет никакой гарантии, что они хотя бы просматривают вопрос, перед тем как дать на него ответ. К тому же существует возможность того, что кое-какие из них участвуют в одном и том же опыте по паре раз.

В изучении «Оценивание виртуального рынка труда: Amazon s Mechanical Turk» ученые удостоверились в надежности IP-адреса опрощеных, участвовавших в одном из аналогичных опросов, и нашли всего 7 дубликатов, что образовывает 2,5% от общего количества анкет (14 из 551).

Согласно точки зрения авторов изучения, данный показатель не обязательно говорит о повторном прохождении опроса. В полной мере быть может, что однообразные IP-адреса были легко присвоены различным пользователям. Кроме этого нельзя исключать возможность того, что различные люди проходили опрос с одного и того же компьютера на работе либо в каком-то кафе.

В то время, как личности «турков» в реальности остаются неизвестными, любой из них имеет собственную онлайн-репутацию. По окончании завершения задания работодатель оценивает работу «турка», и если она выполнена не на высоком уровне, он имеет полное право отказать в оплате. Эта оценка воздействует на предстоящие возможности работы «турка», потому, что многие задания доступны лишь тем пользователям, чей «рейтинг одобрения» превышает 95%.

Внешнее несоответствие со своей стороны связано с репрезентативностью выборки. Кто конкретно участвует в социологических изучениях? Кто находится «в» Механического турка?

В большинстве собственном пользователями Механического турка являются представители двух государств — США и Индии. Это связано в первую очередь с тем, что американские и индийские «турки» смогут приобретать финансовые средства от компании в виде банковских переводов, тогда как работа представителей других государств оплачивается подарочными сертификатами Amazon.

Географическое распределение пользователей Механического турка

На сегодня 46,8% пользователей Механического турка живут в Соединенных Штатах, 34% — в Индии. Отношение индийцев и американцев к работе разительно отличается: представители и американцы вторых западных государств вычисляют работу на платформе только хорошим методом провести время и получают значительно меньше индийцев.

светло синий маркер — «Доход на MTurk не имеет для меня никакого значения».
Зеленый маркер — «Доход на MTurk не воздействует на мое материальное положение».
Фиолетовый маркер — «Доход на MTurk есть источником оплаты дополнительных затрат».
Оранжевый маркер — «Доход на MTurk время от времени оказывает помощь мне выживать ».
Красный маркер — «Доход на MTurk постоянно помогает мне выживать ».

Годовой доход пользователей Механического турка в Соединенных Штатах (верхняя диаграмма) и в Индии (нижняя диаграмма), 2010 год

В соответствии с этими данными, честная плата за работу на платформе должна быть равна $0,1 в 60 секунд либо $6 в час. Средняя месячная зарплата в Индии в 2012 году пребывала в пределах $1006-3975. Значит, при ставке $0,1 в 60 секунд индийский пользователь Механического турка имел возможность получить эту же сумму за пара месяцев.

В изучении «Amazon s Mechanical Turk: новый источник дешёвых и точных данных?» ученые отстаивают позицию, в соответствии с которой участие пользователей Механического турка в опыте не гарантирует репрезентативность результатов.

Однако, даже в том случае, если допустить, что это предположение верное, ученые смогут поделить «турков» на чистые с демографической точки зрения выборки. Совершенно верно так же, как они устанавливают ограничения на возможность исполнения задания пользователем по его рейтингу одобрения, они смогут допускать к прохождению социологических опросов обитателей определенной страны.

Одним из способов понижения внешнего несоответствия данных есть сравнение результатов общенациональных демографических опросов с подобными опросами, совершёнными при участии пользователей Механического турка.

Авторы изучения «Оценивание виртуального рынка труда: Amazon s Mechanical Turk» составили выборку из 551 американского пользователя Механического турка и сравнили результаты совершённого ими опроса с результатами опроса, совершённого Американским национальным центром электоральных изучений (ANESP).

Ученые подчернули, что средний возраст опрошенных «турков» значительно меньше в сравнении с респондентами вторых опросов, что не имело возможности не оказать влияние на отклонения таких показателей как образование, домашнее положение, средний доход.

Но, в сравнении с «эргономичными выборками» — как при со студентами — преимущества Механического турка очевидны. Во-первых, средний возраст пользователей платформы значительно выше, чем возраст студентов, а во-вторых, качественный состав и состояние случайно отобранных «турков» приближается к подобным показателям для раздельно забранной страны.

Вместо заключения

Итак, краудсорсинговая платформа Амазон Механический турок есть хорошим плацдармом с целью проведения разнообразных изучений. Главными ее преимуществами являются скорость и дешевизна проведения опытов (особенно в случае если сравнивать их с лабораторными).

Вам не требуется искать и обучать помощников, снять в аренду помещения, платить студентам по $20, а позже пара месяцев разбирать полученные результаты. Все, что вам нужно для успешного научного изучения, это подключение к интернету. А для того, чтобы получить 10 000 анкет, потребуется всего $200 и пара-тройка дней при условии, что ваш опрос не через чур неинтересный. 🙂

Механический турок открывает доступ к двум культурно, экономически и политически различным народам, каковые являются активными пользователями платформы и прекрасно владеют английским, что существенно упрощает проведение интернациональных изучений, главная цель которых содержится в сравнении проявления разнообразных эффектов. По словам ученых, именно это разрешает значительно снизить нерепрезентативность результатов научных изучений.

Высоких вам конверсий!

По данным priceonomics.com

Случайные статьи:

شرح كامل ومفصل عن امازون وطريقة جني المال منه Amazon Mechanical Turk 2016


Подборка похожих статей:

riasevastopol

More Posts