Как google делает революцию в машинном обучении

Posted on by riasevastopol

Карсон Холгейт (Carson Holgate) желает стать ниндзя и большое количество тренируется, дабы достигнуть собственной цели. Но она грезит преуспеть не в боевых искусствах, поскольку у данной 26-летней девушки уже имеется тёмный пояс по тхэквондо.

Холгейт принимает участие в программе по машинному обучению, которая даст ей еще больше преимуществ, чем владение рукопашным боем. Она — одна из 18 программистов, задействованных в программе называющиеся «Ниндзя машинного обучения». Программа задумана в стиле известной «Игры Эндера», и участвуют в ней только самые гениальные сотрудники компании.

В рамках программы эксперты должны будут освоить базы внедрения ИИ в разные программные продукты. Полученные разработки станут «умнее», но сложнее для понимания.

«Отечественный слоган звучит так: “Желаете стать ниндзя машинного обучения?” Мы приглашаем всех сотрудников Гугл присоединиться к команде, занимающейся машинным обучением, на 6 месяцев. Все это время участники будут трудиться над собственным проектом под управлением наставника, а после этого запустят его. Программисты многому обучатся в ходе», — говорит менеджер внутренних направлений по машинному обучению в Гугл Кристин Робсон (Christine Robson) (она кроме этого она кроме этого администрирует программу).Как google делает революцию в машинном обучении

Холгейт пришла в Гугл 4 года назад. Она — эксперт в области информатики и математики, и для нее это хорошая возможность овладеть самым «горячим» трендом в мире ПО: применение обучающих методов и громадных данных для «обучения» компьютерных программ. Многие годы считалось, что машинное обучение — удел «избранных».

Эти времена сзади, так как следствия последних изучений продемонстрировали, что нейронные сети и машинное обучение способны имитировать процессы в мозге человека. Это прямая дорога к тому, дабы наделить компьютер людскими свойствами а также сделать из него сверхчеловека. Гугл сохраняет надежду, что эти знания распространятся среди сотрудников.

А для программистов наподобие Холгейт — это хороший шанс появляться на ход в первых рядах сотрудников и обучаться у лучших. «Эти люди имеют степени профессори наряду с этим создают полностью немыслимые модели», — заявляет Холгейт, которая уже не пробует сдерживать восторг. «Вначале мне кроме того было мало страшно, но позже я привыкла».

Эта программа есть только маленьким проектом, учитывая тот факт, что в Гугл трудятся около 60000 программистов. Но это символизирует когнитивный сдвиг. Машинное обучение уже давно стало частью разработок, созданных Гугл, и огромное количество специалистов заняты в данной сфере в компании.

Но, начиная с 2016 года, управление компании практически помешалось на МО (машинном обучении). На одной из конференций в прошедшем сезоне СЕО корпорации Сандар Пичай (Sundar Pichai) пояснил: «Машинное обучение — база баз, которая трансформирует отечественное познание разработок. Мы уже используем МО при создании программных продуктов. К примеру, в поисковой совокупности, рекламе, YouTube либо Play.

Мы находимся еще в начале пути, но не так долго осталось ждать вы заметите, как мы будем систематически использовать машинное обучение во всех областях».

Разумеется, что в случае если управление Гугл действительно собирается внедрять машинное обучение, то компании нужны люди, специализирующиеся как раз в этом направлении, отказавшиеся от классического стиля программирования. Создатель популярного МО манифеста Педро Домингос (Pedro Domingos) пишет: «Машинное обучение — совсем новое явление: это разработка, талантливая создавать саму себя».

Создание таких совокупностей подразумевает сбор верных данных, выбор верного алгоритмического подхода и создание верных условий. Помимо этого, что особенно сложно для программиста, нужно довериться самой совокупности.

«Чем больше людей будут применять технологии машинного обучения для ответа задач, тем лучше», — заявляет директор направления МО Джефф Дин (Jeff Dean). Сейчас из 25000 программистов, трудящихся в Гугл, лишь пара тысяч специалистов машинного обучения. Это приблизительно 10% от общего числа.

Джефф Дин сохраняет надежду, что данный показатель неспешно достигнет 100%. Он заявляет: «Было бы здорово, если бы любой программист в компании обладал определенными знаниями в области МО». Уверен ли Дин в том, что это вправду случится? «Мы будем стараться», — заявил он.

В течение многих лет Джон Джиннандреа (John Giannandrea) продвигает идеи машинного обучения. Сравнительно не так давно он возглавил поисковый отдел, что красноречиво иллюстрирует новый курс компании. Но, в то время, когда Джиннандреа пришел в компанию, у него был только незначительный опыт в сфере нейронных сетей и машинного обучения.

В 2011 году он посетил конференцию «Neural Information Processing Systems» (NIPS) и был поражен новостями. Казалось, ежегодно на конференции NIPS высказывались идеи, на голову опережавшие прошлые успехи в области перевода, голосового поиска либо машинного зрения.

Происходило что-то немыслимое. «На первый взгляд, казалось, что на данной конференции обсуждаются совсем непонятные вещи», — говорит Джон Джиннандреа. «Но эта область, на пересечении отвлечённых индустрии и знаний, достигла немыслимых высот за три года. На последней конференции находилось около 6000 человек».

На фото Джефф Дин

Просматривайте кроме этого: Развитие ИИ: на пути к Сверхразуму

К чему приведет тренд?

Усовершенствованные методы эмуляции нейронных сетей совместно с возрастающей благодаря закону Мура вычислительной экспоненциальным ростом и мощностью количества информации о поведении пользователей, собираемых компаниями наподобие Гугл либо Facebook, дали старт новой эре господства машинного обучения. Джиннандреа стал одним из тех, кто вычисляет это направление приоритетным. К нему присоединился и Дин, основавший Гугл Brain — проект по работе с нейронными сетями, начатый в отделе долговременных изучений Гугл X.

Управление Гугл увлеклось разработками машинного обучения не просто для совершенствования навыков программирования. Это увлечение разрешит компьютерам взять невиданные ранее возможности. Разработка «глубокого обучения», созданная на базе усовершенствованных нейронных сетей и частично имитирующая структуру мозга человека, на сегодня самая передовая. Проект Гугл Brain — попытка совершенствования разработок МО.

Помимо этого, управление Гугл купило компанию DeepMind за 500 миллионов долларов. Данный бренд кроме этого специализируется на неестественном интеллекте и продолжает работу в данной области. Как раз DeepMind создала совокупность AlphaGo, победившую чемпиона по игре в Go.

Эта победа внушила ужас тем, кто опасается умных автомобилей и роботов-убийц.

Джиннандреа и другие эксперты в области ИИ не уверены в том, что человечество будет стёрто с лица земли неестественным разумом. Но они уверены, что появление «умных» автомобилей поменяет все около нас: начиная от постановки медицинских заключений и заканчивая вождением машин. Автомобили не смогут всецело заменить людей, но благодаря им наша жизнь значительно изменится.

Как пример свойств МО, Джиннандреа приводит проект Гугл Photos. Главная функция программы — поиск изображения предмета, заданного пользователем. К примеру, фотографии псов породы «бордер-колли». «В то время, когда человек наблюдает за работой данной программы, ему думается, что происходит что-то сверхъестественное, поскольку совокупность не просто выдает видео либо изображения, основываясь на предпочтениях», — утверждает Джиннандреа. «Компьютер осознаёт, что именно нарисовано на картине».

Джиннандреа поясняет, что благодаря свойству к обучению, компьютер «знает», как выглядит собака породы бордер-колли.

Совокупность определит собаку на фотографии, где изображен щенок либо взрослая особь, с отросшей шерстью либо сразу после стрижки. Любой человек также легко сделает это. Но никто не просмотрит миллион фотографий и не отберет из них 10000 изображений нужных пород за пара мин..

А компьютер сделает это благодаря разработкам машинного обучения. «В этом и имеется инновационный подход», — заявляет Джиннандреа. «Именно на таких примерах видны немыслимые, сверхчеловеческие возможности обучающих совокупностей».

Очевидно, технологии машинного обучения в далеком прошлом изучаются экспертами Гугл, чьи основатели постоянно верили в бесконечный потенциал ИИ. Технологии МО уже встроены во многие продукты компании, не смотря на то, что кое-какие из них не применяют нейронные сети (они основаны на более несложном статистическом подходе).

Более десяти лет назад в Гугл уже проводились направления по машинному обучению. В 2005 году Питер Норвиг (Peter Norvig), управлявший тогда отдел поиска, внес предложение исследователю Дэвиду Пабло Кону (David Pablo Cohn) проверить, может ли Гугл перенести к себе направления университета Карнеги-Мэллон. Кон узнал, что лишь сотрудники Гугл способны организовать и совершить направления по машинному обучению, поскольку масштабы данной компании превосходят все остальные.

В итоге, Питер Норвиг решил занять громадную аудиторию номер 43 и начал проводить в том месте двухчасовые направления каждую среду. Кроме того Дин находился на нескольких занятиях. «Это были самые лучшие в мире направления», — заявлял Кон. «Все студенты были выдающимися программистами, каковые во многом превосходили меня!» Направления стали такими популярными, что все начало выходить из под контроля.

Люди, трудившиеся в офисе в Бангалоре, ночевали на работе, дабы слушать лекции удаленно. Пара лет спустя кое-какие эксперты Гугл стали делать записи лекций. Кон считает, что это событие предвосхитило создание «Массовых открытых онлайн-направлений» (MOOC). Позже в компании прошло множество направлений по МО, но они были несравнимы с направлениями Норвига по масштабу и регулярности.

Кон ушел в 2013 году именно перед тем, как машинное обучение стало приоритетным направлением.

В 2012 году у Джиннандреа появилась мысль собрать всех сотрудников компании, заинтересованных в машинном обучении, в одном строении. Эксперты, трудившиеся над проектом Гугл Brain, также присоединились к ним. «Мы собрали представителей нескольких команд в одном месте и приобрели им хорошую кофемашину», — заявил Джиннандреа. «Сейчас люди, трудившиеся над голосовым управлением, имели возможность пообщаться с тем, кто занимался разработками машинного перевода».

Неспешно результаты команды, изучавшей МО, начали появляться в программных продуктах Гугл. Потому, что главные области применения машинного обучения — зрение, синтез, перевод и распознавание речи, то неудивительно, что технологии МО показались в таких продуктах как «Голосовой поиск», «Гугл переводчик» и «Google фото». Поразительно, что сейчас эксперты Гугл везде внедряют МО.

По мере того, как сотрудники все лучше и лучше знают правила машинного обучения, они поднимают мировую планку применения данной разработке. «Раньше мы внедряли МО лишь в некоторых компонентах совокупности», — утверждает Джефф Дин. «Сейчас мы используем МО вместо целых совокупностей». Дин кроме этого додаёт, что если бы ему было нужно переписывать внутреннюю структуру программных продуктов Гугл, то большинство компонентов была бы создана при помощи машинного обучения, а не программирования.

На фото Грег Коррадо (Greg Corrado)

Просматривайте кроме этого: Экскурсовод по неестественному интеллекту для разработчиков

Примеры возможностей МО

Машинное обучение наделяет программные продукты особенностями, невообразимыми ранее. Пример тому — умный ответ (Smart Reply) в Gmail. Эта функция была запущена в ноябре 2015 года. Все началось с беседы одного из основателей проекта Гугл Brain Грега Коррадо и программиста Gmail Балинта Миклоса (Balint Miklos). Коррадо раньше трудился с командой Gmail. Тогда были созданы классификации распознавания писем и алгоритмы спама. Но Миклос внес предложение что-то радикальное.

Его мысль заключалась в том, дабы совокупность машинально генерировала ответы на письма. «Я был поражен, поскольку его идеи тогда казались мне сумасшедшими», — говорит Коррадо. «Но позже я поразмыслил, что посредством предиктивных разработок отечественных нейронных сетей это делается вероятным. Мы осознали, что в случае если имеется хоть один шанс воплотить эту задумку в действительность, то стоит попытаться».

Управление Гугл увеличило шансы на реализацию идеи, поддерживая тесный контакт между Коррадо и командой семь дней. После этого таковой подход начал применяться все чаще, и эксперты по машинному обучению показались в каждой команде, трудящейся над программными продуктами. «Машинное обучение — одновременно и наука, и мастерство», — утверждает Коррадо. «Это больше похоже на изысканную кулинарию. Очевидно, химия серьёзна в этом деле, но, дабы приготовить что-то отличное, вам необходимо сочетать дешёвые ингредиенты».

Классические способы распознавания языка при помощи разработок ИИ подразумевают включение правил языка в совокупность. Но в этом проекте в совокупность было загружено достаточно данных, дабы она имела возможность обучаться языку самостоятельно совершенно верно так же, как это делает ребенок, в то время, когда обучается сказать. «Я обучался говорить не у лингвиста, а слушая, как говорят другие люди», — утверждает Коррадо.

Но что вправду содействовало успеху Smart Reply, так это то, что были созданы четкие параметры успеха. Мысль заключалась не в том, дабы создать виртуальную Скарлетт Йохансон, которая вела бы непринужденные беседы с пользователями. Необходимо было создать похожие на правду ответы на настоящие письма. «Успешным считался таковой ответ, каковые пользователи обнаружили нужным», — заявлял Коррадо.

В следствии, совокупность самостоятельно обучалась, в то время, когда пользователи выбирали понравившийся им ответ.

По окончании начала тестирования функции Smart Reply, пользователи отметили необычную изюминку совокупности: довольно часто она предлагала романтические ответы, в то время, когда это не соответствовало обстановке. «Одной из неточностей совокупности было то, что в то время, когда метод пребывал в замешательстве, он постоянно предлагал ответ «я обожаю тебя», — утверждал Коррадо. «Это не было неточностью самой программы, неприятность заключалась в том, что именно мы просили ее сделать». Программа каким-то образом изучила один из узких качеств поведения человека: «В случае если сомневаешься, сообщи «я обожаю тебя».

Это хорошая защитная стратегия». Но Коррадо помог команде совладать с избыточной романтичностью совокупности.

Функция Smart Reply стала дешёвой пользователям в ноябре 2015 года и сразу же покорила всех. Сейчас у них была возможность выбрать из трех вероятных вариантов ответа на письмо и послать его одним касанием. «Я до сих пор удивляюсь, как это трудится», — смеется Коррадо.

Smart Reply стал только одним из примеров успешного машинного обучения в программных продуктах Google. Но, возможно, поворотный момент наступил тогда, в то время, когда МО стало неотъемлемым элементом поисковой совокупности. Не секрет, что именно поисковая совокупность — основной продукт Гугл и главный источник ее доходов.

ИИ неизменно в какой то мере использовался в разработках поиска. Но много лет «священные» методы поиска считались чересчур ответственными, дабы отдавать их «во власть» машинного обучения. «Потому, что поисковая совокупность так ответственна, ранжирование очень сильно эволюционировало. Не смотря на то, что людям тяжело было поверить, что вероятно большее», — утверждает Джиннандреа.

К началу 2014 года специалисты по машинному обучению заключили, что обстановка обязана измениться. «Мы вели долгие беседы с командой, занимающейся разработками ранжирования», — говорит Джефф Дин. «Мы говорили о том, что необходимо хотя бы попытаться и взглянуть на итог». Планируемый опыт затрагивал самую базу процесса поиска: как прекрасно файлы выдачи соответствуют поисковому запросу (данный показатель измеряется по количеству кликов пользователя). «Мы внесли предложение вычислить еще одну метрику при помощи нейронных сетей и взглянуть, будет ли она действенной».

В следствии оказалось, что эта метрика очень нужна. Сейчас она стала частью поисковой совокупности и носит название RankBrain. Новая функция была запущена в апреле 2015 года. Эксперты Гугл не отвечают, как функция усиливает метод поиска.

Но Дин говорит, что RankBrain трудится с каждым запросом и воздействует на результаты ранжирования — если не в любых ситуациях, то во многих.

«Для компании было принципиально важно улучшить поисковую совокупность разработкой машинного обучения», — утверждает Джиннандреа. «Это привлекло интерес множества людей». Доктор наук Вашингтонского университета Педро Домингос говорит об этом по-второму: «Борьба между приверженцами классического поиска и экспертами по машинному обучению шла неизменно», — говорит он. «Последние в итоге победили».

Новая задача Google — сместить приоритеты программистов. Согласно точки зрения управления, все они должны быть если не экспертами в сфере машинного обучения, то хотя бы имели какие-то представления о нем. Подобный цели ставит Facebook, кроме этого заинтересованный в глубоком обучении. Борьба за выпускников со специализацией «Машинное обучение» довольно большая, и Гугл приложив все возможные усилия старается сохранить собственный преимущество.

Уже пара лет в отвлечённых кругах поговаривают что Гугл всегда нанимает студентов, даже если они не необходимы компании, легко дабы те не ушли к соперникам. Но в действительности, любой таковой выпускник воображает сокровище для корпорации. «Мои студенты постоянно получают приглашение от Гугл», — заявляет Педро Домингос. Страсти накаляютсяв связи с тем, что сравнительно не так давно управление Гугл заявило об открытии лаборатории МО в Цюрихе.

Что создаст множество рабочих мест.

На фото Кристин Робсон (Christine Robson). Она обучает экспертов техникам МО.

Просматривайте кроме этого: Будущее разработок: коллективное сознание

Кузница кадров

Потому, что в университетах не готовят хватает специалистов по машинному обучению, переподготовка сотрудников — насущная неприятность. Но это не всегда так легко, в особенности в случае если речь заходит о компании наподобие Гугл, где работает множество выдающихся программистов, каковые израсходовали жизнь на то, дабы достигнуть удач в сфере классического программирования. Для машинного обучения нужен второй склад ума.

Выдающиеся программисты в большинстве случаев достигают больших удач из-за умения осуществлять контроль программируемую совокупность. Кроме этого, МО требует глубокого понимания статистики и математики.

Кроме этого специалистам по машинному обучению необходимо владеть терпением. «Модель МО — это не статичный кусок кода. Вы всегда наполняете совокупность данными», — утверждает Кристин Робсон. «Мы всегда обновляем существующие модели и обучаем их, додавая новые способности и данные к предсказаниям. Они похожи на живые существа.

Дабы умело обращаться с ними, нужен другой подход к программированию».

Джиннандреа разглядывает «пропаганду» машинного обучения как часть собственной работы и заявляет, что это наука об опытах с другими методами. Нужно выяснить, какие конкретно из них трудятся оптимальнее . Наряду с этим, информатика никуда не девается, но приходится громадное внимание уделять статистике и математике и меньше думать о написании кода.

Управление Google уверено, что преодолеть данный барьер сотрудникам окажет помощь так именуемое «умное» переобучение «В итоге, применяемая в моделях машинного обучения математика не так уж сложна», — заявляет Дин. «Ее в состоянии освоить любой программист в компании». Дабы оказать помощь начинающим специалистам по машинному обучению, в компании Гугл было создано пара инструментов, помогающих при работе с моделями МО. Самым замечательным из таких инструментов сейчас есть TensorFlow.

Он активизирует работу с нейронными сетями. TensorFlow был создан Дином совместно с его сотрудником Раджатом Монгой. Этот инструмент разрешает стандартизировать «нудные» подробности построения совокупности.

У Гугл имеется множество инструментов для работы с совокупностями машинного обучения. Один из них эксперты компании применяли в далеком прошлом, но заявили об этом только сравнительно не так давно. Это инструмент носит название Tensor Processing Unit. Он представляет собой микрочип, оптимизированный для действенной работы программ МО.

Огромное множество чипов (правильное их число известно лишь Всевышнему и Ларри Пэйджу) уже установлено в серверах дата-центров компании. Они ускоряют работу нейронных сетей и дают Гугл огромное преимущество. «Без них мы бы не создали RankBrain», — утверждает Дин.

Просматривайте кроме этого: Человек + ИИ = Будущее интернет-маркетинга

Вместо заключения

Компания Гугл больше всего испытывает недостаток в грамотных экспертах, талантливых разрабатывать и настраивать совокупности МО. Для этого в компании всегда проводятся как большие, так и небольшие опыты. К примеру, двухдневный «Крэш-курс по МО с TensorFlow».

В курсе содержится упражнения и теоретическая информация.

Менее масштабные опыты создаются с целью привлечения специалистов по машинному обучению извне. Данной весной Гугл запустил программу Brain Residency, призванную вовлечь перспективных программистов и обучать их в течение года силами группы Гугл Brain. Карсон Холгейт (о которой было сообщено в начале статьи), участвуя в программе для «ниндзя машинного обучения» определит то, что имеет огромное значение для замыслов Гугл.

Эта корпорация собирается занять ключевую роль в сфере ИИ.

«С машинным обучение у нас все без шуток», — заявляет Карсон Холгейт.

Высоких вам конверсий!

По данным: backchannel.com

Случайные статьи:

Разведопрос: Сергей Марков о машинном обучении


Подборка похожих статей:

riasevastopol

More Posts