Ml что это: ML — это… Что такое ML?

Что такое Machine learning (ML)/ Машинное обучение? Помогает или вредит?

Что такое Machine learning (ML)/ Машинное обучение? Помогает или вредит?

Machine learning (ML) – это наука о том, как заставить компьютеры действовать, не будучи явно запрограммированными.

Машинное обучение (ML) касается систем и алгоритмов, которые могут учиться из разных данных и делать прогнозы. Примером является прогнозирование шаблонов трафика на занятом перекрестке – программа может запускать алгоритм машинного обучения, содержащий данные о прошлых шаблонах трафика и, проанализировав предыдущие данные, может разработать более надежные прогнозы будущих моделей трафика.

В последнее десятилетие машинное обучение дало нам автомобили с самообслуживанием, практическое распознавание речи, эффективный поиск в Интернете и значительно улучшенное понимание человеческого генома, банальный антиспам.

Machine learning настолько распространено, что вы, вероятно, используете его десятки раз в день, не зная об этом. Многие исследователи также считают, что это лучший способ добиться прогресса в области искусственного интеллекта на человеческом уровне.

Основные концепции, которые легли в основу машинного обучения следующие:

• Анализ данных – область математики, занимающаяся построением и исследованием наиболее общих математических методов и алгоритмов извлечения знаний из экспериментально полученных показателей. Проще говоря процесс исследования и группировки данных об изучаемом объекте с целью определить его качества. По этим качествам можно будет в дальнейшем определить и сам объект.
• Статистическое распознавание образов – процесс установление связи между отнесением объекта к тому или иному классу.

В ряде случаев это сводится к определению вероятности принадлежности объекта к какому-либо визуальному образу. Похож или не похож?

Из этих основ следует, что машины могут учиться без вмешательства человека, с помощью машинного обучения.

Технология саморазвития машин призвана, как можно раньше, дать ответы на множество вопросов медицины, сохранения электроэнергии и других наиболее важных для человечества.

Цель учебной машины состоит в том, чтобы имитировать человеческое познание, создавая обобщенную модель для получения достаточно точных предсказаний.

ML вырос из отрасли искусственного интеллекта, которая изучает распознавание образов и компьютерное обучение.

Все задания ML могут вписываться в несколько категорий. Вот основные из них:

• Контролируемое обучение (параметрические / непараметрические алгоритмы, опорные векторные машины, ядра, нейронные сети).

Контролируемое ML – полагается на данные, где указана настоящая метка.

Пример:

Обучение компьютеру различать фотографии кошек и собак с каждым изображением с меткой «кошка» или «собака». Маркировка обычно выполняется людьми, чтобы гарантировать высокое качество данных.

Узнав разницу, алгоритм ML теперь может классифицировать новые данные и предсказывать метки («кошка» или «собака») на ранее не изученных изображениях.

• Неконтролируемое обучение (кластеризация, уменьшение размерности, системы рекомендаций, глубокое обучение)

Неконтролируемое ML – лишает алгоритм обучения меток, используемых в контролируемом обучении.

Обычно включает в себя обеспечение алгоритма ML с большим объемом данных по каждому аспекту объекта.

Пример: представлены изображения кошек и собак, которые не были помечены, неконтролируемый ML может разделять изображения на две группы на основе некоторых неотъемлемых характеристик изображений.

Это и есть статистическое распознавание образов.

Как именно происходит “закрепление данных”, полученных в ходе обучения.

Примером может быть складывание Кубик Рубика.

Предположим машина не понимает алгоритм, но может проанализировать последовательность действий, приводящих к условной “победе”.

Таким образом используя тысячи комбинаций, перебирая, компьютер запомнит механизм складывания логической игрушки.

В ML используется более дюжины подходов.

Некоторые из них включают:

Дерево принятия решений – интеллектуальная модель, которая отображает наблюдения за предметом, чтобы делать выводы о его целевом значении.

Байесовские сети – вероятностная графическая модель, представляющая набор случайных величин и их условных независимых величин. Как пример – вероятностные взаимосвязи между болезнями и симптомами.

Искусственные нейронные сети – алгоритм обучения, основанный на биологических нейронах, который использует инструменты моделирования статистических данных для поиска шаблонов в данных.

Значимость ML заключается в том, что, поскольку она управляется данными, ее можно обучить созданию ценных интеллектуальных моделей, которые могут определять правильные решения и интеллектуальные действия.

Языки программирования

fun factorial n = let
  fun fac (0, acc) = acc
    | fac (n, acc) = fac (n - 1, n*acc)
  in
    if (n 

DS, ML и люди, которые этим занимаются.

Взгляд Сбербанка / Хабр

Data scientist это прежде всего практик, который работает с математическим аппаратом, статистическим инструментарием, видит и понимает взаимосвязи в данных. Нередко в Data scientist приходят программисты, которые имеют научный и глубокий теоретический бэкграунд в сфере работы с Big Data. Нельзя однозначно сказать, что работать с большими данными должен талантливый математик или продвинутый программист — скорее, это человек с особым мышлением, готовый к восприятию данных, понимающий их связи и структуру, готовый экспериментировать, оптимизировать схемы работы, выявлять самые неожиданные закономерности. Главное, что отличает такого специалиста – умение работать с данными применительно к проблеме.

Трое data scientist из США (Harlan D. Harris, Sean Patrick Murphy, Marck Vaisman) провели опрос среди большого количества специалистов по данным, чтобы понять, каким же должен быть data scientist. По итогам опроса они выделили четыре группы специалистов по данным и соотнесли их со сферами деятельности.

➤ Data Business people (предприниматели) – группа специалистов, ориентированных на организационные вопросы и получение прибыли от проектов, связанных с данными. Как правило, это люди с инженерным или техническим образованием и степенью MBA.

➤ Data Creatives (приблизительно можно перевести как «свободные художники» данных) – специалисты, которые творчески подходят к анализу. Иногда это даже хакеры. Как правило, это люди из научной среды с академическим опытом, экономисты и статистики по образованию.

➤ Data Developer (девелоперы данных) — специалисты, сосредоточенные на технических проблемах управления данными: как получать, хранить данные и учиться на них. Эта группа изо дня в день пишет код, около половины имеют образование в сфере компьютерных наук, у них больше остальных групп прокачаны скиллы Big Data и машинного обучения.

➤ Data Researchers (исследователи данных) – учёные и исследователи данных, которые практикуют научную работу, публикуются в профильных изданиях, имеют научные степени. В этой группе наименьшее число людей, связанных с бизнесом.

Респонденты ранжировали требуемые навыки по группам:

Что такое автоматизированное ML? AutoML — Azure Machine Learning

• 
  10/27/2020
• Чтение занимает 12 мин

В этой статье

Автоматизированное машинное обучение, которое также называется автоматизированным ML или AutoML, представляет собой процесс автоматизации трудоемких и многократно повторяющихся задач разработки моделей машинного обучения. С его помощью специалисты по обработке и анализу данных могут создавать модели машинного обучения с высокой масштабируемостью, эффективностью и производительностью, сохраняя при этом качество модели. В основе автоматизированного ML в машинном обучении Azure лежат передовые разработки исследовательского подразделения корпорации Майкрософт.

Традиционная разработка моделей машинного обучения занимает много ресурсов, требует значительного объема знаний в предметной области и времени для создания и сравнения десятков моделей. С помощью автоматизированного машинного обучения вы ускоряете получение готовых к работе моделей машинного обучения, делая этот процесс простым и эффективным.

Когда следует использовать AutoML: классификация, регрессия и прогноз

Примените автоматизированное ML, если вы хотите использовать Машинное обучение Azure для обучения и настройки модели с использованием указанных целевых метрик. Автоматизированное ML делает процесс разработки модели машинного обучения более демократичным и предоставляет пользователям возможность организовать комплексный поток машинного обучения для любой проблемы, невзирая на имеющиеся навыки пользователей в области обработки и анализа данных.

Специалисты по обработке и анализу данных, аналитики и разработчики в разных отраслях могут использовать автоматизированное ML для следующего:

• Реализации решений ML без обширных знаний в области программирования.
• Экономии времени и ресурсов.
• Использования рекомендаций по обработке и анализу данных.
• Обеспечения гибкого подхода к решению проблем.

Классификация

Классификация — это распространенная задача для машинного обучения. Классификация представляет собой тип контролируемого обучения, в котором обучение моделей происходит с помощью обучающих данных, после чего полученные знания применяются к новым данным. Машинное обучение Azure предлагает возможность конструирования признаков специально для таких задач, как, например, конструкторы признаков текста для классификации с помощью глубокой нейронной сети. Узнайте подробнее о параметрах конструирования признаков.

Основной целью моделей классификации является прогнозирование того, к каким категориям будут относиться новые данные в зависимости от результатов изучения обучающих данных. К общим примерам классификации относятся обнаружение мошенничества, распознавание рукописного текста и обнаружение объектов. Дополнительные сведения см. в примере по созданию модели классификации с помощью автоматизированного ML.

Ознакомьтесь с примерами классификации и автоматизированного машинного обучения в следующих записных книжках по Python: Обнаружение мошенничества, Маркетинговое прогнозирование и Классификация данных группы новостей

Регрессия

Аналогично классификации, регрессия также является распространенной задачей контролируемого обучения. Машинное обучение Azure предлагает конструирование признаков специально для этих задач.

В отличие от классификации, при которой прогнозируемые выходные значения упорядочиваются по категориям, модели регрессии прогнозируют числовые выходные значения на основе независимых прогностических факторов. В случае регрессии цель заключается в том, чтобы установить связь между этими независимыми переменными прогнозирования, оценивая, как одна переменная влияет на другие. Например, стоимость автомобиля зависит от таких факторов, как расход топлива, уровень безопасности и т. д. Узнайте подробнее и ознакомьтесь с примером регрессии с помощью автоматизированного машинного обучения.

Ознакомьтесь с примерами регрессии и автоматизированного машинного обучения для прогнозирования в следующих записных книжках по Python: Прогнозирование производительности ЦП.

Прогнозирование временных рядов

Создание прогнозов является неотъемлемой частью любого бизнеса, будь то прогнозирование дохода, инвентаризация, продажи или спрос. Вы можете использовать автоматизированное ML для объединения методов и подходов и получения рекомендуемого, высококачественного прогноза временных рядов. Дополнительные сведения об этом см. в статье Автоматизированное машинное обучение для прогнозирования временных рядов.

Эксперимент по прогнозированию временных рядов рассматривается как многовариантная задача регрессии. Прошлые значения временных рядов «сводятся» для создания дополнительных измерений для регрессии вместе с другими прогностическими факторами. Данный подход, в отличие от классических методов временных рядов, имеет преимущество, поскольку изначально включает несколько контекстных переменных и их связь друг с другом во время обучения. Автоматизированное ML изучает одну, но зачастую разветвленную модель для всех элементов в наборе данных и горизонтах прогнозирования. Поэтому доступно больше данных для оценки параметров модели, а также становится возможным обобщение невидимых рядов.

Конфигурация расширенного прогнозирования включает следующее:

• Контроль сплошности и конструирование признаков.
• Временные ряды и средства обучения DNN (Auto-ARIMA, Prophet, ForecastTCN).
• Поддержка многих моделей путем группирования.
• Перекрестная проверка последовательного происхождения
• Настраиваемые задержки.
• Признаки для скользящих агрегатов значений окна.

Ознакомьтесь с примерами регрессии и автоматизированного машинного обучения для прогнозирования в следующих записных книжках по Python: Прогнозирование продаж, Прогнозирование спроса и Прогнозирование производства напитков.

Принцип работы автоматизированного ML

Во время обучения Машинное обучение Azure создает несколько параллельных конвейеров, проверяющих разные алгоритмы и параметры. Служба выполняет итерацию по алгоритмам машинного обучения, связанным с выбором признаков, где каждая итерация создает модель с оценкой обучения. Чем выше оценка, тем лучше модель «подходит» для ваших данных. Процесс будет остановлен после того, как он достигнет критерия выхода, определенного в эксперименте.

С помощью Машинного обучения Azure вы можете проектировать и запускать эксперименты по использованию автоматизированного ML.

1. Определите задачу машинного обучения, которую необходимо решить: классификация, прогнозирование или регрессия.

2. Выберите, будете ли вы использовать пакет SDK для Python или веб-интерфейс студии. Узнайте подробнее о сравнении пакета SDK для Python и веб-интерфейса студии.

3. Укажите источник и формат для обучающих данных: массивы Numpy или кадры данных Pandas.

4. Настройте целевой объект вычислений для обучения модели, например локальный компьютер, вычислительные среды Машинного обучения Azure, удаленные виртуальные машины или Azure Databricks. Узнайте подробнее об автоматизированном обучении в удаленном ресурсе.

5. Настройте параметры автоматизированного машинного обучения, определяющие количество итераций по различным моделям, настройки гиперпараметров, расширенную предварительную обработку/конструирование признаков, а также метрики, которые следует использовать при определении наиболее подходящей модели.

6. Отправьте задание обучения.

7. Проверьте результаты.

Этот процесс представлен на схеме ниже.

Вы также можете просмотреть записанные данные обучающего запуска, содержащие метрики, собранные во время выполнения. При обучающем запуске создается объект сериализации Python (файл с расширением .pkl), содержащий модель и предварительную обработку данных.

Несмотря на то, что создание модели автоматизировано, можно также узнать, насколько важны признаки или насколько они подходят для создаваемых моделей.

Узнайте о том, как использовать удаленный целевой объект вычисления.

Проектирование признаков

Конструирование признаков — это создание функций, которые помогают алгоритмам машинного обучения обучаться быстрее. При этом используется база данных предметной области. Чтобы упростить конструирование признаков в машинном обучении Azure применяются методики масштабирования и нормализации. В совокупности эти методы и функции, описанные выше, называются конструированием признаков.

Для автоматических экспериментов c машинным обучением конструирование признаков применяется автоматически. Но этот процесс также можно настроить под ваши данные. Узнайте подробнее о компонентах конструирования признаков.

Примечание

Шаги конструирования признаков автоматизированного машинного обучения (нормализация признаков, обработка недостающих данных, преобразование текста в числовой формат и т. д.) становятся частью базовой модели. При использовании модели прогнозирования те же этапы конструирования признаков, которые выполнялись во время обучения, автоматически выполняются для входных данных.

Автоматическое конструирование признаков (стандартное)

В каждом эксперименте по автоматизированному машинному обучению данные автоматически масштабируются или нормализуются, что способствует эффективному выполнению алгоритмов. Во время обучения модели для каждой модели будет применен один из следующих методов масштабирования или нормализации. Узнайте, как AutoML предотвращает появление ложных взаимосвязей и несбалансированных данных в моделях.

Настройка конструирования признаков

Также доступны дополнительные методы конструирования признаков, такие как, кодирование и преобразования.

Включить этот параметр можно следующими способами:

• Студия машинного обучения Azure: включите параметр Автоматическое конструирование признаков в разделе Просмотреть дополнительную конфигурацию, как описано здесь.

• Пакет SDK для Python: укажите "feauturization": 'auto' / 'off' / 'FeaturizationConfig' в объекте AutoMLConfig. Дополнительные сведения о включении конструирования признаков.

Коллективные модели

Автоматизированное машинное обучение поддерживает коллективные модели, которые включены по умолчанию. Коллективное обучение улучшает результаты машинного обучения и точность прогнозов, объединяя несколько моделей в отличие от использования отдельных моделей. Коллективные итерации отображаются в виде окончательных итераций выполнения. Для комбинирования моделей в автоматизированном машинном обучении используются методы голосования и распределения.

• Голосование: прогноз формируется на основе взвешенного среднего вероятности прогнозируемых классов (для задач классификации) или целевых объектов прогнозируемой регрессии (для задач регрессии).
• Распределение: объединение разнородных моделей и обучение метамодели на основе выходных данных отдельных моделей. Текущие метамодели по умолчанию — LogisticRegression для задач классификации и ElasticNet для задач регрессии/прогнозирования.

Алгоритм коллективного выбора с отсортированной коллективной инициализацией используется для выбора используемых моделей. На высоком уровне этот алгоритм инициализирует сочетание до пяти моделей с наилучшими отдельными оценками и проверяет, что эти модели входят в 5 % наилучшей оценки, чтобы избежать недостаточно подходящего сочетания. Затем для каждой коллективной итерации в существующее сочетание добавляется новая модель и вычисляется результирующая оценка. Если новая модель улучшила существующую оценку сочетания, сочетание обновляется для включения новой модели.

Ознакомьтесь с инструкциями по изменению параметров сочетаний по умолчанию в автоматизированном машинном обучении.

Руководство по локальным и удаленным управляемым целевым объектам вычислений машинного обучения

Веб-интерфейс для автоматизированного ML всегда использует удаленный целевой объект вычислений. Однако при использовании пакета SDK для Python потребуется выбрать локальный или удаленный целевой объект вычислений для автоматизированного обучения ML.

• Локальное вычисление: обучение выполняется на локальном ноутбуке или на виртуальной машине.
• Удаленное вычисление: обучение выполняется на кластерах Машинного обучения Azure.

Выбор целевого объект вычислений

При выборе целевого объекта вычислений учитывайте следующие факторы.

• Выберите локальное вычисление: если ваш сценарий относится к начальным исследованиям или демонстрациям с использованием небольших данных и короткого обучения (т. е. секунды или несколько минут на дочерний запуск), обучение на локальном компьютере может быть лучшим вариантом. Нет необходимости в настройке, а ресурсы инфраструктуры (ваш компьютер или виртуальная машина) доступны напрямую.
• Выберите удаленный вычислительный кластер машинного обучения. Если обучение ведется на больших наборах данных, например, при создании моделей для обучения в производственной среде, требующих более длительного обучения, то удаленное вычисление обеспечит более высокую производительность, т. к. AutoML будет параллельно вести обучение на узлах кластера. При удаленном вычислении время запуска внутренней инфраструктуры увеличится приблизительно на 1,5 минуты на каждый дочерний запуск, плюс еще несколько минут для кластерной инфраструктуры, если виртуальные машины еще не запущены.

Преимущества и недостатки

При выборе локального и удаленного вычисления учитывайте следующие преимущества и недостатки.

Доступность функций

При использовании удаленного вычисления доступны дополнительные функции, как показано в таблице ниже.

Многие модели

Акселератор решений для многих моделей (предварительная версия) основан на службе Машинного обучения Azure и позволяет использовать автоматизированное ML для обучения, использования и обслуживания сотен и даже тысячи моделей машинного обучения.

Например, создание модели для каждого экземпляра или человека в следующих сценариях может привести к повышению результатов:

• Прогнозирование продаж для каждого отдельного магазина
• Прогнозное обслуживание для сотен нефтяных скважин
• Адаптация возможностей для отдельных пользователей

Использование AutoML в Машинном обучении Azure

Машинное обучение Azure предлагает два варианта взаимодействия с автоматизированным ML:

Параметры эксперимента

Следующие параметры позволяют настроить эксперимент по автоматизированному ML.

Параметры модели

Эти параметры можно применить к наилучшей модели, полученной в результате эксперимента по автоматизированному ML.

Параметры управления выполнением

Эти параметры позволяют просматривать и контролировать выполнение экспериментов и его дочерние запуски.

AutoML и ONNX

С помощью Машинного обучения Azure AutoML можно использовать для создания модели Python и преобразования ее в формат ONNX. После преобразования моделей в формат ONNX их можно запускать на различных платформах и устройствах. Узнайте подробнее об ускорении моделей ML с помощью ONNX.

Сведения о том, как преобразовать модель в формат ONNX, см. в этом примере Jupyter Notebook. Узнайте, какие алгоритмы поддерживаются в ONNX.

Среда выполнения ONNX также поддерживает C#, поэтому вы можете автоматически использовать созданную модель в приложениях C# без необходимости перекодирования или любых сетевых задержек, которые имеются на конечных точках REST. Дополнительные сведения об использовании модели AutoML ONNX в приложении .NET с ML.NET и работу с моделями ONNX с помощью API языка C# среды выполнения ONNX.

Дальнейшие действия

Есть несколько ресурсов, которые помогут вам приступить к работе с AutoML.

Практические руководства и другие учебные материалы

Руководства — это полный вводный пример в сценарии AutoML.

В обучающих статьях приводятся дополнительные сведения о возможностях AutoML. Например,

• Настройка параметров для автоматических обучающих экспериментов

• Узнайте, как организовать автоматизированное обучение на основе данных временных рядов, используя эти инструкции.

Примеры записной книжки Jupyter

Изучите подробные примеры кода и варианты использования в репозитории записных книжек GitHub для автоматизированных примеров машинного обучения.

Справочник по пакету SDK для Python

Узнайте больше о конструктивных шаблонах SDK и спецификациях классов в справочной документации по классу AutoML.

Примечание

Автоматизированное машинное обучение также доступно в других решениях Майкрософт, например, ML.NET, HDInsight, Power BI и SQL Server

ML-инженер или специалист по обработке данных? (Закат науки о данных?) | by Дмитрий ПереводIT | NOP::Nuances of Programming

Привет, меня зовут Джейсон

Я специалист по обработке данных (чуть позже в статье это понятие будет определено конкретнее) в Кремниевой долине, и мне очень нравится расширять горизонты своих знаний!

Эта тема уже долгое время не выходит у меня из головы, но т.к. охватить в ней нужно очень многое, то я никак не мог заставить себя завершить эту нелёгкую задачу. Однако, оказавшись в вынужденной самоизоляции и исчерпав занятия, на которые можно было тратить время, я наконец-то до неё добрался.

С момента скачка своей популярности, индустрия обработки данных широко развивалась и при этом неспеша выливалась в более конкретные направления. Это неизбежно приводило к замешательствам и непоследовательным проявлениям на рынке труда. Например, существует много, казалось бы, разных должностей с одинаковыми обязанностями и, наоборот, одинаковых должностей с разными обязанностями:

Специалист по обработке данных, специалист по машинному обучению, инженер по обработке данных, аналитик/специалист по обработке данных, инженер машинного обучения, аналитик машинного обучения и т.д.

Список можно продолжать. Даже я сталкивался с тем, что рекрутеры обращались ко мне в поиске аналитика данных, специалиста по машинному обучению, инженера данных и пр. Очевидно, что индустрия находится в спутанном состоянии. Одна из многих причин такой её вариативности в том, что разные компании преследуют разные цели, связанные с наукой о данных. В итоге выясняется, что, независимо от причины, эта область разветвляется и выливается в ряд основных категорий: аналитика, проектирование ПО, обработка данных и исследования. Как бы ни звучали названия схожих должностей в этой сфере, чаще всего они подпадают именно под эти категории. Такая специализация по направлениям наиболее характерна для крупных технологических компаний, которые могут себе её позволить.

В этой статье мы сначала рассмотрим тренд индустрии обработки данных в целом, а затем более углублённо сравним инженера ML (машинного обучения) и специалиста по обработке данных. Я собираюсь не излагать подробную историю, а просто поведать о том, что видел и что пережил сам, работая специалистом по обработке данных в Кремниевой долине. К тому же, когда я в 2017 году писал статью “How to Data Science Without a Degree” (“Как заняться обработкой данных, не имея ученой степени”), мой взгляд на эту область был совершенно другим.

В прошлом году я рассматривал эту тему, когда меня пригласили провести короткую беседу со студентами в Metis Bootcamp. Хочу использовать эту возможность, чтобы объяснить разницу и помочь вам найти для себя максимально подходящую роль в этой области. Давайте выясним, до сих пор ли она процветает или же наоборот начинает угасать, ведь именно этим и занимаются аналитики данных? (А может и нет). Как бы то ни было, надеюсь, она по меньшей мере окажется для вас полезной и информативной.

Для начала давайте взглянем на два следующих описания вакансий, найденных мной на LinkedIn. Попытайтесь угадать, какие должности они описывают. В качестве подсказки я выделил ключевые аспекты красным:

Я нашёл их на LinkedIn в прошлом году. Немного староваты, но до сих пор актуальны

Существенно отличаются, не так ли? На удивление, обе они описывают вакансии специалиста по обработке данных. Слева вакансия для Facebook, справа — для Etsy. Я не имею в виду, что одна лучше другой. Суть в том, чтобы заметить, насколько они различны.

Заголовки вакансий для приведённых выше описаний. Facebook слева, Etsy справа

Даже в процессе работы люди активно обсуждают, пытаясь выяснить конкретно, что определяет специалиста по обработке данных. Я встречал его описание как имеющего докторскую степень в компьютерной науке или являющегося аналитиком новых типов данных. Всё это потому, что разные компании используют выражение специалист по обработке данных для совершенно разных должностей. Тем не менее я верю, что индустрия постепенно учится и в плане специализированных должностей становится более конкретной, переставая всё подряд определять в один обширный диапазон науки по обработке данных.

Итак, какие же, например, роли может воплощать специалист по обработке данных? Я думаю, что в основном к ним относятся разработчики ПО, аналитики данных, инженеры по работе с данными и прикладные специалисты/специалисты по исследованиям. У меня есть знакомые, работавшие на одинаковых должностях специалистов по обработке данных, но при этом они выполняли одну из четырёх перечисленных ролей. Ознакомьтесь с диаграммой, приведённой ниже. На заре становления науки о данных, её специалист мог включать в себя все эти четыре роли. Как бы то ни было, диаграмма показывает, что на сегодня вакансии становятся более конкретными и специализированными:

Тенденция развития индустрии обработки данных. Слева прошлое, справа настоящее

Предвидел ли это журнал Harvard Business Review

Стала ли такая тенденция сюрпризом? Согласно известной статье “Data Scientist: The sexiest Job of the 21st Century” (“Специалист по обработке данных: самая сексуальная работа 21 века”), не особо:

Самый основной навык специалиста по обработке данных заключается в способности писать код, что может измениться уже лет через пять, когда это звание будет красоваться на визитках очень многих людей.

В упомянутой статье предполагается, что сегодня, как у специалиста по обработке данных, у вас уже меньше причин иметь хорошие навыки именно в написании кода. Ранее инструменты и методы для анализа больших и сложных данных не были настолько доступны, как сегодня. В связи с этим подобным специалистам, помимо прочих, требовался относительно развитый навык проектирования. Но инструменты для машинного обучения и обработки данных быстро развивались и теперь стали существенно доступнее. К примеру, вы можете обратиться к современным моделям (SOTA) при помощи всего нескольких строк кода. Это облегчает разделение ролей на аналитиков и инженеров. Теперь для того, чтобы стать специалистом по обработке данных, вам нет необходимости погружаться в изучение всей аналитики, проектирования и статистики, что требовалось ранее.

К примеру, Facebook возглавили тренд, вследствие которого должность аналитика данных преобразовалась в специалиста по обработке данных. Это был естественный процесс, потому что с повышением размера данных и возникновением более серьёзных задач в их обработке, для выполнения качественного анализа стало требоваться больше навыков. Не только Facebook, но и многие другие компании, наподобие Apple и Airbnb, стали более чётко разграничивать специалистов по данным о продукте/аналитиков и специалистов по машинному обучению.

Влияние размера компании на роли

Стоит упомянуть, что распределение специализаций больше проявляется в крупных технологических компаниях. В отличие от инженеров ПО, которые требуются в компаниях любой величины, не все они нуждаются в специалистах по исследованию и инженерах машинного обучения. Зачастую нескольких специалистов по работе с данными может быть достаточно. Поэтому в мелких организациях по-прежнему существуют такие специалисты, работающие во всех четырёх ролях.

Согласно общей тенденции, специалисты по обработке данных в крупных компаниях (FANG) часто аналогичны продвинутым аналитикам, в то время как эти же должности в более мелких организациях ближе по своей сути к инженерам машинного обучения. При этом обе функции важны и востребованы. Далее я буду придерживаться своих новых определений, согласно которым специалист по обработке данных подразумевает аналитическую функцию.

В приведённой ниже диаграмме я попытался показать картину, аналогичную приведённой выше, но представляющую все четыре роли более детально. Описания не идеальны, но на них можно опереться.

Четыре столпа науки о данных

Поиск работы— какую специальность выбрать и как подготовиться?

Если вы стараетесь попасть в эту область, будь то инженером по машинному обучению или аналитиком данных, вы можете призадуматься, а какое направление лучше выбрать? Позвольте мне перечислить упрощённые (и стереотипные) описания четырёх основных ролей, относящихся к машинному обучению. Хоть я лично и не работал во всех этих направлениях, но получил достаточно внутренней информации от своих друзей. Кроме того, в скобках я привёл потенциальное содержание собеседования (рассматривайте его, как четыре этапа).

1. Аналитик данных: хотите анализировать большие данные, проектировать экспериментальные работы и тесты A/B, создавать простые модели машинного обучения и статистики (например, используя sklearn) для ведения бизнес-стратегии? Эта роль менее структурирована, имеет много неопределённостей и предполагает полное сопровождение целей проекта. (Собеседование: 1 Вероятность/Статистика, 1 Leetcode, 1 SQL, 1 ML).
2. Инженер машинного обучения: хотите создавать и развёртывать современные модели машинного обучения в продакшене (например, с помощью TensorFlow или PyTorch)? Ваша задача не только в создании моделей, но также и ПО, необходимого для их выполнения и поддержки. В этой роли вы ближе к разработчику ПО (SWE). (Собеседование: 3 Leetcode, 1ML).
3. Специалист по исследованиям: у вас есть степень в компьютерных науках и несколько публикаций по машинному обучению в ICLR (Международная конференция по обучению представительств)? Хотите расширить границы разработки в сфере ML и испытываете восторг, когда кто-либо цитирует ваши статьи? Тогда вы относитесь к редкому виду и уже наверняка знаете себе цену. Большинство таких людей в итоге оказываются в Google и Facebook. Хотя попасть в эти корпорации можно и без докторской степени, но это уже исключение. (Собеседование: 1 Leetcode, 3 ML/Исследования).
4. Прикладной специалист: вы воплощаете в себе смесь инженера машинного обучения и специалиста по исследованиям. Вы интересуетесь кодом, но также используете и продвигаете новейшие модели (SOTA) машинного обучения. (Собеседование: 2 Leetcode, 2 ML).

Очевидно, что приведённые описания не исчерпывающие. Но, когда я беседую с друзьями и читаю описания схожих вакансий, то понимаю, что эти принципы являются для них общими. Если вы ещё не уверены, на какую именно роль претендуете, то вот несколько дополнительных подсказок:

• Прочтите описание вакансии: само название должности не столь важно. Звучать оно может одинаково “специалист по обработке данных”, но описание при этом будет сильно отличаться.
• Изучите LinkedIn: если вы не уверены, чем занимаются специалисты по обработке данных в Apple, то просто почитайте бэкграунд этих специалистов на LinkedIn. Являются ли они в своём большинстве кандидатами компьютерных наук? А может студентами выпускного курса? Какие навыки они имеют? Это поможет вам сформировать лучшее представление.
• Собеседование: если вы думаете, что ваша роль предполагала технический характер, но на собеседовании вам не задавали вопросов по написанию кода, то, вероятно, вы получите роль другого плана. Собеседование наиболее конкретно отражает суть должности.

Зарплатный обозреватель

Всё это ознакомление заняло прилично времени. Давайте же теперь вернёмся к самой теме. В последние годы я слышу, как люди начали негативно отзываться о работе в области науки о данных. Несколько причин упираются в то, что всё большее число должностей аналитиков данных не подразумевают наличия интересного фактора машинного обучения и кажутся лёгкими для освоения. Около пяти лет назад большинство описаний вакансий специалистов по обработке данных требовали от соискателей по меньшей мере степень магистра. Сейчас же всё иначе. Но, какой бы ни была причина, по которой люди считают, что наука о данных (по крайней мере былая) дожила свой век, давайте просто рассмотрим некоторую статистику.

Нижеприведённая информация и диаграмма взяты из всемирно известного движка базы данных о зарплатах — Salary Ninja. Он выполняет поиск в базе данных h2-B, взяв за критерий иностранных сотрудников, работающих в США. Здесь вы видите среднюю зарплату и число должностей “специалист по обработке данных” или “инженер машинного обучения” в период с 2014 по 2019.

Сравнение тенденции развития должностей аналитиков данных и инженеров машинного обучения

Удивлены? Несмотря на то, что средняя зарплата в обоих случаях примерно одинакова, можно заметить, что, по сравнению с 2015–2016 годами, для аналитиков данных она снизилась. Возможно, это люди и имеют в виду, говоря про хорошие времена этой должности. С точки же зрения чистого количества наука о данных существенно крупнее проектирования машинного обучения, но вы можете видеть, что число инженеров ML быстро увеличивается и они имеют несколько большую зарплату.

Я также включил в статью сводную статистику, собранную мной там же на Salary Ninja. В ней я привожу несколько направлений, о которых мы говорили выше. В первой таблице представлен обобщённый отчёт за последние шесть лет, а во второй — его продолжение за последний 2019 год. В конце я добавил таблицу для всего одной компании, Microsoft.

Сводная статистика нескольких должностных позиций, связанных с машинным обучением

Я открыл для себя несколько интересных фактов:

• В целом аналитиков данных было больше, чем специалистов по работе с ними, но в 2019 году всё стало наоборот. Можно ли это считать признаком того, что аналитики данных теперь стали специалистами по обработке данных?
• Инженеры машинного обучения получают денег несколько больше специалистов по обработке данных, но таких инженеров в этой области существенно меньше. Причина в том, что официально должность инженера машинного обучения чаще звучит как разработчик ПО.
• Средняя зарплата для специалистов по исследованиям оказалась удивительно низкой. Причина в том, что база данных может включать много других специалистов по исследованиям, кроме интересующих нас в сфере машинного обучения. Именно поэтому для снижения “шумности” данных я добавил таблицу для одной компании. Как и ожидалось, в Microsoft исследователи заняли лидирующую позицию по зарплатам.
• Меня сильно удивила базовая зарплата инженера по работе с данными в районе $1,3 млн. Это же с ума сойти! Может вам стоит рассмотреть именно такую карьеру?
• Учитывайте, что эта выборка данных содержит только базовую зарплату, а акции обычно играют существенную роль в мире технологий. Кроме того, здесь отражена далеко не полная картина рынка труда. Однако, учитывая, сколько иностранных сотрудников работает в сфере технологий, это всё равно является неплохим показателем.

Согласно приведённым данным, я не могу сказать, что индустрия науки о данных терпит крах. Она по-прежнему растёт, но, возможно, с большим уклоном в аналитику. Исходя из наблюдений, могу отметить, что, похоже, в области данных на самом деле есть ряд должностей, требующих меньшее число навыков, но это и не плохо.

Я проговорил о многом и, надеюсь, вы с интересом следовали моей мысли. Эту статью я решил написать, потому что и сам начал путаться во всех изменениях, происходящих в индустрии. Кроме того, стало очевидно, что у людей складываются разные мнения относительно сути науки о данных. Не проводя разделения на правых и неправых, мне хочется, чтобы вы сами проанализировали тенденцию и сделали свой сознательный выбор.

В итоге я не рекомендую вам выбирать работу или сферу деятельности, опираясь лишь на высокую зарплату или красивые названия. Не важно будет ли ваша должность звучать как специалист по обработке данных, инженер машинного обучения или аналитик данных. Также не имеет значения, если кто-либо скажет, что специалист по обработке данных — это инженер или аналитик, потому что и то, и другое верно.

Несмотря на то, что легко сравнивать должности на основе оплаты, гораздо важнее выбирать то направление, которым в итоге вы будете наслаждаться и в котором станете профессионалом. Сосредоточьтесь на выполняемой вами работе и убедитесь, что она вам подходит. Если даже средняя зарплата и окажется ниже, это ещё не значит, что фактически вы будете получать меньше. Как вы видели, все рассмотренные роли предполагают весьма внушительные максимальные зарплаты.

Благодарю вас за чтение. Надеюсь, что эта статься даст вам необходимые ориентиры, которые не позволят заплутать в дебрях мира науки о данных и машинного обучения.

Читайте также:

Читайте нас в Telegram, VK и Яндекс.Дзен

Модели машинного обучения: объясняем пятилетнему ребенку

8879

просмотров

Специалисты компании Sociaro подготовили перевод очередной статьи, которая поможет разобраться в том, что такое Машинное обучение.

Статья Megan Dibble с Medium Towards Data Science это максимально простое объяснение работы ML моделей.

Если вы новичок в data science, заголовок не был направлен на то, чтобы вас обидеть. Это мой второй пост на тему популярного вопроса на интервью, который звучит примерно так: «объясните мне [вставить техническую тему], как вы бы объяснили пятилетнему ребенку.»

Выходит, достичь уровня понимания пятилетнего ребенка довольно сложно. Так что, хоть эта статья может быть не совсем ясна детсадовцу, она будет понятна тому, кто практически не имеет опыта в data science (и если вы поймете, что это не так, пожалуйста, напишите об этом в комментариях).

Я начну с объяснения понятия машинного обучения, а также его различных типов, а затем перейду к объяснению простых моделей. Я не буду особо вдаваться в математику, но подумываю сделать это в своих будущих статьях. Наслаждайтесь!

Определение Машинного Обучения

Illustration of Machine Learning

Машинное обучение – это когда вы загружаете большое количество данных в компьютерную программу и выбираете модель, которая «подгонит» эти данные так, чтобы компьютер (без вашей помощи) мог придумывать прогнозы. Компьютер строит модели, используя алгоритмы, которые варьируются от простых уравнений (например, уравнение прямой) до очень сложных систем логики/математики, которые позволяют компьютеру сделать самые лучшие прогнозы.

Название – машинное обучение — очень удачное, потому что как только вы выбираете модель, которую будете использовать и настраивать (другими словами, улучшать с помощью корректировок), машина будет пользоваться моделью для изучения закономерностей в ваших данных. Затем вы можете добавить новые условия (наблюдения) и она предскажет результат!

Определение машинного обучения с учителем

Обучение с учителем — это тип машинного обучения, в котором данные, которые вы засовываете в модель «помечаются». Пометка просто означает, что результат наблюдения (то есть ряд данных) известен. Например, если ваша модель пытается предсказать пойдут ли ваши друзья играть в гольф или нет, у вас могут быть такие переменные, как погода, день недели и так далее. Если ваши данные помечены, то ваша переменная будет иметь значение 1, в том случае если ваши друзья пошли играть в гольф, и значение 0, если они не пошли.

Определение машинного обучения без учителя

Как вы наверно могли угадать, когда речь идет о помеченных данных, обучение без учителя является противоположностью обучения с учителем. В обучении без учителя, вы не можете знать пошли ваши друзья играть в гольф или нет – только компьютер может найти закономерности с помощью модели, чтобы угадать, что уже произошло или предсказать, что произойдет.

Модели Машинного Обучения С Учителем

[Требуется присутствие взрослых]

Логистическая регрессия

Логистическая регрессия используется для решения проблемы классификации. Это значит, что ваша целевая переменная (та которую вы хотите предсказать) состоит из категорий. Эти категории могут быть да/нет, или что-то вроде числа от 1 до 10, которое обозначает удовлетворенность клиента. Модель логистической регрессии использует уравнение, чтобы создать кривую с вашими данными, а затем использует эту кривую, чтобы спрогнозировать результаты нового наблюдения.

Illustration of Logistic Regression

На графике выше, новое наблюдение получило бы в прогнозе 0, потому что оно попадает на левую часть кривой. Если посмотреть на данные, по которым построена кривая, это логично, потому что в области графика «прогнозируемое значение 0» большинство точек по оси y имеют значение 0.

Линейная Регрессия

Довольно часто линейная регрессия становится первой моделью машинного обучения, которую люди изучают. Связано это с тем, что ее алгоритм (проще говоря уравнение) достаточно просто понять, используя только одну переменную x – вы просто-напросто рисуете наиболее подходящую линию – концепция, которой учат еще в начальной школе. Наиболее подходящая линия затем используется для прогнозирования новых точек данных (см. иллюстрацию).

Illustration of Linear Regression

Линейная Регрессия чем-то напоминает логистическую регрессию, но используется, когда целевая переменная – непрерывная, а это значит, что она может принимать практически любое числовое значение. На самом деле, любая модель с непрерывной целевой переменной может быть классифицирована как «регрессия». Примером непрерывной переменной может служить цена продажи дома.

Линейная регрессия хорошо интерпретируется. Уравнение модели содержит коэффициенты для каждой переменной, и эти коэффициенты показывают, насколько сильно меняется целевая переменная при малейшем изменении независимой переменной (х-переменной). Если показывать это на примере цен на продажу дома, это означает, что вы могли бы посмотреть на уравнение регрессии и сказать что-то типа «о, это говорит мне о том, что за каждый дополнительный 1м2 от размера дома (х-переменная), цена продажи (целевая переменная) увеличивается на $25.»

K Ближайших Соседей (KNN)

Эта модель может быть использована для классификации или для регрессии. Название — «К Ближайших Соседей» не должно сбить вас с толку. Для начала модель выводит все данные на график. Часть «К» в названии относится к числу ближайших соседних точек данных, на которые модель смотрит, чтобы определить каким должно быть прогнозное значение (см. иллюстрацию ниже). Вы, как будущий data science специалист, выбираете значение K и можете поиграть с ним, чтобы увидеть, какое из значений дает лучшие прогнозы.

Illustration of K Nearest Neighbors

Все точки данных, находящиеся в круге K=__, получают “голос » относительно того, каким должно быть значение целевой переменной для этой новой точки данных. Значение, которое получает большинство голосов – это значение, которое KNN прогнозирует для новой точки данных. В иллюстрации выше, 2 ближайших соседей – class 1, в то время как 1 соседей – class 2. Таким образом, модель бы спрогнозировала class 1 для этой точки данных. Если модель предсказывает числовое значение, а не категорию, то все «голоса» — числовые значения, которые усредняются, чтобы получить прогноз.

Метод опорных Векторов (SVMs)

Принцип работы опорных векторов заключается в том, что они устанавливают границы между точками данных, где большинство из одного класса падает на одну сторону границы (как пример, в двумерном пространстве это будет линия) и большинство из другого класса падает на другую сторону границы.

Illustration of Support Vector Machines

Способ работы также заключается в том, что машина стремится найти границу с наибольшим пределом. Предел определяется расстоянием между границей и ближайшими точками каждого класса (см. иллюстрацию). Новые точки данных затем строятся и помещаются в определенный класс, в зависимости от того, на какую сторону границы они попадают.

Я объясняю эту модель на примере классификации, но вы также можете ее использовать для регрессии!

Деревья Решений & Случайные Леса

Про это я уже рассказывала в предыдущей статья, вы можете найти ее здесь (Деревья Решений и Случайные Леса ближе к концу):

Модели Машинного Обучения Без Учителя

[Читайте с осторожностью]

Теперь мы готовы перейти к машинному обучению без учителя. Напомню, это значит, что наш датасет не помеченный, так что мы не знаем результаты наших наблюдений.

K Значит Кластеризация

Когда вы используете K кластеризацию, вы должны начать с предположения, что в вашем датасете присутствует K кластеров. Поскольку вы не знаете, сколько групп на самом деле в ваших данных, вы должны попробовать различные значения K и с помощью визуализации и метрик понять, какое значение K подходит. Метод K средних лучше всего работает с круговыми кластерами одинаковых размеров.

Этот алгоритм сначала выбирает лучшие точки данных K, чтобы сформировать центр каждого K кластера. Затем, он повторяет 2 следующих шага для каждой точки:

1. Присваивает точку данных ближайшему центру кластера

2. Создает новый центр, взяв среднее значение всех точек данных из этого кластера

Illustration of K Means Clustering

DBSCAN Кластеризация

Модель кластеризации DBSCAN отличается от метода K средних тем, что от вас не требуется вводить значение K, а также она может найти кластеры любой формы (см. иллюстрацию ниже). Вместо того чтобы указывать количество кластеров, вы вводите минимальное количество точек данных, которые вы хотите, чтобы присутствовали в кластере, и радиус вокруг точки данных для поиска кластера. DBSCAN найдет кластеры за вас! Далее вы можете менять значения, используемые для создания модели, пока не получите кластеры подходящие для вашего датасета.

Кроме того, модель DBSCAN классифицирует для вас точки «шума» (т.е. точки, которые находятся далеко от всех других наблюдений). Эта модель работает лучше, чем метод K средних, когда точки данных находятся очень близко друг к другу.

Нейронные сети

На мой взгляд, нейронные сети – самые крутые и загадочные модели. Они называются нейронными сетями, потому что они моделируются по примеру нейронов в нашем мозге. Эти модели работают, с целью найти паттерны в датасете, иногда они находят паттерны, которые человек никогда бы не смог найти.

Нейронные сети работают с более сложными данными, например, с картинками или аудио. Они стоят за множеством программных функций, с которыми в наши дни мы сталкиваемся постоянно, от распознавания лиц до классификации текста. Нейронные сети могут быть использованы, когда данные помечены (т.е. в обучении с учителем), а также когда данные не помечены (обучение без учителя).

Даже поверхностное изучение принципа работы нейронных сетей, вполне возможно было бы слишком сложным для этой статьи. Если вы хотите узнать больше, вот «руководство» для начинающих: https://pathmind.com/wiki/neural-network.

Вывод

Надеюсь, что эта статья не только повысила ваше понимание вышеперечисленных моделей, но и помогла понять, насколько они крутые и полезные! Когда мы позволяем компьютеру выполнять работу/обучаться, мы можем расслаблено сидеть и смотреть какие паттерны он находит. Иногда это все может сбить с толку, ведь даже эксперты не понимают точную логику, по которой компьютер приходит к тому или иному выводу, но в некоторых случаях все, что нас волнует – это качество прогноза!

Однако существуют случаи, когда нам важно, как именно компьютер пришел к прогнозу, например, когда мы используем модель, чтобы определить какие кандидаты на работу достойны первого этапа собеседования. Если вы хотите узнать об этом больше, вот TED talk который вы можете посмотреть и оценить, даже не будучи data science специалистом

Машинное обучение в digital-маркетинге: примеры применения

Пару десятков лет назад первым, что приходило на ум при словах «искусственный интеллект», было восстание машин и Терминатор с обрезом наперевес. Сейчас же этот термин вызывает скорее положительные ассоциации. Практически каждый человек сталкивается с машинным обучением в обычной жизни. К примеру, когда он общается с чат-ботом на сайте, встречает рекламные предложениях, соответствующие его увлечениям, или настраивает спам-фильтр в почте.

Для маркетологов машинное обучение — это возможность быстро принимать важные решения на основе больших данных. А какие именно решения — вы узнаете в этой статье.

Содержание

Что такое машинное обучение

Для начала немного терминологии. Согласно Википедии, машинное обучение (англ. Machine Learning, ML) — это класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение в процессе применения решений множества сходных задач.

Существует много способов машинного обучения, но условно их можно поделить на две группы: обучение с учителем и без.

В первом случае учитель, то есть человек, снабжает машину исходными данными в формате «ситуация — решение». Машина их анализирует и учится самостоятельно классифицировать в дальнейшем. Например, когда мы помечаем входящие сообщения как спам.

Во втором случае компьютер получает несортированную информацию, то есть «ситуацию» без «решения», и сам учится ее классифицировать на основе схожих либо отличных признаков без подсказок человека.

Машинное обучение в онлайн-маркетинге

Маркетологи используют машинное обучение, чтобы находить шаблоны (паттерны) в действиях пользователей на сайте. Это помогает им предугадывать дальнейшее поведение других пользователей и оперативно корректировать рекламные предложения.

В чем потенциал поведенческих данных?

Термином «паттерн» в психологии называют определенный набор, шаблон поведенческих реакций или последовательностей стереотипических действий. Поэтому говорить о паттернах можно касательно любой области, где человек применяет шаблоны (а это почти все сферы его деятельности).

Рассмотрим пример паттерна на сайте: если пользователя не заинтересовало предложение во всплывающем окне (pop-up), у него есть три варианта, как это окно закрыть:

1. Кликнуть на знак «Х».
2. Нажать кнопку «Нет, спасибо».
3. Кликнуть мимо всплывающего окна.

Кроме выбора, который сделает пользователь, есть еще время от всплывания pop-up до его закрытия.

Таким образом мы получили четыре параметра о пользователе:

1. Клик на Х — может принимать значение true/false.
2. Клик на кнопку «Нет, спасибо» — может принимать значение true/false.
3. Клик мимо pop-up — может принимать значение true/false.
4. Время просмотра поп-апа — 5 sec.

Когда собираются сотни таких параметров, данные обретают ценность, так как они содержат паттерны поведения и зависимости между ними. В этом скрывается огромный потенциал поведенческих данных. Это дает нам возможность дополнить данные о пользователе недостающими параметрами, исходя из тех данных, которые у нас уже есть по другим пользователям.

Например, самое простое определение целевой аудитории (ЦА) происходит по полу и возрасту. Но что делать, если пользователи заполняют эти данные только в 10% случаях? Как понять, сколько из 90% пользователей сайта попадают в вашу ЦА? Именно паттерны поведения смогут ответить на этот вопрос.

Можно использовать данные 10% пользователей, по которым есть пол и возраст, для определения паттернов, свойственных определенному полу и возрасту. И спрогнозировать пол и возраст остальных 90% пользователей.

Обладая полными данными про пол и возраст, можно делать более персонализированные предложения всем посетителям сайта.

Почему машинное обучение эффективно в маркетинге

Если описать роль ML в маркетинге одним предложением, то оно будет звучать так: машинное обучение дает возможность быстро принимать решения на основе больших данных.

Алгоритм работы маркетологов выглядит следующим образом: они создают гипотезы, тестируют их, оценивают, анализируют. Это долго, трудозатратно и иногда некорректно, потому что информация изменяется ежесекундно.

К примеру, чтобы оценить 20 рекламных кампаний с учетом 10 поведенческих параметров для 5 разных сегментов, маркетологу потребуется около 4 часов. Если такой анализ проводить каждый день, то ровно половину времени специалист будет тратить на оценку качества кампаний. При использовании ML оценка происходит за считанные минуты, а количество сегментов и параметров поведения неограниченны.

Это позволяет быстрее реагировать на изменения в качестве трафика, который приводят рекламные кампании. В итоге специалист уделяет больше времени созданию гипотез, а не рутинным действиям.

Ценность результатов анализа зависит от актуальности данных, на которых этот анализ проводился. По мере устаревания данных их ценность снижается. Те объемы информации, которые ежеминутно собираются аналитическими системами, человек обработать просто не в состоянии.

Это задача машинного обучения. Обработать сотни запросов, систематизировать их, предоставить результаты в виде готового ответа на вопрос.

Основные преимущества использования ML в маркетинге:

• ML повышает качество анализа данных.
• Дает возможность анализировать больший объем данных за меньшее количество времени.
• Адаптируется под изменения и ввод новых данных.
• Позволяет автоматизировать маркетинговые процессы и избавить маркетологов от рутины.
• Делает все вышеперечисленное быстро.

Примеры использования ML в маркетинге

1. Рекомендательная система

Суть рекомендательной системы — предложить пользователю товар, в котором он наиболее заинтересован на данный момент.

Что предсказывает алгоритм: N товаров, вероятность покупки которых выше всех.

Как эти данные используются: email и push-рассылки, блоки «Рекомендуемые товары» и «Похожие товары» на сайте.

Результат: пользователи видят персонализированные офферы, в связи с этим повышается вероятность совершения покупки.

Распространенные алгоритмы для решения этой задачи: Метод k-средних (k-means).

2. Прогнозный таргетинг

В целом, суть у всех видов таргетинга одна — расходовать бюджет на целевых пользователей и не расходовать на тех, кто не попадает в ЦА.

Наиболее используемые виды таргетинга:

• Таргетинг по сегментам — показ рекламы группам пользователей с одинаковыми наборами атрибутов.
• Триггерный таргетинг — показ рекламы пользователям после совершения ими определенного действия (например, просмотр продукта, добавление товара в корзину).

Существует также и прогнозный таргетинг — показ рекламы пользователям на основе вероятности совершения ими покупки.

Основное отличие между перечисленными видами таргетинга в том, что в прогнозном таргетинге используются все возможные комбинации десятков или сотен параметров пользователя со всеми возможными значениями. А в остальных видах таргетинга используется ограниченное количество параметров с определенными диапазонами значений.

Что предсказывает алгоритм: вероятность того, что пользователь совершит покупку за N дней.

Как эти данные используются

Пример 1: создаются сегменты на основе вероятности совершения покупки. Сегменты загружаются в Google Ads, Facebook Ads, Яндекс. Аудитории и другие рекламные системы, а потом используются для запуска рекламных кампаний.

Кстати, у OWOX BI есть автоматический импорт аудиторий из Google BigQuery в рекламные сервисы. С его помощью вы можете создавать, обновлять и загружать аудитории в рекламные сервисы автоматически. Управляйте ставками на основе данных, повышайте ROI и конверсии, экономьте рекламный бюджет!

Пример 2: создаются сегменты на основе вероятности совершения покупки. Сегменты загружаются в Google Analytics и используются для анализа эффективности рекламных кампаний (какая кампания приводит наиболее конверсионных пользователей).

Результат: реклама показывается более целевой аудитории — эффективность кампаний, таргетированной на такой сегмент значительно выше.

Распространенные алгоритмы для решения этой задачи: XGBoost, CATBoost, Decision Tree (если мало данных или закономерности очевидны).

3. Прогнозирование LTV

Большинство известных методов расчета LTV основаны на знаниях итоговой прибыли от клиента и времени его взаимодействия с бизнесом. Однако, многие современные бизнес-задачи требуют расчета LTV еще до того, как клиент перестанет быть вашим клиентом. В этом случае единственным решением является прогнозирование LTV на основе имеющихся данных.

Читайте также: как посчитать LTV, почему этот показатель важен для ваших продаж, и как его улучшить с помощью OWOX BI.

Что предсказывает алгоритм: LTV каждого пользователя в разбивке по сегментам.

Как эти данные используются:

1. Сегменты загружаются в push или email-сервисы и используются для рассылки с целью снизить отток клиентов (Churn Rate).
2. Сегменты загружаются в Google Analytics и используются для анализа эффективности рекламных кампаний на основе спрогнозированного LTV.

Результат: рекламный бюджет на пользователя определяется на основе LTV, что повышает эффективность кампаний.

Распространенные алгоритмы для решения этой задачи: XGBoost, SVM, Random Forest, Logistic Regression.

4. Прогнозирование Churn Rate

В маркетинге понятие churn или «отток» обозначает ушедших из компании клиентов и связанных с ними доходов и обычно выражается в процентном или денежном отношении.

Прогнозирование Churn Rate позволяет среагировать на намерение клиента отказаться от услуги/сервиса еще до фактического отказа.

Читайте также: что такое Churn Rate, как он считается и на что влияет. Почему уходят клиенты и как остановить этот процесс.

Что предсказывает алгоритм: вероятность ухода каждого пользователя в разбивке по сегментам.

Как эти данные используются: Сегменты можно загружать в сервисы email или push-рассылок. Загружать в Google Ads, Facebook Ads, Яндекс. Аудитории и другие рекламные системы. Передать информацию Retention отделу, для персональной обработки клиентов с высокой вероятностью ухода.

Результат: предотвращение оттока клиентов.

Распространенные алгоритмы для решения этой задачи: SVM, Logistic Regression и другие алгоритмы классификации.

Как OWOX BI использует машинное обучение

OWOX BI Insights

AI-алгоритм OWOX BI анализирует ваш маркетинг, сравнивает с данными рынка и показывает, где ваши зоны роста и риски. А также дает прогноз о выполнении годового плана, чтобы вы могли оперативно изменить маркетинг-стратегию

Емкость каналов и тренды рынка — это те знания, которые бизнес не может получить самостоятельно. Нам повезло — OWOX BI Insights имеет возможность использовать данные десятков тысяч проектов, чтобы модель машинного обучения учитывала эти знания в предсказательных функциях. Таким образом бизнес, видя некий совет о перераспределении рекламного бюджета, может понимать, что он сформирован не в абстрактном вакууме, а на основе сессий конкретного сайта. Также этот совет учитывает тренды рынка, емкость каналов, расходы на рекламу в гранулированном виде и показы медийной рекламы на верхнем этапе воронки.

Читайте также: зачем строить прогнозы и как находить в них зоны роста и риски, чтобы всегда быть на шаг впереди конкурентов.

OWOX BI ML Funnel Based Attribution

Модель атрибуции OWOX BI оценивает эффективность ваших рекламных кампаний, учитывая вклад каждого канала в продвижение клиента по конверсионной воронке. С ее помощью вы сможете справедливо распределить рекламный бюджет с учетом реального вклада каналов на конверсию и их взаимного влияния.

Подробнее о преимуществах и возможностях атрибуции от OWOX BI читайте в нашей статье:

Расчет модели в OWOX BI происходит на основе цепей Маркова и машинного обучения. Атрибуция на основе цепей Маркова — это вероятностная модель, которая через расчет вероятностей переходов между шагами воронки позволяет оценить взаимное влияние шагов на конверсию и узнать, какой из них — самый значимый.

Если вы хотите увидеть, как работает атрибуция OWOX BI, запишитесь на демо. Наши коллеги покажут вам реальные примеры применения атрибуции и расскажут, чем она может быть полезна именно вашему бизнесу.

Наши клиенты
растут на

22%

быстрее

Растите быстрее, анализируя, что лучше сработает в вашем маркетинге

Измеряйте KPI, находите зоны роста и увеличивайте свой ROI

Записаться на демо

Области применения машинного обучения в атрибуции

Для чего нужно машинное обучение и как оно помогает решить задачу атрибуции? Вообще, это тема для отдельной статьи и мы ее уже готовим 🙂 А пока вы можете посмотреть вебинар:

Запись вебинара

Создание моделей атрибуции с помощью машинного обучения и Google BigQuery

А в этой статье давайте разберемся, на каком уровне принимаются решения с помощью атрибуции. Сравним эти уровни, исходя из нескольких критериев:

• Сам уровень.
• Лицо, принимающее решение.
• Вид решения.
• Технологии, которые для этого используются.
• Модели атрибуции, которые чаще всего помогают это сделать.

Уровни принятия решений на основе атрибуции:

1. На верхнем уровне находится видение. Его формирует совет директоров, CEO, маркетинг-директор. Тип решений связан с инвестициями в бренд, с аллокацией бюджета между онлайн и офлайн. А инструмент, который используется для принятия таких решений — это исследование рынков и консультанты. Здесь редко есть место классическим моделям атрибуции на основе данных, так как самих данных в оцифрованном виде недостаточно.

2. Следующий уровень — это стратегические решения. Их принимают ежемесячно, как правило, маркетинг- и ecommerce-директоры. Посвящены эти решения аллокации бюджета между каналами и определению KPI верхнего уровня. Инструменты, которые помогают это сделать — Visual IQ, OWOX BI или кастомные модели. Здесь бизнес использует Data Driven атрибуцию, вариации на тему Вектора Шепли и Цепей Маркова или Funnel Based атрибуцию. На этом уровне важно понимать взаимное влияние каналов и принимать стратегические решения по их развитию.

Читайте также: плюсы и минусы большинства известных моделей атрибуции: от стандартных моделей из Google Analytics до Цепей Маркова и Вектора Шепли.

3. Тактические решения принимаются еженедельно или чаще. Обычно их принимает менеджер по привлечению платного трафика. Аллокация бюджета происходит между кампаниями и группами объявлений, а решения направлены на уточнение KPI и целей по кампаниям. Здесь уже можно использовать Google Sheets или OWOX BI. Часто на этом уровне работают с Google Analytics. Применяются знакомые большинству модели атрибуции: ассоциированные конверсии, Time Decay, Post-View как инструмент оценки влияния медийной рекламы и Funnel Based.

Особенность этого этапа в том, что бюджет на канал уже выделен — важно понять, на какие кампании его потратить, контролировать результаты и быстро отключать неэффективные кампании.

4. Последний уровень — это выполнение, когда решение об оценке вклада того или иного объявления или ключевого слова происходит в режиме, близком к реальному времени. Чаще всего такие решения принимаются внутри рекламных сервисов (Google Ads, Facebook Ads, Яндекс. Директ). По сути заказчику не важно, какие механизмы оптимизации здесь используются, потому что он смотрит на результаты каждого сервиса отдельно.

Как видим, целесообразнее всего применять машинное обучение для стратегических и тактических задач. Иногда оно также применяется на уровне уточнения ставок, но общий тренд таков, что рекламные системы развиваются быстрее и обладают большим количеством данных. Внутренние алгоритмы, которые используются в этих системах для управления рекламными кампаниями, дают лучший результат, чем использование внешней модели на основе машинного обучения.

Причина в том, что для применения машинного обучения необходимо очень быстро экспортировать большие объемы данных из рекламного сервиса и быстро записывать их назад. Технически это трудно решаемая задача в промышленных масштабах. Поэтому на уровне уточнения ставок и ключевых слов чаще всего полагаются на внутренние алгоритмы оптимизации рекламных сервисов.

Чтобы применять машинное обучение для решения тактических и стратегических задач, вам необходимо обеспечить полноту данных. Сделать это вы можете с помощью OWOX BI. Мы объединим ваши данные с сайта, из рекламных сервисов и CRM, чтобы вы могли создать воронку, которая учитывает особенности и усилия вашего бизнеса, направленные на привлечение клиентов и рост продаж.

Наши клиенты
растут на

22%

быстрее

Растите быстрее, анализируя, что лучше сработает в вашем маркетинге

Измеряйте KPI, находите зоны роста и увеличивайте свой ROI

Записаться на демо

Часто задаваемые вопросы

Открыть все

Закрыть все

• Что такое машинное обучение?
  

  Машинное обучение (Machine Learning, ML) — это класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение в процессе применения решений множества сходных задач.

• Зачем нужно машинное обучение в онлайн-маркетинге?
  

  Маркетологи используют машинное обучение, чтобы находить шаблоны (паттерны) в действиях пользователей на сайте. Это помогает им предугадывать дальнейшее поведение других пользователей и оперативно корректировать рекламные предложения.

• Как можно использовать ML в маркетинге?
  

  • Рекомендательная система — предлагать пользователю товар, в котором он наиболее заинтересован на данный момент.
  • Прогнозный таргетинг — показывать рекламу пользователям на основе вероятности совершения ими покупки.
  • Прогнозировать LTV текущих клиентов на основе имеющихся данных.
  • Прогнозировать Churn Rate, чтобы среагировать на намерение клиента отказаться от услуги еще до фактического отказа.
  • Прогнозировать выполнение годового маркетингового плана, а также находить зоны роста и риски.
  • Использовать OWOX BI ML Funnel Based Attribution.

мл | Что такое машинное обучение?

ML | Что такое машинное обучение?

Артур Самуэль , пионер в области искусственного интеллекта и компьютерных игр, ввел термин «Машинное обучение» . Он определил машинное обучение как — «Область обучения, которая дает компьютерам возможность учиться без явного программирования» .
В очень простой манере машинное обучение (ML) можно объяснить как автоматизацию и улучшение процесса обучения компьютеров на основе их опыта без фактического программирования i.е. без какой-либо помощи человека. Процесс начинается с подачи данных хорошего качества, а затем обучения наших машин (компьютеров) путем построения моделей машинного обучения с использованием данных и различных алгоритмов. Выбор алгоритмов зависит от того, какие данные у нас есть и какую задачу мы пытаемся автоматизировать.

Пример: Обучение студентов во время экзамена.
Во время подготовки к экзаменам студенты на самом деле не забивают предмет, а стараются выучить его с полным пониманием.Перед экзаменом они снабжают свою машину (мозг) большим количеством высококачественных данных (вопросы и ответы из разных книг, заметок учителей или онлайн-видеолекций). Фактически, они тренируют свой мозг как на вводе, так и на выходе, то есть какой подход или логика у них есть для решения различных вопросов. Каждый раз, когда они решают практические контрольные работы и определяют производительность (точность / балл), сравнивая ответы с заданным ключом ответа, постепенно производительность продолжает расти, приобретая больше уверенности с принятым подходом.Вот как на самом деле строятся модели, обучаем машину с данными (и входы, и выходы передаются модели), и когда придет время, тестируем данные (только с входными данными) и получаем оценки нашей модели, сравнивая свой ответ с фактическим выходом, который не кормили во время тренировки. Исследователи прилагают все усилия, чтобы улучшить алгоритмы и методы, чтобы эти модели работали еще лучше
.

Основная разница в машинном обучении и традиционном программировании?

• Традиционное программирование: Мы вводим ДАННЫЕ (ввод) + ПРОГРАММА (логика), запускаем их на машине и получаем вывод.
• Машинное обучение: Мы вводим данные (ввод) + вывод, запускаем их на машине во время обучения, и машина создает свою собственную программу (логику), которую можно оценить во время тестирования.

Что именно означает обучение для компьютера?

Считается, что компьютер учится на основе опыта по отношению к некоторому классу задач , если его производительность в данной задаче улучшается с увеличением опыта.

Считается, что компьютерная программа учится на опыте E в отношении некоторого класса задач T и показателя производительности P , если ее производительность в задачах в T , измеренная с помощью P , улучшается с опыт E

Пример: играет в шашки.
E = опыт игры в шашки
T = задача игры в шашки.
P = вероятность того, что программа выиграет следующую игру.

В общем, любую задачу машинного обучения можно отнести к одной из двух широких классификаций:
контролируемое обучение и неконтролируемое обучение.

Как все работает на самом деле : —

• Говоря об онлайн-покупках, есть миллионы пользователей с неограниченным кругом интересов в отношении брендов, цветов, ценового диапазона и многого другого.При совершении покупок в Интернете покупатели обычно ищут несколько товаров. Теперь частый поиск продукта заставит покупателя Facebook, веб-страницы, поисковую систему или этот интернет-магазин начать рекомендовать или показывать предложения по этому конкретному продукту. Никто не сидит там, чтобы кодировать такую ​​задачу для каждого пользователя, вся эта задача полностью автоматическая. Здесь ML играет свою роль. Исследователи, специалисты по обработке данных, специалисты по машинному обучению создают модели на машинах, используя хорошее качество и огромное количество данных, и теперь их машина автоматически работает и даже улучшается благодаря все большему опыту и времени.
  Традиционно реклама делалась только с использованием газет, журналов и радио, но теперь технологии сделали нас достаточно умными, чтобы сделать Таргетированная реклама (система онлайн-рекламы), которая является гораздо более эффективным методом нацеливания на наиболее восприимчивую аудиторию.

• Даже в здравоохранении ML отлично справляется. Исследователи и ученые подготовили модели для обучения машин обнаружению рака , просто глядя на изображения слайд-клеток. Для выполнения этой задачи людям потребовалось бы много времени.Но теперь, больше никаких задержек, машины предсказывают шансы быть или не заболеть раком с некоторой точностью, и врачи просто должны дать уверенный звонок, вот и все. Ответ на вопрос — как это возможно — очень прост — все, что требуется, — это высокая вычислительная машина, большой объем данных изображения хорошего качества, модель машинного обучения с хорошими алгоритмами для достижения самых современных результатов.
  Врачи используют ML даже для диагностики пациентов по различным рассматриваемым параметрам.

• Вы все могли использовать рейтингов IMDB , Google Фото , где распознаются лица, Google Lens , где модель распознавания текста ML может извлекать текст из изображений, которые вы загружаете, Gmail , какие категории Электронная почта в социальных сетях, продвижении, обновлениях или форумах с использованием классификации текста, которая является частью ML.

Как работает ML?

Что такое машинное обучение? Машинное обучение (ML) — это …

Узнайте, что такое машинное обучение, как оно работает и его важность, за пять минут

Последнее обновление 8 октября 2020 г.

Всем, кому интересно, кому нужен простой и точный обзор того, какая машина обучение — это то, как это работает, и его важность. Мы рассмотрим каждый из поднятых выше уместных вопросов, нарезав технические определения пионеров машинного обучения и лидеров отрасли, чтобы представить вам простое и упрощенное введение в фантастическую научную область машинного обучения.

Глоссарий терминов можно найти внизу статьи, а также небольшой набор ресурсов для дальнейшего изучения, ссылок и раскрытия информации.

Изображен Том М. Митчелл, ученый-компьютерщик и пионер машинного обучения | Источник: Машинное обучение, McGraw Hill, 1997, Том М. Митчелл [2]

Научная область машинного обучения (ML) — это отрасль искусственного интеллекта, по определению компьютерного ученого и пионера машинного обучения [1] Том М. Митчелл: « Машинное обучение — это исследование компьютерных алгоритмов, которые позволяют компьютерным программам автоматически улучшаться на основе опыта [2].”

Алгоритм можно рассматривать как набор правил / инструкций, которые задает компьютерный программист и которые компьютер может обработать. Проще говоря, алгоритмы машинного обучения учатся на собственном опыте, подобно тому, как это делают люди. Например, после просмотра нескольких примеров объекта алгоритм машинного обучения, использующий вычисления, может научиться распознавать этот объект в новых, ранее невиданных сценариях.

Как работает машинное обучение? ~ Ян Лекун, руководитель отдела исследований искусственного интеллекта Facebook | Источник: Youtube [3]

На видео выше [3] глава отдела исследований искусственного интеллекта Facebook Янн ЛеКун просто объясняет, как работает машинное обучение, на простых для понимания примерах.В машинном обучении используются различные методы интеллектуальной обработки больших и сложных объемов информации для принятия решений и / или прогнозов.

На практике шаблоны, которые изучает компьютер (система машинного обучения), могут быть очень сложными и трудными для объяснения. Рассмотрите возможность поиска собак изображений в поиске Google — как видно на изображении ниже, Google невероятно хорош в предоставлении релевантных результатов, но как поиск Google решает эту задачу? Проще говоря, поиск Google сначала получает большое количество примеров (набор данных изображений) фотографий с пометкой «собака», а затем компьютер (система машинного обучения) ищет образцы пикселей и образцы цветов, которые помогают ему угадать (предсказать), если изображение запрошено, это действительно собака.

Запрос в Google по запросу «собака» | Источник: Google Search

Сначала компьютер Google делает случайным предположением о том, какие шаблоны подходят для идентификации изображения собаки. Если он допустил ошибку, то компьютер должен исправить это. В конце концов, такой набор шаблонов, выученных большой компьютерной системой, смоделированной по образцу человеческого мозга (глубокая нейронная сеть), которая однажды обучена, может правильно идентифицировать и выдавать точные результаты изображений собак в поиске Google, а также все остальное, что вы можно было придумать — такой процесс называется этапом обучения системы машинного обучения.

Система машинного обучения ищет закономерности между изображениями собак и кошек [5]

Представьте, что вы отвечаете за создание системы прогнозирования машинного обучения, чтобы попытаться идентифицировать изображения между собаками и кошками. Как мы объясняли выше, первым шагом будет сбор большого количества изображений с пометкой «собака» для собак и «кошка» для кошек. Во-вторых, мы научим компьютер искать на изображениях закономерности для идентификации собак и кошек соответственно.

Обученная система машинного обучения, способная идентифицировать кошек или собак.[5]

После обучения модели машинного обучения [7] мы можем бросать в нее (вводить) различные изображения, чтобы проверить, может ли она правильно идентифицировать собак и кошек. Как видно на изображении выше, обученная модель машинного обучения может (в большинстве случаев) правильно идентифицировать такие запросы.

«Так же, как электричество преобразовало почти все 100 лет назад, сегодня мне сложно представить себе отрасль, которую, как мне кажется, искусственный интеллект не изменит в ближайшие несколько лет». ~ Эндрю Нг | Источник: Stanford Business Graduate School [4]

Машинное обучение в наши дни невероятно важно.Во-первых, потому что он может решать сложные реальные проблемы масштабируемым образом, во-вторых, потому что он разрушил множество отраслей за последнее десятилетие [9] и продолжает делать это в будущем, поскольку все больше и больше лидеров отрасли и исследователи специализируются на машинном обучении, а также берут то, чему они научились, для продолжения своих исследований и / или разработки инструментов машинного обучения, чтобы положительно повлиять на их собственные области. В-третьих, искусственный интеллект может постепенно добавить 16% или около 13 триллионов долларов в экономику США к 2030 году [18].Скорость, с которой машинное обучение оказывает положительное влияние, уже удивительно впечатляет [10] [11] [12] [13] [14] [15] [16] », которые оказались успешными благодаря кардинальным изменениям в хранении данных и вычислениях. вычислительная мощность [17] — по мере того, как все больше людей вовлекаются в процесс, мы можем только ожидать, что он продолжит этот путь и продолжит вызывать удивительный прогресс в различных областях [6].

Автор хотел бы поблагодарить Энтони Платаниоса, докторанта кафедры машинного обучения Университета Карнеги-Меллона за конструктивную критику, а также редакционные комментарии при подготовке этой статьи.

ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Взгляды, выраженные в этой статье, принадлежат автору (авторам) и не отражают точку зрения Университета Карнеги-Меллона или других компаний (прямо или косвенно), связанных с автором (авторами). Эти работы не претендуют на то, чтобы стать конечным продуктом, а скорее являются отражением нынешнего мышления, а также катализатором для обсуждения и улучшения.

Вы можете найти меня на моем веб-сайте, в Medium, Instagram, Twitter, Facebook, LinkedIn или через мою SEO-компанию.

Что такое модель машинного обучения?

• 24.05.2021
• 2 минуты на чтение

В этой статье

Модель машинного обучения — это файл, который обучен распознавать определенные типы шаблонов. Вы обучаете модель на наборе данных, предоставляя ей алгоритм, который она может использовать, чтобы рассуждать и учиться на этих данных.

После того, как вы обучили модель, вы можете использовать ее, чтобы рассуждать о данных, которые она не видела раньше, и делать прогнозы на основе этих данных. Например, предположим, что вы хотите создать приложение, которое может распознавать эмоции пользователя по выражению его лица. Вы можете обучить модель, предоставив ей изображения лиц, каждое из которых помечено определенной эмоцией, а затем вы можете использовать эту модель в приложении, которое может распознавать эмоции любого пользователя. См. Пример такого приложения в Emoji8.

Когда использовать машинное обучение

Хорошие сценарии машинного обучения часто имеют следующие общие свойства:

1. Они включают в себя повторяющееся решение или оценку, которые вы хотите автоматизировать и требовать согласованных результатов.
2. Трудно или невозможно подробно описать решение или критерии, лежащие в основе решения.
3. Вы пометили данные или существующие примеры, в которых вы можете описать ситуацию и сопоставить ее с правильным результатом.

Машинное обучение Windows использует для своих моделей формат Open Neural Network Exchange (ONNX). Вы можете загрузить предварительно обученную модель или обучить свою собственную. Дополнительные сведения см. В разделе Получение моделей ONNX для Windows ML.

Начать

Вы можете начать работу с машинным обучением Windows, следуя одному из наших руководств по работе с полным приложением или сразу переходя к примерам машинного обучения Windows.

Примечание

Для получения справки по Windows ML используйте следующие ресурсы:

• Чтобы задать или ответить на технические вопросы о Windows ML, используйте тег windows-machine-learning в Stack Overflow.
• Чтобы сообщить об ошибке, сообщите о проблеме на нашем GitHub.
• Чтобы запросить функцию, перейдите в раздел отзывов разработчиков Windows.

В чем разница между искусственным интеллектом и машинным обучением?

Искусственный интеллект (AI) и машинное обучение (ML) — два очень популярных модных слова прямо сейчас, и часто кажется, что они используются как взаимозаменяемые.

Это не совсем одно и то же, но восприятие того, что они есть, иногда может привести к некоторой путанице.Поэтому я подумал, что стоит написать статью, чтобы объяснить разницу.

Оба термина возникают очень часто, когда речь идет о больших данных, аналитике и более широких волнах технологических изменений, которые охватывают наш мир.

Короче говоря, лучший ответ:

Искусственный интеллект — это более широкое понятие машин, способных выполнять задачи способом, который мы считаем «умным».

А,

Машинное обучение — это текущее приложение ИИ, основанное на идее о том, что мы действительно должны просто предоставить машинам доступ к данным и позволить им учиться самостоятельно.

Ранние дни

Искусственный интеллект существует уже давно — греческие мифы содержат истории о механических людях, созданных для имитации нашего собственного поведения. Очень ранние европейские компьютеры задумывались как «логические машины», и, воспроизводя такие возможности, как базовая арифметика и память, инженеры видели свою работу, в основном, в попытке создать механический мозг.

По мере развития технологий и, что важно, нашего понимания того, как работает наш разум, наши представления о том, что представляет собой ИИ, изменились.Работа в области ИИ была сосредоточена не на все более сложных вычислениях, а на имитации процессов принятия решений людьми и выполнении задач все более человечными способами.

Искусственный интеллект — устройства, разработанные для разумного действия — часто делятся на одну из двух основных групп — прикладную или общую. Прикладной ИИ гораздо более распространен — ​​в эту категорию попадают системы, разработанные для интеллектуальной торговли акциями и акциями или для маневрирования автономным транспортным средством.

Нейронные сети — искусственный интеллект и машинное обучение (Источник: Shutterstock)

Обобщенные ИИ — системы или устройства, которые теоретически могут справиться с любой задачей — встречаются реже, но именно здесь сегодня происходят некоторые из самых захватывающих достижений.Это также область, которая привела к развитию машинного обучения. Его часто называют подмножеством искусственного интеллекта, поэтому правильнее рассматривать его как современное состояние дел.

Рост машинного обучения

Два важных прорыва привели к появлению машинного обучения как средства, которое продвигает развитие ИИ с нынешней скоростью.

Одним из них было осознание, приписываемое Артуру Сэмюэлю в 1959 году, что вместо того, чтобы обучать компьютеры всему, что им нужно знать о мире и о том, как выполнять задачи, можно было бы научить их учиться самостоятельно.

Вторым, совсем недавно, было появление Интернета и огромное увеличение объема цифровой информации, которая генерируется, хранится и становится доступной для анализа.

Как только эти инновации были внедрены, инженеры поняли, что вместо того, чтобы обучать компьютеры и машины тому, как делать все, было бы гораздо эффективнее закодировать их, чтобы они думали как люди, а затем подключили их к Интернету, чтобы дать им доступ ко всем информации в мире.

Нейронные сети

Развитие нейронных сетей сыграло ключевую роль в обучении компьютеров мыслить и понимать мир так же, как мы, при сохранении присущих им преимуществ перед нами, таких как скорость, точность и отсутствие предвзятости.

Нейронная сеть — это компьютерная система, предназначенная для работы путем классификации информации так же, как это делает человеческий мозг. Его можно научить распознавать, например, изображения и классифицировать их по элементам, которые они содержат.

По сути, он работает по системе вероятностей — на основе вводимых в него данных он может делать утверждения, решения или прогнозы с определенной степенью уверенности. Добавление петли обратной связи позволяет «учиться» — чувствуя или узнавая, верны ли его решения или нет, он изменяет подход, который он будет использовать в будущем.

Приложения машинного обучения

могут читать текст и определять, жалуется ли человек, написавший его, или поздравляет.Они также могут послушать музыкальное произведение, решить, будет ли оно кого-то счастливым или грустным, и найти другие музыкальные произведения, соответствующие настроению. В некоторых случаях они даже могут сочинять свою собственную музыку, выражающую те же темы или которую, как они знают, скорее всего оценят поклонники оригинального произведения.

Это все возможности, предлагаемые системами, основанными на машинном обучении и нейронных сетях. В немалой степени благодаря научной фантастике возникла идея о том, что мы должны иметь возможность общаться и взаимодействовать с электронными устройствами и цифровой информацией так же естественно, как и с другим человеком.С этой целью другая область искусственного интеллекта — обработка естественного языка (NLP) — в последние годы стала источником чрезвычайно интересных инноваций, в значительной степени зависящих от машинного обучения.

Приложения

NLP пытаются понять естественное человеческое общение, письменное или устное, и, в свою очередь, общаться с нами, используя аналогичный естественный язык. ML используется здесь, чтобы помочь машинам понять обширные нюансы человеческого языка и научиться реагировать так, как это может понять конкретная аудитория.

Случай брендинга?

Искусственный интеллект — и, в частности, сегодня ML, безусловно, может многое предложить. Обещая автоматизировать рутинные задачи, а также предлагая творческое понимание, отрасли в каждом секторе, от банковского дела до здравоохранения и производства, пожинают плоды. Итак, важно помнить, что AI и ML — это что-то еще … это продукты, которые продаются последовательно и прибыльно.

Маркетологи, безусловно, использовали машинное обучение

как возможность.После того, как искусственный интеллект существует так долго, вполне возможно, что его начали рассматривать как что-то в некотором роде «старой шляпе» еще до того, как его потенциал был действительно реализован. На пути к «революции искусственного интеллекта» было несколько фальстартов, и термин «машинное обучение» определенно дает маркетологам что-то новое, блестящее и, что важно, твердо основанное на «здесь и сейчас».

Тот факт, что мы в конечном итоге разработаем человеческий ИИ, часто рассматривался технологами как нечто неизбежное.Безусловно, сегодня мы ближе, чем когда-либо, и все быстрее движемся к этой цели. Большая часть впечатляющего прогресса, который мы наблюдаем в последние годы, произошла благодаря фундаментальным изменениям в нашем представлении о работе ИИ, которые были внесены с помощью машинного обучения. Я надеюсь, что эта статья помогла некоторым людям понять разницу между AI и ML. В другой статье на эту тему я углублюсь — буквально, — объясняя теории, лежащие в основе еще одного популярного модного слова — Deep Learning.

Перейдите по этим ссылкам, чтобы получить дополнительную информацию об искусственном интеллекте и множество практических примеров ИИ.

Что такое машинное обучение? | Expert.ai

Машинное обучение — это приложение искусственного интеллекта (ИИ), которое предоставляет системам возможность автоматически учиться и совершенствоваться на основе опыта без явного программирования. Машинное обучение ориентировано на разработку компьютерных программ , которые могут получать доступ к данным и использовать их для обучения.

Процесс обучения начинается с наблюдений или данных, таких как примеры, непосредственный опыт или инструкции, с целью поиска закономерностей в данных и принятия более эффективных решений в будущем на основе примеров, которые мы приводим. Основная цель состоит в том, чтобы позволить компьютерам автоматически обучать без вмешательства или помощи человека и соответствующим образом корректировать действия.

Но, используя классические алгоритмы машинного обучения, текст рассматривается как последовательность ключевых слов; вместо этого подход, основанный на семантическом анализе, имитирует человеческую способность понимать значение текста.

Некоторые методы машинного обучения

Алгоритмы машинного обучения часто делятся на контролируемые и неконтролируемые.

• Алгоритмы контролируемого машинного обучения могут применять то, что было изучено в прошлом, к новым данным, используя помеченные примеры для прогнозирования будущих событий. Начиная с анализа известного набора обучающих данных, алгоритм обучения создает предполагаемую функцию для прогнозирования выходных значений. Система способна предоставить цели для любого нового ввода после достаточного обучения. Алгоритм обучения также может сравнивать свои выходные данные с правильными предполагаемыми выходными данными и находить ошибки, чтобы соответствующим образом модифицировать модель.
• Напротив, алгоритмов неконтролируемого машинного обучения используются, когда информация, используемая для обучения, не классифицируется и не маркируется. Неконтролируемое обучение изучает, как системы могут вывести функцию для описания скрытой структуры из немаркированных данных. Система не определяет правильные выходные данные, но она исследует данные и может делать выводы из наборов данных для описания скрытых структур из немаркированных данных.
• Полуконтролируемые алгоритмы машинного обучения находятся где-то между контролируемым и неконтролируемым обучением, поскольку они используют как помеченные, так и немаркированные данные для обучения — обычно небольшой объем помеченных данных и большой объем немаркированных данных.Системы, использующие этот метод, могут значительно повысить точность обучения. Обычно полу-контролируемое обучение выбирается, когда полученные помеченные данные требуют квалифицированных и соответствующих ресурсов для их обучения / обучения. В противном случае получение немаркированных данных обычно не требует дополнительных ресурсов.
• Алгоритмы машинного обучения с подкреплением — это метод обучения, который взаимодействует со своей средой, производя действия и обнаруживая ошибки или вознаграждения.Поиск методом проб и ошибок и отложенное вознаграждение — наиболее важные характеристики обучения с подкреплением. Этот метод позволяет машинам и программным агентам автоматически определять идеальное поведение в конкретном контексте, чтобы максимизировать его производительность. Чтобы агент узнал, какое действие лучше всего, требуется простая обратная связь с вознаграждением; это называется сигналом подкрепления.

Машинное обучение позволяет анализировать огромные объемы данных. Хотя обычно он обеспечивает более быстрые и точные результаты для выявления выгодных возможностей или опасных рисков, для его правильного обучения может также потребоваться дополнительное время и ресурсы.Сочетание машинного обучения с искусственным интеллектом и когнитивными технологиями может сделать его еще более эффективным при обработке больших объемов информации .

Хотите узнать больше?

СВЯЗАТЬСЯ С НАМИ ЗАПРОСИТЬ ДЕМО

Первоначально опубликовано в марте 2017 г., обновлено в мае 2020 г.

Как объяснить машинное обучение простым английским языком

Машинное обучение уже широко распространено: большинство людей, вероятно, этого не осознают.

«Независимо от того, знаете ли вы об этом или нет, скорее всего, машинное обучение является основой приложений, которые вы используете каждый день», — говорит Билл Брок, вице-президент по разработке Very.«Машинное обучение произвело революцию в бесчисленных отраслях; это технология, лежащая в основе многих приложений в вашем смартфоне, от виртуальных помощников, таких как Siri, до прогнозирования трафика с помощью Google Maps ».

Возможно, вас больше волнует точность этого прогноза трафика или реакция голосового помощника, чем то, что скрывается под капотом — и это понятно. Но по мере того, как количество случаев использования машинного обучения продолжает расти, вам нужно будет объяснить хотя бы основы технологии людям, не связанным с ИТ, будь то получение поддержки, демонстрация работы вашей команды или просто создание лучшее общение и понимание между отделами.Ваше понимание машинного обучения также может поддержать долгосрочные результаты вашей стратегии искусственного интеллекта.

Для большинства предприятий машинное обучение, вероятно, является наиболее распространенной формой ИИ, действующей сегодня.

Если вы еще не используете AI или ML, вы скоро оцените его потенциал. «ИИ как рабочая нагрузка станет основным двигателем ИТ-стратегии», — недавно сказал нам Дэниел Риек, старший директор AI, Office CTO Red Hat. «Искусственный интеллект представляет собой трансформацию развития ИТ-индустрии: клиенты из всех вертикалей все больше внимания уделяют интеллектуальным приложениям, чтобы обеспечить их бизнес с помощью ИИ.Это применимо к любому рабочему процессу, реализованному в программном обеспечении — не только в рамках традиционной деловой части предприятий, но также в исследованиях, производственных процессах и, во все большей степени, самих продуктах ».

[Получите наше краткое руководство по 10 ключевым терминам искусственного интеллекта для руководителей ИТ и бизнеса: шпаргалка: глоссарий по ИИ. ]

[Читайте также: ИИ против машинного обучения: в чем разница? ]

Что такое машинное обучение?

Это не просто карты или виртуальные помощники.Рассмотрим этот пример из «Руководства по искусственному интеллекту для руководителей», нашего недавнего исследовательского отчета, проведенного Harvard Business Review Analytic Services. В отчете подчеркивается, как машинное обучение было использовано для решения проблемы в медицинском центре Beth Israel Deaconess Medical Center: его операционная была ограничена.

«Машинное обучение с использованием данных от миллиона пациентов, включая время операционного вмешательства в прошлом, выполненные процедуры, болезнь пациента, пол, возраст, сопутствующие заболевания, лекарства и т. Д. — определяет, сколько операционного времени потребуется для каждого конкретного пациента», говорится в отчете.В результате медицинский центр освободил 30% операционных.

Это не приземленный футуризм, а материал ощутимого воздействия, и это всего лишь один пример. Более того, для большинства предприятий машинное обучение, вероятно, является наиболее распространенной формой ИИ, действующей сегодня. У людей есть причина знать хотя бы базовое определение этого термина, хотя бы по той причине, что машинное обучение, как сказал Брок, все больше влияет на их жизнь.

Итак, давайте перейдем к нескольким четким определениям, которые вы можете использовать, чтобы помочь другим понять машинное обучение.

[Как RPA сочетается с AI и ML? Читайте также: Как объяснить на простом английском языке роботизированную автоматизацию процессов (RPA). ]

Определения машинного обучения

Машинное обучение делает компьютеры более интеллектуальными без явного обучения их поведению.

«По сути, машинное обучение — это задача сделать компьютеры более интеллектуальными без явного обучения их поведению. Это достигается путем выявления закономерностей в данных — особенно полезно для разнообразных данных большого размера, таких как изображения и истории болезни пациентов.”- Билл Брок, вице-президент по разработке Very

«Говоря классическим языком, машинное обучение — это тип искусственного интеллекта, который позволяет самообучаться на основе данных, а затем применяет это обучение без необходимости вмешательства человека. На самом деле существует множество различных типов машинного обучения, а также множество стратегий их наилучшего использования ». –Фран Фернандес, руководитель отдела продуктов Espressive

«В общем, машинное обучение — это подмножество компьютерных наук, которое включает в себя применение статистики к наблюдаемым данным для создания некоторого процесса, который может выполнить некоторую задачу.Это включает в себя как структуру машинного обучения (получение данных и обучение на их основе с использованием статистики), так и влияние машинного обучения (варианты использования, такие как распознавание лиц и системы рекомендаций) ». –Майкл МакКорт, научный сотрудник SigOpt

Машинное обучение против ИИ против глубокого обучения

Это хорошие общие определения машинного обучения, которые не требуют особых технических знаний. Оттуда все становится более подробным и сложным. Брок отмечает, например, что машинное обучение — это общий термин, который включает три подкатегории: обучение с учителем, обучение без учителя и обучение с подкреплением.

(Брок ранее в этой истории поделился с нами разницей между контролируемым и неконтролируемым обучением. Он отмечает, что обучение с подкреплением заимствовано из психологических экспериментов: «Машина пытается найти оптимальные действия, которые необходимо предпринять, находясь в наборе различных сценариев. действия могут иметь как краткосрочные, так и долгосрочные последствия, требуя от учащегося обнаружить эти связи »)

Вы также можете изучить связанные суб-дисциплины, такие как глубокое обучение.(Если вы хотите сделать именно это, прочтите нашу историю: Как объяснить глубокое обучение простым английским языком.) Однако для людей, не связанных с ИТ, эти вещи могут сбить с толку в спешке. Возникает вопрос: что им на самом деле нужно знать о машинном обучении?

«Я не думаю, что нетехническим людям нужно понимать основы машинного обучения», — говорит Фернандес из Espressive. «Вместо этого я считаю, что им нужно понимать преимущества машинного обучения. Вместо того чтобы говорить: «Машинное обучение означает xyz», они должны сказать: «Благодаря машинному обучению наше предприятие смогло достичь xyz.’”

Вы также можете получить визуализацию, чтобы обсудить AI vs. ML. Представьте себе набор русских матрёшек: AI большой, ML находится внутри него, а другие когнитивные способности находятся под ними. «ИИ — это общий термин, описывающий различные инструменты и алгоритмы, которые позволяют машинам воспроизводить человеческое поведение и интеллект», — объясняет Дж. П. Баритуго, директор консалтинговой компании Pace Harmon в сфере управления и ИТ. Есть множество разновидностей ИИ. Машинное обучение — одно из них, но есть также обработка естественного языка (NLP), глубокое обучение, компьютерное зрение и многое другое.

[Получите наше краткое руководство по 10 ключевым терминам искусственного интеллекта для руководителей ИТ и бизнеса: шпаргалка: глоссарий по ИИ. ]

Для тех, кто предпочитает аналогии, Тимоти Хэвенс, доцент компьютерных систем в Колледже вычислительной техники Мичиганского технологического университета и директор Института вычислительной техники и киберсистем Тимоти Хэвенс, сравнивает работу ИИ с обучением езде на велосипеде. : «Вы не говорите ребенку, чтобы он двигал левой ногой по кругу на левой педали в прямом направлении, одновременно двигая правой ногой по кругу… Вы даете ему толчок и говорите, чтобы он держал велосипед в вертикальном положении и указывал вперед. : общая цель.Они падают несколько раз, оттачивая свои навыки каждый раз, когда терпят поражение », — говорит Хавенс. «Это в двух словах об ИИ».

Машинное обучение — один из способов добиться этого. «Он использует статистический анализ для автономного обучения и улучшения своих функций», — объясняет Сара Бернетт, исполнительный вице-президент и выдающийся аналитик консалтинговой и исследовательской компании Everest Group.

«[ML] использует различные алгоритмы для анализа данных, выявления закономерностей и генерации необходимых результатов», — говорит Баритуго из Пейса Хармона, добавляя, что машинное обучение — это способность, которая управляет прогнозной аналитикой и прогнозным моделированием.

Как работает машинное обучение?

Если есть один аспект машинного обучения, на который вы собираетесь обратить внимание, говорит Фернандес, то это должна быть важность данных, потому что большинство отделов участвуют в их создании и, при правильном управлении и анализе, извлекают из этого пользу.

«Если вы хотите уделять себе больше времени в будущем и стать более эффективным за счет использования машинного обучения, вам следует подумать о данных, которые вы генерируете во время работы, и о том, как к этим данным можно получить доступ и структурировать их таким образом, чтобы машинное обучение могло кредитное плечо », — советует Фернандес.

Действительно, это критическая область, в которой наличие хотя бы широкого понимания машинного обучения в других отделах может повысить ваши шансы на успех.

«Если бы люди знали о машинном обучении больше — возможно, не в деталях, но, по крайней мере, в основных концепциях, — они бы поняли, что машинное обучение не« работает »само по себе», — говорит Маккорт из SigOpt. «Это требует руководства, структуры, данных и времени (особенно в случае больших данных), и нужен кто-то, чтобы интерпретировать результаты как во время разработки, так и после развертывания.”

Еще одна мотивация помочь другим понять основы, особенно с точки зрения важности данных: полное незнание может увеличить риск предвзятости и других проблем. «Легко слепо доверять результатам алгоритма машинного обучения, но результаты хороши настолько, насколько хороши данные, на которых обучается алгоритм», — говорит Брок.

[Как защититься от предвзятости ИИ? Читайте также Предвзятость искусственного интеллекта: 9 вопросов, которые нужно задать ИТ-руководителям. ]

Широкое понимание машинного обучения, вероятно, увеличит ваши шансы на успех ИИ, при этом оправдывая ожидания.

Объем ваших объяснений будет зависеть, среди прочего, от ваших целей и организационной культуры. Но главная причина дать людям хотя бы краткое руководство заключается в том, что широкое понимание машинного обучения (и связанных с ним концепций, когда это уместно) в вашей компании, вероятно, улучшит ваши шансы на успех ИИ, при этом сохраняя разумные ожидания.

«Машинное обучение может решить проблемы, но ваша компания, внедряющая инструменты машинного обучения, просто не исправит все», — говорит МакКорт. «Машинное обучение само по себе — это просто процесс кластеризации, аппроксимации, классификации или проектирования; Узнав кое-что о процессе, в котором работает машинное обучение, менее технически подготовленные люди могут понять, что машинное обучение — это лишь часть полностью успешного процесса принятия разумных решений и умных действий.”

Как лучше всего проповедовать ML? Давайте посмотрим на несколько примеров:

Что такое миллилитр? — Определение и преобразование — Видео и стенограмма урока

Метрическая система

Миллилитр — это единица измерения, используемая в метрической системе. Метрическая система — это система измерения, в которой литр используется в качестве основы для измерения емкости. Вместимость — это количество жидкости, которое может вместить контейнер. Метрическая система используется во многих странах, но в Соединенных Штатах мы часто измеряем вместимость в галлонах и чашках.Один галлон равен примерно 3,78 литрам. Одна чашка равна примерно 237 миллилитрам.

Вы можете подойти к своему холодильнику, чтобы увидеть, как литры и миллилитры используются для измерения количества жидкости в емкости для напитков. Большие напитки, такие как кувшины для воды и бутылки с газировкой, обычно расфасовываются в литры или галлоны. Небольшие напитки, такие как бутылки с водой или банки из-под газировки, расфасовываются в миллилитры или унции. В следующий раз, когда вы возьмете напиток, ищите сокращения на внешней стороне упаковки.Литры обозначаются строчной или прописной буквой L. Сокращение миллилитров обозначается буквами ml или mL.

литров в миллилитры

Вы помните, что в одном литре содержится 1000 миллилитров? Вспоминая этот факт, вы можете переводить литры в миллилитры. Посмотрим, как это работает.

Когда идешь в магазин, можно купить газировку в литровой емкости или двухлитровой. Двухлитровая емкость вдвое больше: в нее можно поместить две литровых емкости.

В однолитровом контейнере будет 1000 миллилитров, а в двухлитровом — 2000 миллилитров. Чтобы преобразовать литры в миллилитры, умножьте количество литров на 1000 (2 x 1000 мл = 2000 мл).

Попробуем еще одну конвертацию. Если у вас есть ведро, которое вмещает четыре литра, сколько миллилитров оно вмещает? Ответ — 4000 мл (4 x 1000 мл = 4000 мл).

Миллилитры в литры

Теперь вы знаете, как переводить литры в миллилитры, но можете ли вы сделать наоборот? Чтобы преобразовать миллилитры в литры, вы используете задачу деления.

У механика может быть бензобак, вмещающий 5000 миллилитров бензина. Чтобы определить, сколько литров вмещает этот бензобак, нужно разделить количество миллилитров на 1000. 5000 мл, разделенные на 1000, равны 5 л, поэтому в бензобаке механика вмещается 5 литров бензина.

Краткое содержание урока

миллилитр — это метрическая единица измерения емкости, равная одной тысячной литра. Вместимость — это количество жидкости, которое может вместить контейнер.