Ml google: ML Kit | Google Developers
Разработчики Google показали примеры применения технологии NeRF — она превращает фотографии в объёмные изображения Статьи редакции
Они создали 3D-объекты, используя фотографии с Flickr.
5054
просмотров
Разработчики подразделений Google Brain и Google Research рассказали о применении метода neural radiance fields (NeRF) для создания объёмных сцен из коллекции фотографий с использованием технологии машинного обучения.
NeRF позволяет создавать объёмные модели объектов, расположенных внутри сцены, а также передавать их цвет и плотность с учётом точки обзора.
Описание метода NeRF для создания объёмных сцен из коллекций фотографий, сделанных на улице
Разработчикам удалось воссоздать образы Бранденбургских ворот в Берлине, базилику Сакре-Кёр в Париже и фонтан Треви в Риме, используя фотографии с сайтов типа Flickr, пишет Vice.
Однако NeRF может показывать хорошие результаты только с определёнными настройками: фотографии должны быть сделаны в течение короткого времени, когда свет одинаковый, а предметы не двигаются, отмечают разработчики.
Our paper, “NeRF in the Wild”, is out! NeRF-W is a method for reconstructing 3D scenes from internet photography. We apply it to the kinds of photos you might take on vacation: tourists, poor lighting, filters, and all. https://nerf-w.github.io (1/n) https://t.co/UuvUm4eVzm
1534
6031
{
«author_name»: «Галина Мубаракшина»,
«author_type»: «self»,
«tags»: [«\u043d\u043e\u0432\u043e\u0441\u0442\u044c»,»\u043d\u043e\u0432\u043e\u0441\u0442\u0438″,»nerf»,»google»],
«comments»: 16,
«likes»: 22,
«favorites»: 22,
«is_advertisement»: false,
«subsite_label»: «ml»,
«id»: 149155,
«is_wide»: true,
«is_ugc»: true,
«date»: «Mon, 10 Aug 2020 18:52:38 +0300»,
«is_special»: false }
{«id»:444539,»url»:»https:\/\/vc.ru\/u\/444539-galina-mubarakshina»,»name»:»\u0413\u0430\u043b\u0438\u043d\u0430 \u041c\u0443\u0431\u0430\u0440\u0430\u043a\u0448\u0438\u043d\u0430″,»avatar»:»fabf1f52-9da9-d5db-ee72-9726eb405399″,»karma»:17292,»description»:»»,»isMe»:false,»isPlus»:false,»isVerified»:false,»isSubscribed»:false,»isNotificationsEnabled»:false,»isShowMessengerButton»:false}
{«url»:»https:\/\/booster.osnova.io\/a\/relevant?site=vc»,»place»:»entry»,»site»:»vc»,»settings»:{«modes»:{«externalLink»:{«buttonLabels»:[«\u0423\u0437\u043d\u0430\u0442\u044c»,»\u0427\u0438\u0442\u0430\u0442\u044c»,»\u041d\u0430\u0447\u0430\u0442\u044c»,»\u0417\u0430\u043a\u0430\u0437\u0430\u0442\u044c»,»\u041a\u0443\u043f\u0438\u0442\u044c»,»\u041f\u043e\u043b\u0443\u0447\u0438\u0442\u044c»,»\u0421\u043a\u0430\u0447\u0430\u0442\u044c»,»\u041f\u0435\u0440\u0435\u0439\u0442\u0438″]}},»deviceList»:{«desktop»:»\u0414\u0435\u0441\u043a\u0442\u043e\u043f»,»smartphone»:»\u0421\u043c\u0430\u0440\u0442\u0444\u043e\u043d\u044b»,»tablet»:»\u041f\u043b\u0430\u043d\u0448\u0435\u0442\u044b»}},»isModerator»:false}
AutoML Google и новые возможности машинного обучения
AutoML от Google – новый облачный продукт от гугл, объединяющий различные готовые и обученные до определенного уровня инструменты машинного обучения. Он базируется на алгоритме нейронно-архитектурного поиска Neural Architecture Search (NAS). Этот алгоритм не просто распознает изображения, он ищет в облаке наиболее подходящую для решения конкретной задачи нейронную сеть и использует её.
Auto ML объединяет множество инструментов, позволяющий быстро натренировать нейронные сети до нужного уровня. Такие инструменты позволяют мгновенно использовать возможности искусственного интеллекта для решения ежедневных бизнес-задач.
Вот такие задачи решает Google Auto ML:
- Автоматическая подготовка и обработка данных
- Подбор характеристик и их изъятие, мета-обучение и трансферное обучение
- Автоматический трансферный подбор
- Автоматическй выбор модели
- Автоматическая проверка на наличие проблем
- Обнаружение утечки
- Обнаружение ошибок
- Автоматический анализ результатов
- Автоматический выбор и оценка метрики/процедур валидации
С помощью этой готовой системы можно упростить обучение своих систем, даже имея ограниченные знания в технологиях и машинном обучении.
Облачные продукты Google Auto ML включают три направления:
- AutoML Vision
- AutoML Natural language
- AutoML translation
Упрощенное визуальное распознавание с Auto ML Vision от Google
AutoML Vision включает в себя распознавание лиц, меток, почерка, логотипа, модерацию контента, оптическое распознавание символов и пр. Можно использовать API или веб интерфейс, чтобы автоматически изымать информацию из любого типа изображения, вроде селфи или группы персонажей.
https://cdn-images-1.medium.com/
Распознавание лица включает в себя массу различных меток:
https://cdn-images-1.medium.com/
Однако при всех возможностях продукта вы не можете изменить тот факт, какие объекты идентифицируют Google Vision, поскольку они обучены на распознавание только конкретных групп изображений. И не обучены, например, на распознавание пистолетных гильз.
https://cdn-images-1.medium.com/
Неизвестно останется ли так и дальше и является ли ограничение распознавания специальной задумкой производителей в целях общественной безопасности. Или же постоянное развитие системы позволит со временем покрыть абсолютно все типы изображений.
Google также изменили сам принцип обучения нейросети. Если раньше сеть обучали на сотнях фотографий, то теперь можно снять видео. Оно воспринимается также, как и фото – просто система сама делит его на кадры – и получаем нужный предмет с различных ракурсов и перспектив.
Самый необычный способ использования этого инструмента, который мы нашли – для оценки и отслеживания изменений в окружающей среде. Классификаторы Google Cloud используются в техасском научно-исследовательском институте Гарта TAMUCC (Texas A & M — Корпус-Кристи) для определения атрибутов в больших наборах данных изображений береговой линии вдоль Мексиканского залива.
https://storage.googleapis.com/
Для многих ученых отслеживание изменений береговой линии – эффективное средство мониторинга последствий изменения климата. И пользовательский интерфейс AutoML Vision помогает исследователям TAMUCC повысить точность своих моделей, упрощая построение пользовательских моделей классификации изображений на основе собственных данных изображений.
https://storage.googleapis.com/
Где ещё может использоваться: в агросекторе, как мы описывали в статье «Как собирать в 2,5 раза больше урожая при помощи искусственного интеллекта», в контроле качества в промышленности и даже обнаружении исчезающих видов. Возможно, в вашем бизнесе есть сценарий использования, который может использовать возможности классификации изображений в AutoML Vision?
Обращайтесь, мы в Evergreen c удовольствием поможем воплотить ваши задумки в жизнь.
Работа с текстами при помощи Auto ML Natural Language Processing
AutoML Natural language Toolkit – один из новых облачных продуктов от Google, позволяет классифицировать контент в конкретные категории. Система способна извлекать структуры и значение текста благодаря умениям обученной машины.
Распознавание текстов включает анализ синтаксиса, классификацию контента, распознавание элементов, анализ настроений. Это позволяет пользователю вытаскивать значение текстов из имейлов, чатов или социальных медиа при помощи анализа элементов и настроений.
Для чего можно использовать:
- Для поиска информации (именно благодаря этой системе Google анализирует ваш запрос и выдает релевантные результаты)
- Извлечение информации (например, при поиске нужных писем в вашем Gmail-аккаунте по использованию фильтр-слова)
- Машинный перевод или AutoML translation (используется Google Translate – дает возможность делать переводы по API с различных языков, переводит как любую произвольную строку, так и большие текстовые массивы)
- Упрощение текста (на этом принципе строится работа сервиса Rewordify, упрощающего сложные термины в предложениях без потери смысла)
- Анализ настроений (его использует Hater News, чтобы показывать худшие новости)
- Подытоживание текста (так работает Smmry – достаточно ввести в приложение статью или любой длинный текст, как оно предложит короткую выжимку написанного в нем материала)
- Спам-фильтр (автоматическое определение в спам писем, содержащих слова-триггеры)
- Автоматическое прогнозирование (то самое, благодаря которому Google предлагает вам различные варианты ещё до того как вы закончите вводить свой запрос)
- Автоматическое исправление (используется в Grammarly для исправления слов, написанных с ошибками или неверно употребленных в контексте предложения)
- Распознавание речи (Google WebSpeech или Vocalware)
- Natural Language Generation (текстовое описание картинки или происходящего на видео). BBC уже назвали такое явление робожурналистикой и опубликовали статью-пример того как искусственный интеллект описал спортивный матч, снятый на видео.
В практическом применении анализ текстов позволяет влиять на общественные настроения (исходя из уже существующих настроев), экономить время на поиск нужной информации, быстрее обрабатывать большие массивы текстов и извлекать из них суть.
На сегодня Google AutoML Natural language Toolkit – доступная услуга, которая позволяет пользователю создать обученную модель, которая может совершать необходимые действия с текcтом.
Единственный минус большинства этих возможностей – пока что они доступны и работают в полной мере только на английском языке. Если вам необходимо создать подобный сервис на русском, украинском или других языках, обращайтесь – возможности Evergreen помогут реализовать вашу задумку.
Обработка больших данных с AutoML Data science
Одно из направлений облачных продуктов Google Auto ML наряду с Auto ML Vision и Auto ML NLP. Набор инструментов Google AutoML Data Science Toolkit, созданный для работы с большими данными объемами данных, быстро ширится и активно используется в мире data science. Чтобы продемонстрировать каким именно образом работают инструменты, возьмем за образец нейросеть, созданную японским программистом Кэндзи Дои.
Задача нейросети: по фотографии рамена определить в каком ресторане его приготовили. Для человека эта задача практически невыполнима. Однако здесь огромную роль играет свойство нейросети находить незаметные человеческому глазу закономерности.
https://cdn.neow.in/
Кэндзи Дои предположил, что блюдо будет немного отличаться в зависимости от многих факторов:
- Повар, который его приготовил
- Используемых продуктов
- Инструментов повара
- Температуры/влажности на кухне
- Определенный тип сервировки
- Размер порций и пр.
Для обучения нейросети программист использовал более 48 тысяч фотографий рамена из 41 ресторана, сопоставив каждую фотографию с конкретным заведением. Готовый набор данных составил 1170 фотографий рамена относительно каждого раменного ресторана. Всего сутки тренировки нейросети и точность распознавания составила 94,5%.
Таким же образом можно запрограммировать нейросети на классификацию любых брендовых товаров, как сделал японский маркетплейс Mercari. Таким образом, используя систему работы в большими данными от Google Auto ML они добились точности распознавания продуктов 91,3%, что на 16% больше, чем позволяла сделать нейросеть, которой они пользовались ранее.
Понравились описанные здесь инструменты? Хотели бы разработать что-то похожее для своих потребностей или адаптировать уже существующие под потребности вашей компании? Обращайтесь, с удовольствием вам поможем.
29.03.2019
Используемые в статье картинки взяты из открытых источников и используются как иллюстрации.
ML Funnel Based Attribution — подробный гайд
Задача атрибуции — оценить эффективность рекламных каналов и кампаний. Выявить, какие из платных каналов трафика приводят пользователей к конверсии, а какие — нет. Зная это, вы можете перераспределить рекламный бюджет в пользу эффективных каналов, перестать тратить деньги на неэффективные, и в итоге получить больше конверсий.
От качества и достоверности модели атрибуции, которую вы используете, напрямую зависит выполнение плана продаж и рост бизнеса. Проблема в том, что большинство заказов совершаются не за одну сессию, то есть перед покупкой пользователь посещает сайт несколько раз. Поэтому для объективного распределения ценности конкретного заказа — выручки или прибыли — нужно оценивать каждую сессию, а не только последнюю. Большинство же стандартных моделей атрибуции не учитывают все действия пользователя перед заказом и отдают его ценность одному каналу в цепочке. Или оценивают каналы по условному правилу, а не по реальным заслугам.
Поэтому мы в OWOX BI создали собственную модель ML Funnel Based Attribution, которая учитывает все действия пользователей в онлайне и офлайне, реальную прибыль из CRM, а также показывает взаимное влияние каналов на конверсию и продвижение пользователя по воронке.
В этой статье мы подробно расскажем о задачах, которые вы можете решить с помощью атрибуции от OWOX BI.
Наши клиенты
растут на
22%
быстрее
Растите быстрее, анализируя, что лучше сработает в вашем маркетинге
Измеряйте KPI, находите зоны роста и увеличивайте свой ROI
Записаться на демо
Содержание
Что такое атрибуция и зачем она нужна
Для начала освежим в памяти теоретические знания.
Атрибуция — это распределение ценности от конверсии между каналами, которые продвигали пользователя по воронке. Она помогает ответить на вопрос, в какой мере каждый из каналов повлиял на продвижение пользователя по воронке и ту прибыль, которую вы получили в итоге.
Модель атрибуции — это логика распределения ценности по усилиям, которые обеспечили ее достижение. Например по рекламным каналам и кампаниям, которые помогли привлечь пользователей. В идеале используемая модель атрибуции должна быть достоверной (учитывать объективный вклад каждого усилия) и прозрачной (давать возможность понять и проверить результаты расчета).
Кому и зачем нужна атрибуция
Атрибуция нужна тем, кто управляет бюджетом на маркетинговые каналы и хочет эффективно его распределить, чтобы снизить расходы, увеличить доход и выполнить план продаж.
Читайте также: что такое атрибуция и как она помогает компаниям, разбор типичных ошибок и сложностей для маркетологов и аналитиков в работе с атрибуцией.
Стандартные модели атрибуции в Google Analytics
- По первому клику (First Interaction/First Click). Вся ценность, полученная от конверсии, атрибутируется на первый источник, который привел пользователя.
- По последнему клику (Last Interaction/Last Click). Вся ценность от конверсии достается последнему каналу, с которым соприкоснулся пользователь перед конверсией.
- По последнему непрямому клику (Last Non-Direct Click). Вся ценность конверсии присваивается последнему каналу в цепочке, но, если это прямой заход (direct трафик), то ценность атрибутируется на предыдущий источник.
- Линейная (Linear). Ценность от транзакции распределяется поровну между всеми источниками в цепочке.
- С учетом давности взаимодействия (Time Decay). Ценность от транзакции распределяется между каналами по нарастающей.
- На основе позиции (Position Based). БОльшую ценность — по 40% — получают два источника: тот, что познакомил пользователя с брендом и тот, что закрыл сделку. Оставшиеся 20% делятся поровну между всеми каналами в середине воронки.
Модели атрибуции в рекламных сервисах
В разных рекламных сервисах и аналитических системах доступны разные модели атрибуции.
| Last Non-Direct Click | Position Based | Probabilistic | Post-Click | Post-View | Cross-Device | Online-Offline | |
|---|---|---|---|---|---|---|---|
| Google Ads | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | |
| Google Display & Video 360 | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | |
| Google Search Ads 360 | ✔ | ✔ | ✔ | ✔ | ✔ | ||
| Яндекс. Директ | ✔ | ✔ | ✔ | ||||
| myTarget | ✔ | ✔ | ✔ | ✔ | |||
| Facebook Ads | ✔ | ✔ | ✔ | ✔ | |||
| Google Analytics | ✔ | ✔ | ✔ | ✔ | ✔ | ||
| Google Analytics 360 | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ |
| Яндекс. Метрика | ✔ | ✔ | ✔ | ✔ | ✔ |
Большинство сервисов используют Last Non-Direct Click, часть из них предоставляет Post-View или Cross-Device и т. д. Но между собой они остаются несравнимыми. Facebook меряет рекламу по-своему, в Google Ads другой подход, в Яндекс. Директ — третий. В результате невозможно получить общую картину в отношении всех рекламных инструментов.
Читайте также: основные принципы, плюсы и минусы большинства известных моделей атрибуции. Как выбрать модель, максимально подходящую вашему бизнесу.
Когда не подходят стандартные модели атрибуции
- Когда большинство заказов на вашем сайте совершается не за одну сессию, то есть в цепочке перед транзакцией было два и более визита.
- Если у вас большое количество разных рекламных источников.
- Вам нужно оценить взаимное влияние каждого из каналов на продвижение по воронке.
- Вы хотите понимать, как работают рекламные каналы в связке.
- У вас сложная и непоследовательная воронка продаж.
Чтобы оценить взаимное влияние всех источников, нужно объединять данные из разных рекламных сервисов, Google Analytics, CRM и использовать более сложные модели атрибуции: Data-Driven в Google Analytics 360, Цепи Маркова, Вектор Шепли или кастомные алгоритмы. Но у этих решений также есть свои ограничения. Например, минимальный объем данных, необходимый для расчета, невозможность учитывать post-view конверсии и подключить данные из CRM, скрытая логика расчетов, сложное и дорогое внедрение и т. д.
Обойти все эти ограничения вам поможет ML Funnel Based Attribution от OWOX BI.
Как работает ML Funnel Based Attribution
Модель атрибуции OWOX BI оценивает эффективность ваших рекламных кампаний, учитывая вклад каждого канала в продвижение клиента по конверсионной воронке. С ее помощью вы сможете решить, к примеру, такие задачи:
- Справедливо распределить рекламный бюджет с учетом реального вклада каналов на конверсию и их взаимного влияния.
- Снизить ДРР при увеличении дохода.
- Увеличить количество новых клиентов при сохранении бюджета.
- Увеличить количество целевых пользователей с медийных кампаний при сохранении бюджета.
Расчет модели в OWOX BI происходит на основе цепей Маркова и машинного обучения. Цепь Маркова — череда событий, в которой каждое последующее событие зависит от одного предыдущего. Атрибуция на основе цепей Маркова — это вероятностная модель, которая через расчет вероятностей переходов между шагами воронки позволяет оценить взаимное влияние шагов на конверсию и узнать, какой из них — самый значимый.
Для расчета вероятностей все шаги конверсионной воронки, указанные в настройках модели атрибуции OWOX BI, плюс шаг входа на сайт — представляются в качестве исходов в цепи Маркова. После этого происходит расчет вероятности перехода между этими исходами:
На графике выше — упрощенный пример для лучшего понимания и наглядности. В реальных случаях переходов может быть намного больше, вплоть до полного графа.
Подробнее о расчете модели атрибуции OWOX BI читайте в нашем справочном центре.
Если вы хотите увидеть вживую, как работает атрибуция OWOX BI, запишитесь на демо. Наши коллеги покажут вам реальные примеры применения атрибуции и расскажут, чем она может быть полезна именно вашему бизнесу.
Что нужно для работы с ML Funnel Based Attribution
- Собирать сырые данные о поведении пользователей с сайта в Google BigQuery. Для этого вы можете использовать стриминг от OWOX BI или BigQuery Export для Google Analytics 360.
- Импортировать в Google BigQuery расходы из рекламных сервисов. Для этого вы можете с помощью OWOX BI дополнить статистику по Google Ads кампаниям в Google Analytics расходами из других рекламных сервисов, а затем импортировать всю информацию в Google BigQuery. Также вы можете использовать прямой импорт сырых данных из Яндекс. Директ и Facebook в BigQuery.
- По желанию вы можете дополнить данные в Google BigQuery информацией из своей CRM/ERP, колл-центра и других внутренних учетных систем. Это позволит вам использовать в расчетах атрибуции офлайн-продажи и фактическую прибыль из CRM. Также вы сможете использовать в качестве шагов воронки кастомные события: звонки, письма, личные встречи и т. д.
- В своем проекте OWOX BI создать модель атрибуции и запустить расчеты. Как это сделать читайте в подробном гайде.
Преимущества атрибуции OWOX BI
Большинство наших клиентов используют OWOX BI для объективной оценки действующих рекламных кампаний и планирования будущих. Это нужно, чтобы выполнить план по выручке с плановым ROAS.
Вот ключевые причины, почему мы уверены, что OWOX BI справляется с этой задачей лучше всех.
1. Анализируйте полные данные, в том числе офлайн-продажи и прибыль из CRM
Наша модель атрибуции строится на полных данных: показы медийной рекламы и post-view конверсии, действия пользователей на сайте, расходы из рекламных сервисов, транзакции из СRM и любые другие онлайн и офлайн-события. В результате вы видите всю картину взаимодействия пользователя с вашим бизнесом и учитываете влияние всех усилий маркетинга на бизнес-показатели.
Дело в том, что доход в Google Analytics и прибыль от выкупленных товаров в CRM очень часто не совпадают. С OWOX BI вы сможете измерить вклад онлайн-маркетинга в реальные продажи, используя в расчетах доход из физических магазинов и исполняемость заказов из вашей внутренней системы.
2. Получите объективную оценку рекламных каналов
В отличие от стандартных моделей атрибуции, наша модель учитывает каждый шаг пользователя в цепочке перед заказом, а не только последний клик. Чем сложнее пройти шаг, тем больше ценности получает сессия, которая помогла это сделать. А зная ценность сессий, мы можем рассчитать ценность кампаний и каналов с учетом их вклада в продвижение пользователя по воронке.
3. Настройте воронку под свой бизнес
Мы уверены, что каждый бизнес индивидуален, и именно благодаря реализации своих уникальных преимуществ он может расти быстрее конкурентов. Поэтому в OWOX BI вы можете создать воронку, которая отвечает структуре именно вашего бизнеса.
Кроме действий пользователей на сайте, вы можете добавить в качестве шагов воронки любые кастомные события из CRM, коллтрекинга и других систем. Например, данные о звонках, личных встречах или отправленных письмах, загруженные в Google BigQuery. Так вы объедините в одной воронке все усилия бизнеса, направленные на конверсию пользователей, и более точно оцените их эффективность.
4. Узнайте, как работает каждый из каналов на разных этапах воронки
Просто получить комплексную оценку рекламных кампании недостаточно — оценку необходимо разделить на этапы знания, вовлечения и конверсии аудитории (модель AIDA). Когда в команде маркетинга больше одного человека, вы должны понимать, на каком из этапов маркетинг работает недостаточно эффективно и где нужно больше усилий.
Например, с OWOX BI вы можете увидеть, что кампании почти не формируют Awareness:
Как следствие, кампании, призванные работать на следующих этапах воронки, могут выглядеть неэффективными. Оценка ROAS существующих кампаний может показать как перераспределить бюджет между ними, но не вскроет нехватку усилий на верхнем этапе воронки. OWOX BI даст вам понимание того, на каком этапе воронки необходимо приложить усилия в первую очередь.
5. Оценивайте только управляемые каналы
Ни один алгоритм не заменит накопленный вами опыт. Например, вы наверняка знаете, что емкость брендовых кампаний исчерпана и их высокий ROAS не говорит о том, что в них необходимо больше инвестировать.
Поэтому в OWOX BI вы можете легко указать каналы, которые не будут участвовать в оценке:
В результате вы получите оценку именно тех кампаний, которыми объективно можете управлять. Важно, что вы можете сделать это в любой момент в удобном интерфейсе, не обращаясь к разработчикам или поддержке.
6. Оценивайте каналы привлечения для разных когорт пользователей
OWOX BI рассчитывает ценность каждой сессии. Благодаря этому вы сможете настроить модели атрибуции под разные когорты пользователей. Посчитать ROI/ROAS для новых и вернувшихся пользователей и сравнить рентабельность когорт.
К примеру, мобильные операторы могут оценивать вклад рекламных кампаний в продажи дополнительных услуг текущим клиентам (когорта «текущие клиенты»).
А компании из ниши fashion retail могут оценить отдельно First Time Buyers и Next Time Buyers и узнать, какие каналы лучше драйвят новых для бизнеса клиентов.
Также, зная стоимость сессии, вы сможете посчитать, сколько тратите и сколько зарабатываете на каждой из групп товаров. Оценить эффективность рекламы для разных регионов, посадочных страниц, мобильных версий и приложений.
Читайте также: как группировать расходы и доход по любым свойствам сессий с помощью OWOX BI.
7. Прозрачный алгоритм расчетов
Мы уверены, что важно не просто дать оценку кампаний, но и сделать ее прозрачной для бизнеса. Иначе любая оценка черным ящиком будет вызывать сомнения и не позволит найти ошибки в ее настройке.
Поэтому в OWOX BI вы можете увидеть для каждой транзакции, как ценность распределена по кампаниям, с которыми взаимодействовал пользователь:
Ошибки и неправильные выводы, полученные из-за попыток применения машинного обучения на недостаточном количестве данных могут очень дорого обойтись бизнесу. Поэтому наш алгоритм автоматически проверяет и контролирует статистическую значимость при расчетах. Кроме этого, ваши аналитики получают полный доступ к таблице, в которой приведены доверительные интервалы для каждого сегмента. Благодаря этому вы можете быть уверены в результатах и понимать, как они получены.
8. Машинное обучение в модели атрибуции OWOX BI
Эффективность онлайн-маркетинга все больше зависит не от используемых технологий, а от качества данных, на которых обучаются модели. Поэтому атрибуция «в собственном соку» проигрывает моделям, построенным с использованием рыночных данных.
Продукт OWOX BI имеет возможность использовать данные десятков тысяч проектов, чтобы модель машинного обучения учитывала эти знания в предсказательных функциях.
Кроме этого, к эффективной модели атрибуции можно предъявить следующие требования:
- Данные для расчетов надо качественно готовить — нельзя просто пропустить через машинное обучение данные, собранные javascript трекером. Поэтому BigQuery ML подходит для экспериментов, но не для промышленного применения.
- Нужно учитывать информацию о взаимодействии с верхней частью воронки — показы медийной рекламы. Для этого мы разработали OWOX BI Post-View Pixel, который позволяет на уровне пользователя измерить показы медийной рекламы. Также мы сделали интеграцию с Google Ads Data Hub, который позволяет в BigQuery запрашивать информацию из DCM и некоторых других источников, чтобы бизнес учитывал и прозрачно оценивал вклад медийной рекламы на верхних этапах воронки.
- Модель должна учитывать экспертное мнение:
- Какие из каналов управляемые.
- Какая емкость каналов.
- Какова роль канала в воронке.
- Какое конверсионное окно.
Модель атрибуции OWOX BI всем этим требованиям соответствует.
9. Нет ограничений на минимальный объем данных
Data-Driven атрибуция в Google Analytics 360 предъявляет высокие требования к объему данных: 400 конверсий каждого типа с длиной пути не менее двух взаимодействий. OWOX BI за счет динамической группировки событий по стадиям воронки работает с меньшими объемами данных и подходит гораздо большему числу компаний. При этом статистическая значимость расчетов автоматически контролируется на уровне когорт пользователей, поэтому вы можете быть уверены в результатах и убедиться в них в таблице с результатами расчетов.
10. Получайте готовые отчеты в OWOX BI Smart Data
В OWOX BI Smart Data вы можете строить отчеты на данных атрибуции без помощи аналитиков и знаний SQL. После расчета модели атрибуции в Smart Data автоматически появятся отчеты по доходу, количеству конверсий, ROI, ROAS или ДРР в разрезе добавленных вами событий. Также вы можете создавать собственные отчеты с помощью удобного конструктора — просто выберите параметры и показатели, которые хотите видеть в отчете. Сервис мгновенно выдаст в ответ понятный график и таблицу.
Вот несколько примеров готовых отчетов по данным атрибуции, которые вы можете получить в Smart Data:
Этот отчет позволяет сравнить результаты расчетов разных моделей атрибуции. В нашем случае это Last Non-Direct Click, которая используется в Google Analytics, и ML Funnel Based Attribution от OWOX BI. Вы можете увидеть атрибутированный доход и ROAS по каналам, кампаниям, типам пользователей, регионам, городам и устройствам. У кампаний, которые переоценены, разница отрицательная. У недооцененных — положительная. Например, на скриншоте выше мы видим, что канал yandex/display был недооценен и в него стоит вкладывать больше усилий.
Следующий отчет показывает, как распределилась ценность источников и каналов по шагам воронки. Из примера выше мы видим, что наибольшее количество покупок (светло-зеленая полоска) совершается офлайн.
Кроме событий вы можете добавлять в отчеты другие параметры, например, тип пользователей — новые или вернувшиеся:
Отчет выше показывает, как распределены расходы, шаги воронки и выкупленные заказы по когортам клиентов. С его помощью вы сможете определить, какие каналы и кампании привлекают транзакции от новых клиентов, и запланировать распределение бюджета на них. Эти кампании помогут вам увеличить клиентскую базу.
11. Используйте данные атрибуции для управления рекламными ставками и аудиториями
С OWOX BI вы можете создавать автоматически обновляемые сегменты аудитории на основе любых ваших данных и загружать их в Яндекс. Аудитории и Google Ads. Кроме того, вы можете автоматически отправлять результаты расчетов атрибуции в биддинговые сервисы K50 и Alytics, а также в Google Ads и Facebook, чтобы управлять ставками с учетом реальной эффективности вашей рекламы.
12. Зрелый продукт — гарантированный результат
Выступив пионерами в развитии атрибуции на основе воронки, мы собрали уникальный опыт, доступный нашим клиентам в десятках статей и документации. Кроме того, мы готовы гарантировать в договоре соблюдение уровня качества сбора и обработки данных (SLA) выше 96%.
С OWOX вы получите не просто красивую идею об использовании машинного обучения в маркетинге, но и пошаговые руководства, практические рекомендации и примеры успешных кейсов.
Кейсы по атрибуции:
Узнайте, как атрибуция OWOX BI поможет вашему бизнесу. Запишитесь на демонстрацию продукта, чтобы оценить возможности наших продуктов.
Записаться на демо
Google представила ML Kit для внедрения нейросетей в мобильные приложения — новости на Tproger
8 мая 2018 года, в первый день конференции Google I/O 2018, компания рассказала о новом наборе инструментов (SDK) для внедрения функций машинного обучения и нейронных сетей в мобильные приложения — ML Kit. Важной особенностью является то, что нейросети могут работать как онлайн, базируясь в облаке, так и офлайн, используя мощности устройства. SDK бесплатно доступен разработчикам на Android и iOS. Вместе с анонсом компания выложила видео, представляющее новый инструмент:
Ключевые возможности ML Kit
На момент написания материала в набор входят следующие функции:
- распознавание текста;
- сканирование лица;
- чтение штрихкодов;
- маркировка объектов на снимке;
- распознавание достопримечательностей.
В течение нескольких месяцев Google планирует расширить возможности ML Kit функцией умных ответов наподобие присутствующих в Inbox и Gmail, а также высокоточным распознаванием контура лица.
По словам создателей SDK, приложения, использующие ML Kit на устройстве, работают со стандартным Neural Networks API. В режиме офлайн они будут довольствоваться упрощенной моделью нейросети. Для работы с мощностями облачных вычислений необходимо подключение к Сети.
Новый SDK базируется на платформе для мобильных приложений Firebase и предлагает интеграцию в проекты сторонних разработчиков. Бета-версия уже доступна всем желающим в консоли Firebase.
Интеграция с TensorFlow
ML Kit также поддерживает библиотеку TensorFlow Lite для желающих выйти за рамки заранее обученных нейросетей. Разработчики могут загружать собственные модели нейросетей в консоль, а поддержкой и интеграцией модели будет заниматься Firebase.
Кроме того, Google сообщила, что разрабатывает технологию, сжимающую TensorFlow-модель вместе с обучающими данными, для уменьшения размера APK. Разработка находится на ранней стадии, но желающие могут зарегистрироваться для предварительного доступа.
Напомним, что в апреле 2018 года Microsoft также объявила о том, что приложение мобильного переводчика, использующее технологии машинного обучения, получило возможность работы без подключения к Сети.
Источник: TechCrunch
особенности, возможности, плюсы и минусы
Дата публикации Aug 21, 2019
Многие разработчики ожидают новшеств от Google на своей конференции ввода-вывода. И это не удивительно — у Google всегда есть что-то захватывающее и необычное в рукаве. 2019 год не стал исключением из этого правила. Android Q, обновленный Smart Assistant, новые смартфоны Pixel 3a и Pixel 3a XL — список обновлений далеко не полный.
И сегодня мы сосредоточимся на решениях машинного обучения для таких разработчиков, как ML Kit для Firebase. Этот комплект был представлен публике в прошлом году на Google I / O 2018. И в этом году он получил некоторые обновления. Давайте рассмотрим этот SDK, чтобы найти все плюсы и минусы и ключевые возможности.
Мы надеемся, что это полное руководство будет полезным и познавательным для вас.
ML Kit SDK — это довольно новый продукт от Google, представленный в 2018 году. ML Kit — это комплект для разработки программного обеспечения, который позволяет разработчикам упростить интеграцию моделей машинного обучения в свои мобильные приложения. Более того, даже младший разработчик может справиться с этой задачей.
ML Kit по-прежнему доступен только в бета-версии. Его можно запустить с помощью Firebase. На данный момент доступно 11 функций с API. Кстати, в презентации Google I / O в 2018 году было доступно всего 5 функций, и сегодня это число удвоилось. Особенности следующие:
- Распознавание текста;
- Распознавание лиц;
- Сканирование штрих-кода;
- Маркировка изображений;
- Обнаружение и отслеживание объектов;
- Признание вехой;
- Идентификация языка;
- Перевод;
- Умный ответ;
- Вывод модели AutoML;
- Индивидуальный вывод модели.
Мы рассмотрим каждую функцию и ее API чуть позже, а теперь выделим особенности и сильные стороны ML Kit.
Понятный и простой в использовании
Не секрет, что интеграция алгоритмов на основе искусственного интеллекта в мобильные приложения — непростая задача, требующая хороших навыков и большого количества времени. Для начала разработчики должны изучить некоторые подходящие библиотеки машинного обучения, такие как TensorFlow, Torch, PyBrain, Azure и так далее. Затем нейронная сеть должна быть обучена для реализации всех необходимых задач. Но это не конец! Более того, это только начало. Следующим шагом является создание модели машинного обучения, которая будет не очень тяжелой, поскольку она должна бесперебойно работать на мобильных устройствах. И только когда модель построена, разработчики могут немного расслабиться. Как видите, эта задача довольно сложна даже для опытных разработчиков.
Но новый ML Kit SDK позволяет разработчикам сделать все быстрее и проще. Разработчики должны передать данные в требуемый API и дождаться ответа от SDK. Представители Google уверяют, что разработчикам не нужно быть высококвалифицированными в нейронных сетях для реализации своих API. Все, что нужно разработчикам, — это добавить несколько строк кода, и новое приложение получит классные функции на основе ИИ.
Пользовательские модели
Это подходящий вариант для опытных разработчиков. Если существующие API-интерфейсы ML Kit не предоставляют разработчикам необходимые им функции, они могут создавать свои собственные модели ML. На веб-сайте Firebase есть объяснение того, как разработчики могут сделать это и извлечь выгоду из своих моделей.
ML Kit работает с TensorFlow, и это библиотека машинного обучения для операционных систем iOS и Android. Эта библиотека позволяет разработчикам загружать свою модель в консоль Firebase и связывать ее со своим продуктом. Если встроенная модель слишком тяжелая, разработчики могут оставить ее в облаке, а затем организовать динамическую загрузку в приложение. Это позволяет уменьшить размер приложения, и пользователи будут загружать его быстрее. Помимо этого, обновления моделей также динамичны, и это важная вещь. Это означает, что модель будет обновлена, а все приложение не будет обновлено.
Встроенные и облачные API
Разработчики могут выбирать API-интерфейсы на устройстве или в облаке, в зависимости от их потребностей. Если вы не знаете, какой вариант лучше, вы должны рассмотреть все различия, чтобы сделать правильный выбор. Облачные API обрабатывают данные в Google Cloud Platform, поэтому распознавание объектов выполняется более точно.
Однако облачные модели больше, чем модели на устройстве. Для моделей на устройствах требуется меньше места, они могут работать в автономном режиме, а обработка данных быстрее, но эти модели не настолько точны.
Более того, есть некоторые особенности как в автономном, так и в облачном режиме. Например, распознавание текста и ориентира, маркировка изображения — эти функции работают в облаке. API на устройстве предлагают гораздо больше функций, таких как распознавание текста, распознавание лиц, сканирование штрих-кода, маркировка изображений, обнаружение и отслеживание объектов, идентификация языка, перевод, интеллектуальный ответ, вывод модели AutoML, вывод пользовательской модели.
Цена также варьируется. Локальные API бесплатно. Firebase ML Kit использует API Cloud Vision, поэтому облачные API и API Cloud Vision предоставляются по одной цене. Чем чаще вы используете API, тем больше вам придется платить, все просто Например, до 1000 использований в месяц, это бесплатно. Тогда каждая новая 1000 использований будет стоить $ 1,50.
Также еще одной важной вещью является конфиденциальность. Согласно заявлению Google, данные пользователя не хранятся в облачных API-интерфейсах и удаляются после завершения обработки.
Мультиплатформная
Еще одна хорошая новость — ML Kit SDK является мультиплатформенным, то есть API можно использовать для приложений iOS и Android. Таким образом, новый ML Kit может конкурировать с CoreML от Apple и даже побить его за один день. Однако сегодня CoreML имеет больше преимуществ, чем ML Kit. Например, CoreML использует TensorFlow, а также принимает ONYX, инструменты Python, Apache MXNet.
Приложения Android, которые получили функции ML с ML Kit, могут работать даже на Android 4.0, поэтому одной из особенностей ML является его способность работать на старых версиях Android. Новые версии, такие как Android Oreo и Pie, получили лучшую производительность. В облачных моделях также используется стандартный нейросетевой API для Android.
Как другие сервисы Firebase взаимодействуют с ML Kit
ML Kit SDK может безупречно работать с другими сервисами Firebase. Маркировка изображений может храниться в Cloud Firestore. Или Google Analytics может быть использован для измерения вовлеченности пользователей. Кроме того, A / B-тестирование пользовательских моделей ML можно легко выполнить с помощью Remote Config и ML Kit.
Четкие и практические примеры
Сервис Firebase включает в себя подробные руководства для разработчиков с объяснением того, как реализовать основные варианты использования в разрабатываемых ими приложениях. Существуют руководства для программистов на Android и iOS, так что разработчики могут использовать существующие API для улучшения своих приложений новыми функциями в течение пары часов.
Как мы и обещали в самом начале, мы подробно обсудим каждую функцию и предоставим вам информацию о каждой функции.
Распознавание текста
Эта функция доступна как в облаке, так и на устройстве. API распознавания текста позволяет распознавать любой латинский язык в текстовой форме. Эта функция может быть использована для автоматизации ввода раздражающих данных для кредитных карт, квитанций и визитных карточек. Облачный API позволяет разработчикам извлекать текст из изображений документов. Этот текст может быть использован для перевода документов или повышения доступности. Кроме того, приложения с функцией распознавания текста могут считывать числа на реальных объектах. Например, покупателям необходимо извлечь данные из картинки в магазине.
Маркировка изображения
Этот ML Kit API позволяет распознавать объекты на изображениях. Нет необходимости предоставлять дополнительные метаданные, а распознавание осуществляется отдельно. Эта функция доступна также в автономном режиме и в облаке. С помощью функции маркировки изображений в мобильном приложении пользователи смогут узнать все, что изображено на картинке. Пользователи получили список всех объектов, распознаваемых на этом изображении: люди, животные, здания и так далее. Каждая метка поставляется с баллом, который указывает уровень достоверности модели ML при распознавании того или иного объекта. Используя эту функцию, пользователи могут выполнять автоматическую генерацию метаданных и модерацию контента.
Признание вехой
Этот API доступен только в облаке. Позволяет узнавать известные ориентиры на любом изображении. Чтобы проверить это, разработчики могут поместить изображение в этот API, и тогда будут показаны все распознанные ориентиры. Помимо этого, также указаны географические координаты ориентира. Таким образом, можно увидеть, где была сделана эта фотография. Эта информация может использоваться для генерации метаданных, предоставляя пользователям персонализированный опыт.
Обнаружение лица
API обнаружения лиц используется для обнаружения лиц на изображениях, ключевых черт лица и построения контуров обнаруженных лиц. Эта функция используется только в автономном режиме. Используя этот API, пользователи могут извлекать лица из изображений и редактировать их, используя различные фильтры. Кроме того, можно создавать аватары из фотографий пользователей. Поскольку ML Kit предоставляет пользователям возможность применять функцию распознавания лиц в режиме реального времени, разработчики могут интегрировать ее в видеочаты или игры. Так что если вам нужноразработать приложение для распознавания лицВы можете этот API от ML Kit.
Сканирование штрих-кода
API сканирования штрих-кода позволяет пользователям считывать данные со штрих-кодов, используя большинство стандартных форматов штрих-кодов. Сканирование выполняется на устройстве, и подключение к Интернету не требуется. С помощью штрих-кодов пользователи могут узнать, что скрыто в закодированных данных. Например, это может быть контактная информация или любые платежные данные. Эта функция очень удобна для обнаружения закодированных данных.
Обнаружение и отслеживание объектов
Этот удивительный API, который работает на устройстве, поможет пользователям локализовать и отслеживать объекты на изображении или в режиме прямой трансляции с камеры. Обнаруженный объект может быть классифицирован в выбранную общую категорию. Если пользователям необходимо создать визуальный поиск в реальном времени, может быть полезна функция обнаружения и отслеживания объектов. Когда все объекты обнаружены, пользователи могут отправлять их в облачный сервер или в пользовательскую модель, если разработчики создают эту модель.
Языковая идентификация
С этой функцией все понятно. API идентификации языка позволяет идентифицировать язык из одной текстовой строки. Эта функция может быть особенно полезна для переводчиков или историков, которым необходимо выяснить, на каком языке написано изображение или документ.
Перевод
Этот API так же прост, как и предыдущий. Он используется для перевода текста до 59 языков, и пользователи могут переключаться между языками. То есть можно выбирать различные комбинации переводов, используя доступные 59 языков. В API перевода используются те же модели, что и в автономном приложении Google Translate.
Умный ответ
Smart Reply API генерирует ответные предложения на основе всего разговора. И эта функция может составить полное предложение, а не только короткие ответы, такие как «да» или «нет». Таким образом, пользователи отвечают на сообщения быстро, так как все ответы генерируются автоматически. Но на данный момент поддерживается только английский язык, и эту функцию можно использовать только в обычных разговорах, а не для конкретных обсуждений.
AutoML Vision Edge
Функция вывода моделей AutoML позволяет разработчикам обучать своим моделям маркировки изображений. Модель API маркировки изображений на устройстве обучена идентифицировать до 400 различных категорий. Но может быть необходимо сузить число объектов, чтобы распознать более конкретные. Например, пользователи должны будут отличать породу одной собаки от другой. И здесь инструмент AutoML Vision Edge используется для обучения нужной модели с их изображениями, загруженными разработчиками.
Индивидуальный вывод модели
Эта функция предназначена для опытных разработчиков, которые не нашли подходящую готовую модель, и они могут построить свою собственную модель с помощью ML Kit. Для этого разработчики могут использовать модель TensorFlow Lite с ML Kit.
Важная заметка!ML Kit для Firebase все еще находится в режиме бета-версии. И каждый API может быть изменен несовместимыми способами, и API не подлежит политике устаревания или SLA.
К сожалению, в ML Kit также есть некоторые подводные камни, и мы должны их учитывать.
Большой размер
Это отличный вариант использования пользовательских моделей, поскольку они могут помочь разработчикам интегрировать необходимые им функции. Однако дополнительные пользовательские модели могут стать очень тяжелыми для приложения и сделать приложение слишком большим. Таким образом, размер файла будет намного больше, чем размер типичного приложения. И это не будет хорошо ни для разработчиков, ни для пользователей.
Бета-версия
Хотя ML Kit был представлен более часа назад, он все еще находится в режиме бета-версии, как мы уже отмечали выше. И это может оказать негативное влияние на облачные API. Если разработчикам необходимо добавить облачные API-интерфейсы, им нужно напрямую использовать Cloud Vision API. Кроме того, любая бета-версия имеет некоторые недостатки и ошибки, и это нормально для бета-версии. Новостей относительно даты выхода финальной версии пока нет.
Несколько компаний уже успешно использовали ML Kit, чтобы предоставить пользователям новый незабываемый опыт. Мы перечислим два примера здесь.
Потерять его!
То есть фитнес-приложение для тех, кто хочет похудеть. Приложение позволяет отслеживать количество сожженных калорий. FitNow, владелец приложения, был одной из первых компаний, которые использовали ML Kit для предоставления пользователям коммерческого приложения. Таким образом, приложение использует API распознавания текста, и пользователи могут вводить информацию о продуктах, которые они съели, не вводя ее вручную. То есть пользователи направляют камеру на этикетку продукта и теряют I! Приложение сканирует и читает все. Помимо доступного API, компания также создала собственную модель.
TurboTax
Это приложение создано, чтобы сделать процесс налоговых платежей более управляемым. Есть интегрированный API сканирования штрих-кода. Например, водители могут сканировать свои водительские права, а приложение будет считывать все личные данные из этой лицензии. Таким образом, пользователи будут совершать меньше ошибок, а уровень точности будет повышен.
Оборачивая приложение, мы хотели бы добавить, что ML Kit — это надежный инструмент для создания приложений, усиленных функциями машинного обучения. Кроме того, вы можете добавить свои собственные модели. Более того, Google, вероятно, подготовит некоторые новые возможности в будущем, которые будут нас поражать. И, возможно, ML Kit наконец выйдет официально.
Оригинальная статья
ML Kit — внедрение машинного обучения в мобильные приложения
Здравствуйте, уважаемые читатели сайта Uspei.com. В сегодняшнем быстрорастущем мире люди ожидают, что мобильные приложения будут умными. Для этого необходима адаптация к активности пользователей, чтобы устройства постоянно восхищали пользователей своими удивительными возможностями.
Поэтому Google считает, что машинное обучение станет важным инструментом в мобильной разработке.
Именно поэтому во вторник 08.05.2018 в Google I / O представили ML Kit в бета-версии: новый SDK, который ориентирован на внедрение машинного обучения Google для мобильных разработчиков на основе мощного, но простого в использовании пакета на Firebase.
К оглавлению ↑
Машинное обучение для всех уровней навыков
Начало работы с машинным обучением может быть трудным для многих разработчиков. Как правило, новые разработчики ML проводят бесчисленные часы, изучая тонкости внедрения моделей низкого уровня, используя фреймворки и многое другое.
реклама
Даже для опытного специалиста, адаптация и оптимизация моделей для работы на мобильных устройствах может быть огромной задачей. Помимо сложностей, связанных с машинным обучением, само обучение может быть дорогостоящим и трудоемким процессом, особенно при рассмотрении глобальной аудитории.
С помощью ML Kit вы можете использовать машинное обучение для создания незаменимых функций на Android и iOS, независимо от вашего опыта в машинном обучении.
К оглавлению ↑
Область применения
Если вы новичок, который просто хочет получить начальную информацию, ML Kit дает вам пять готовых к использованию («базовых») API, которые обеспечат следующую область применения:
- Распознавание текста
- Распознавание лиц
- Сканирование штрих-кодов
- Маркировка изображений
- Распознавание ориентиров
С помощью этих базовых API вы просто передаете данные в ML Kit и получаете релевантный ответ. Например: Lose It! , один из ранних пользователей, использовал ML Kit для создания нескольких функций в последней версии своего приложения для отслеживания калорий.
Используя API, основанного на распознавании текста, приложение может быстро захватывать информацию о питании с ярлыков продуктов, чтобы вводить содержимое пищи из изображения.
реклама
ML Kit предоставляет вам как встроенные, так и облачные API, все в общем и простом интерфейсе, позволяя вам выбирать те, которые лучше всего соответствуют вашим требованиям.
API-интерфейсы on-device быстро обрабатывают данные и будут работать, даже если нет сетевого подключения, в то время как облачные API-интерфейсы используют возможности технологии машинного обучения Google Cloud Platform, чтобы обеспечить более высокий уровень точности.
Посмотрите эти API в действии на консоли Firebase :
реклама
Heads up : Планируется выпустить еще два API в ближайшие месяцы. Во-первых, это API-интерфейс интеллектуального ответа, который позволяет поддерживать ответы на контекстные сообщения в вашем приложении, а второй — контур лица с высокой плотностью, дополняющий API обнаружения лиц. Зарегистрируйтесь здесь, чтобы попробовать первым!
К оглавлению ↑
Развертывание пользовательских моделей
Если вы уже освоились в процессе машинного обучения, и не нашли базовый API, который охватывает ваш случай, ML Kit позволяет вам развернуть свои собственные модели TensorFlow Lite.
Вы просто загружаете их через консоль Firebase, и разработчики позаботятся о размещении и обслуживании вашего приложения. Таким образом, вы можете сохранить свои модели из своих APK / пакетов, что снижает размер установленной вами установки приложения.
Кроме того, поскольку ML Kit будет динамически поддерживает вашу модель, вы всегда можете обновить свою модель без повторного опубликования своих приложений.
Но это еще не все. По мере того, как приложения развиваются, чтобы предоставивлять больше возможностей, их размер увеличивается, что влияет на скорость установки из магазина приложений и потенциально увеличивается количество пользователей в результате переполнения данных.
реклама
Машинное обучение может еще более усугубить эту тенденцию, так как модели могут достигать 10 мегабайт. Поэтому разработчики решили инвестировать в сжатие модели.
В частности, идут эксперименты с функцией, которая позволяет загружать полную модель TensorFlow вместе с данными обучения и получать взамен сжатую модель TensorFlow Lite. Эта технология стремительно развивается, и поэтому разработчики ищут несколько партнеров, чтобы попробовать и получить от них обратную связь. Если вы заинтересованы, зарегистрируйтесь здесь.
К оглавлению ↑
Лучше использовать вместе с другими продуктами Firebase
Поскольку ML Kit доступен через Firebase, вам легко воспользоваться преимуществами более широкой платформы Firebase. Например, тестирование Remote Config и A / B позволяет экспериментировать с несколькими пользовательскими моделями.
Вы можете динамически переключаться между значениями в своем приложении, что делает его очень удобным для замены пользовательских моделей, которые вы хотите передавать пользователям на лету. Вы даже можете создавать сегменты и параллельно экспериментировать с несколькими моделями.
Другие примеры включают:
реклама
К оглавлению ↑
Начните уже сейчас!
Разработчики надеются, что вам понравится этот продукт, также как и многим другим клиентам:
Начните работу с бета-версии ML Kit, посетив консоль Firebase сегодня. Если у вас есть какие-либо мысли или отзывы, не стесняйтесь, дайте знать — разработчики всегда на связи!
| Легко развиваться высококачественные пользовательские модели машинного обучения без написание программ обучения. На платформе Google современное трансферное обучение и технология гиперпараметрического поиска. | |
| Создание образа виртуальной машины содержащий самые популярные фреймворки ИИ на Экземпляр Compute Engine, не беспокоясь о программная совместимость. | |
| Создавайте, управляйте и подключаться к виртуальным машинам с помощью JupyterLab, стандартного верстак для специалистов по данным. ВМ приходят предварительно установлен с фреймворками глубокого обучения и библиотеки. | |
| Масштабируемость, низкая задержка и экономичное схожесть векторов служба сопоставления. | |
| Получите высокую точность этикетки от людей-этикетировщиков для лучшей машины обучающие модели. | |
| Быстро построить и развертывать модели в портативном и последовательном среда для всех ваших приложений AI. | |
| Беспрепятственное развертывание и отслеживать логические выводы и автоматические процессы с помощью гибкие API. | |
| Понять и построить доверяйте прогнозам вашей модели с надежными, действенные объяснения интегрированы в Vertex Прогнозирование, таблицы AutoML и записные книжки. | |
| Полностью управляемый богатый репозиторий функций для обслуживания, совместного использования и повторного использования Возможности машинного обучения. | |
| Артефакт, происхождение и отслеживание выполнения рабочих процессов машинного обучения с простой в использовании Python SDK. | |
| Автоматические оповещения для дрейф данных, дрейф концепций или другая модель инциденты производительности, которые могут потребовать надзор. | |
| Построить новую модель архитектуры, ориентированные на специфические потребности приложений и оптимизировать существующие модели архитектуры для задержка, память и мощность с этим автоматизированным сервис на базе ведущего ИИ Google исследовать. | |
| Создавайте конвейеры, используя TensorFlow Extended и конвейеры Kubeflow, а также использовать управляемые сервисы Google Cloud для выполнения масштабируемость и оплата за использование. Оптимизируйте свои MLOps с помощью подробное отслеживание метаданных, непрерывное моделирование и инициировано переобучение модели. | |
| Развернуть модели в упрощение производства благодаря онлайн-серверу через HTTP или пакетный прогноз для массового скоринга. Вершина Прогнозирование предлагает единую структуру для развертывания пользовательские модели, обученные в TensorFlow, scikit или XGB, а также модели BQML и AutoML, и в целом ряд типов машин и графических процессоров. | |
| Эта визуализация и инструмент отслеживания для экспериментов с машинным обучением включает модель графики, отображающие изображения, текст и аудио данные. | |
| Вертексная тренировка предоставляет набор готовых алгоритмов и позволяет пользователи могут использовать свой собственный код для обучения моделей.А полностью управляемая услуга обучения для пользователей, нуждающихся в большая гибкость и возможность настройки или для пользователей проведение обучения локально или в другом облаке среда. | |
| Оптимизировано гиперпараметры для максимального прогнозирования точность. |
Создание службы машинного обучения с AI Hub | Google Cloud
Бета
На этот продукт распространяются Условия предложений до GA.
Условий использования Google Cloud Platform. Продукты Pre-GA могут иметь ограниченную поддержку,
а изменения продуктов до GA могут быть несовместимы с другими версиями до GA.Для получения дополнительной информации см.
описания этапов запуска.
Вы можете повторно использовать ресурсы AI Hub для реализации своей машины.
сервис обучения (ML). Вот обзор некоторых способов, которыми вы можете
повторно использовать ресурсы AI Hub в качестве компонентов службы машинного обучения:
Трубопроводы и компоненты Kubeflow: Kubeflow
конвейеры — это рабочие процессы непрерывного машинного обучения (ML), основанные на контейнерах.
Конвейеры построены из компонентов, которые представляют собой автономные наборы кода,
упакованы как образы контейнеров.Каждый компонент выполняет шаг в ML.
рабочий процесс, такой как предварительная обработка, преобразование данных или обучение модели.Вы можете повторно использовать конвейеры в AI Hub для обучения модели или
вы можете повторно использовать компоненты конвейера для создания собственного рабочего процесса машинного обучения.Модули TensorFlow: Модуль TensorFlow — это
многоразовая часть графа TensorFlow. С участием
передача обучения, вы можете использовать TensorFlow
модули для предварительной обработки входных векторов признаков, или вы можете включить
Модуль TensorFlow в вашу модель в качестве обучаемого слоя.Этот
может помочь вам быстрее обучить вашу модель, используя меньший набор данных, в то время как
улучшение обобщения. Узнайте, как использовать TensorFlow
модуль от AI Hub.Обученные модели: Обученные модели представляют собой представление о том, что такое система машинного обучения.
извлекла уроки из своих обучающих данных. Модели на AI Hub могут быть
повторно используются для предварительной обработки входных векторов признаков, или они могут быть развернуты как ML
Сервисы. Вы можете скачать модель с AI Hub, чтобы поэкспериментировать
с ним локально или вы можете развернуть модель на платформе AI для прогнозов.Чтобы узнать больше об использовании обученной модели, прочтите руководство по использованию обученной модели.
модель.Сервисы: В набор сервисов AI Hub входят
API, строительные блоки, службы машинного обучения и инфраструктура для обучения и
прогноз. Вы можете использовать службы машинного обучения и API на AI Hub
для реализации вашего решения, или вы можете использовать сервисы для решения ключевых
проблемы, такие как маркировка данных. Для получения дополнительной информации см. Руководство по
поиск сервисов и API в AI Hub.Образы виртуальных машин: Вы можете использовать образы виртуальных машин (ВМ) на
AI Hub для быстрого внедрения инфраструктуры для обучения
Модель ML.Чтобы узнать больше об образах виртуальных машин в AI Hub, прочтите
руководство по поиску и использованию образа виртуальной машины.
Что дальше
Цены | Платформа AI | Google Cloud
Платформа
AI предлагает масштабируемые и гибкие варианты ценообразования в соответствии с вашим проектом
и бюджет.
AI Platform взимает плату за обучение ваших моделей и
получение прогнозов. Плата за использование AI Platform Vizier, ноутбуков AI Platform не взимается,
Контейнеры глубокого обучения платформы AI, образ виртуальной машины глубокого обучения платформы AI или
Конвейеры платформы AI.Однако вы платите за любое облако Google.
ресурсы, которые вы используете с этими продуктами.
Рассчитаны цены на услугу маркировки данных платформы AI.
в зависимости от типа задачи по маркировке, количества специалистов по маркировке и
количество сгенерированных блоков аннотаций.
Примечание. Цены на платформу AI изменятся 18 августа 2021 г. Подробнее о
новое ценообразование.
Обучение
В приведенных ниже таблицах указана цена за час различных тренингов.
конфигураций, а также количество тренировочных
блоки , используемые каждой конфигурацией.Обучение
единицы измеряют использование ресурсов вашей работой; цена за час машины
конфигурация — это количество используемых учебных единиц, умноженное на
стоимость обучения в регионе.
Вы можете выбрать предопределенный уровень шкалы или настраиваемую конфигурацию выбранных
типы машин. Если вы выберете индивидуальный
конфигурации, просуммируйте стоимость используемых виртуальных машин.
Устаревшие типы машин с поддержкой ускорителей включают стоимость ускорителей в
их цены. Если вы используете типы компьютеров Compute Engine и подключаете
ускорители, стоимость ускорителей отдельно.Чтобы рассчитать эту стоимость,
умножьте цены в таблице ускорителей ниже на количество каждого типа
используемого ускорителя.
В следующих таблицах приведены цены в каждом регионе, где
доступно индивидуальное обучение. Дополнительные сведения и пример биллинга
расчеты см. на странице цен на обучение платформе AI.
Америка
Стоимость учебной работы в целом
доступные регионы Северной и Южной Америки
0,49 долл. США в час за учебную единицу.
| Предопределенные уровни шкалы — цена за час (обучение ед.) | |
|---|---|
ОСНОВНОЙ | $ 0.1900 г. (0,3878) |
СТАНДАРТ_1 | 1,9880 долл. США (4,0571) |
PREMIUM_1 | $ 16,5536 (33,7829) |
BASIC_GPU | $ 0.8300 (1.6939) |
BASIC_TPU | 4,6900 долл. США (9,5714) |
НА ЗАКАЗ | Если вы выберете ПОЛЬЗОВАТЕЛЬСКИЙ в качестве уровня шкалы, вы получите контроль по количеству и типу виртуальных машин, используемых для учебная работа. См. Таблицу типов машин. |
| Типы машин — цена за час (учебные единицы) | |
|---|---|
н1-стандарт-4 | 0,1900 долл. США (0,3878) |
н1-стандарт-8 | 0,3800 долл. США (0,7755) |
н1-стандарт-16 | $ 0.7600 (1,5510) |
н1-стандарт-32 | 1,5200 долл. США (3,1020) |
н1-стандарт-64 | 3,0400 долл. США (6.2041) |
н1-стандарт-96 | 4 доллара.5600 (9.3061) |
н1-highmem-2 | 0,1184 долл. США (0,2416) |
н1-highmem-4 | 0,2368 $ (0,4833) |
н1-highmem-8 | $ 0.4736 (0,9665) |
н1-highmem-16 | 0,9472 $ (1,9331) |
н1-highmem-32 | 1,8944 $ (3,8661) |
н1-highmem-64 | 3 доллара.7888 (7,7322) |
н1-highmem-96 | $ 5,6832 (11,5984) |
n1-highcpu-16 | 0,5672 долл. США (1,1576) |
n1-highcpu-32 | 1 доллар.1344 (2.3151) |
n1-highcpu-64 | 2,2688 $ (4,6302) |
n1-highcpu-96 | 3,4020 долл. США (6,9429) |
cloud_tpu 6 | 4 доллара.5000 (9.1840) или н / д, если ускорители прикреплены явно 6 |
стандартный | 0,1900 долл. США (0,3878) |
large_model | 0,4736 $ (0,9665) |
комплексная_модель | $ 0.2836 (0,5788) |
комплексная_модель_м | 0,5672 долл. США (1,1576) |
complex_model_l | 1,1344 долл. США (2.3151) |
standard_gpu | $ 0.8300 (1.6939) |
комплексная_модель_m_gpu | 2,5 600 долл. США (5,2245) |
комплексная_модель_l_gpu | 3,3200 долл. США (6,7755) |
standard_p100 | 1 доллар.8400 (3,7551) |
комплексная_модель_м_п100 | 6,6 000 долл. США (13,4694) |
standard_v100 | 2,8600 $ (5,8367) |
large_model_v100 | 2 доллара.9536 (6,0278) |
комплексная_модель_м_в100 | 10 6800 долларов США (21,7959) |
комплексная_модель_l_v100 | 21 3600 долларов США (43,5918) |
| Ускорители — цена за час (учебные единицы) | |
|---|---|
NVIDIA_TESLA_K80 | $ 0.4500 (0,9184) |
NVIDIA_TESLA_P4 | 0,6000 долл. США (1,2245) |
NVIDIA_TESLA_P100 | 1,4600 долл. США (2,9796) |
NVIDIA_TESLA_T4 | $ 0.3500 (0,7143) |
NVIDIA_TESLA_V100 | 2,4800 долл. США (5.0612) |
Восемь TPU_V2 ядер 6 | 4,5 000 долл. США (9,1840) |
Восемь TPU_V3 ядер 6 (бета) | 8 долларов.0000 (16,3264) |
Европа
Стоимость учебной работы в целом
доступные регионы Европы
0,54 доллара США в час за учебную единицу.
| Предопределенные уровни шкалы — цена за час (обучение ед.) | |
|---|---|
ОСНОВНОЙ | 0,2200 долл. США (0.4074) |
СТАНДАРТ_1 | $ 2,3020 (4,2630) |
PREMIUM_1 | 19,1640 долл. США (35,4889) |
BASIC_GPU | $ 0.9300 (1,7222) |
BASIC_TPU | 5,4400 долл. США (10.0741) |
НА ЗАКАЗ | Если вы выберете ПОЛЬЗОВАТЕЛЬСКИЙ в качестве уровня шкалы, вы получите контроль по количеству и типу виртуальных машин, используемых для учебная работа. См. Таблицу типов машин. |
| Типы машин — цена за час (учебные единицы) | |
|---|---|
н1-стандарт-4 | 0,2200 долл. США (0,4074) |
н1-стандарт-8 | 0,4400 долл. США (0,8148) |
н1-стандарт-16 | $ 0.8800 (1,6296) |
н1-стандарт-32 | 1,7600 долл. США (3,2593) |
н1-стандарт-64 | 3,5 200 долл. США (6,5185) |
н1-стандарт-96 | 5 долларов.2800 (9,7778) |
н1-highmem-2 | 0,1370 долл. США (0,2537) |
н1-highmem-4 | 0,2740 долл. США (0,5074) |
н1-highmem-8 | $ 0.5480 (1.0148) |
н1-highmem-16 | 1,0960 долл. США (2,0296) |
н1-highmem-32 | 2,1920 долл. США (4.0593) |
н1-highmem-64 | 4 доллара.3840 (8.1185) |
н1-highmem-96 | 6,5760 долл. США (12,1778) |
n1-highcpu-16 | 0,6568 $ (1,2163) |
n1-highcpu-32 | 1 доллар.3136 (2,4326) |
n1-highcpu-64 | 2,6272 $ (4,8652) |
n1-highcpu-96 | 3,9408 долл. США (7,2978) |
cloud_tpu 6 | 5 долларов.2200 (9,6667) или н / д, если ускорители прикреплены явно 6 |
стандартный | 0,2200 долл. США (0,4074) |
large_model | 0,5480 долл. США (1.0148) |
комплексная_модель | $ 0.3284 (0.6081) |
комплексная_модель_м | 0,6568 $ (1,2163) |
complex_model_l | 1,3136 $ (2,4326) |
standard_gpu | $ 0.9300 (1,7222) |
комплексная_модель_m_gpu | 2,8400 долларов США (5,2593) |
комплексная_модель_l_gpu | 3,7200 долл. США (6,8889) |
standard_p100 | 2 доллара.0400 (3,7778) |
комплексная_модель_м_п100 | 7,2800 долл. США (13,4815) |
standard_v100 | 2,9684 $ (5,4970) |
large_model_v100 | 3 доллара.0708 (5,6867) |
комплексная_модель_м_в100 | 11,0368 долл. США (20,4385) |
комплексная_модель_l_v100 | $ 22,0736 (40,8770) |
| Ускорители — цена за час (учебные единицы) | |
|---|---|
NVIDIA_TESLA_K80 | $ 0.4900 (0,9074) |
NVIDIA_TESLA_P4 | 0,6500 долл. США (1.2037) |
NVIDIA_TESLA_P100 | 1,6000 долл. США (2,9630) |
NVIDIA_TESLA_T4 | $ 0.3800 (0,7037) |
NVIDIA_TESLA_V100 | 2,5 500 долл. США (4,7222) |
Восемь TPU_V2 ядер 6 | 5,2200 долл. США (9,6664) |
Восемь TPU_V3 ядер 6 (бета) | 8 долларов.8000 (16.2960) |
Азиатско-Тихоокеанский регион
Стоимость учебной работы в целом
Доступные регионы Азиатско-Тихоокеанского региона
0,54 доллара США в час за учебную единицу.
| Предопределенные уровни шкалы — цена за час (обучение ед.) | |
|---|---|
ОСНОВНОЙ | $ 0.2200 (0,4074) |
СТАНДАРТ_1 | $ 2,3020 (4,2630) |
PREMIUM_1 | 19,1640 долл. США (35,4889) |
BASIC_GPU | $ 0.9300 (1,7222) |
BASIC_TPU | (Недоступно) |
НА ЗАКАЗ | Если вы выберете ПОЛЬЗОВАТЕЛЬСКИЙ в качестве уровня шкалы, вы получите контроль по количеству и типу виртуальных машин, используемых для учебная работа. См. Таблицу типов машин. |
| Типы машин — цена за час (учебные единицы) | |
|---|---|
н1-стандарт-4 | 0,2200 долл. США (0,4074) |
н1-стандарт-8 | 0,4400 долл. США (0,8148) |
н1-стандарт-16 | $ 0.8800 (1,6296) |
н1-стандарт-32 | 1,7600 долл. США (3,2593) |
н1-стандарт-64 | 3,5 200 долл. США (6,5185) |
н1-стандарт-96 | 5 долларов.2800 (9,7778) |
н1-highmem-2 | 0,1370 долл. США (0,2537) |
н1-highmem-4 | 0,2740 долл. США (0,5074) |
н1-highmem-8 | $ 0.5480 (1.0148) |
н1-highmem-16 | 1,0960 долл. США (2,0296) |
н1-highmem-32 | 2,1920 долл. США (4.0593) |
н1-highmem-64 | 4 доллара.3840 (8.1185) |
н1-highmem-96 | 6,5760 долл. США (12,1778) |
n1-highcpu-16 | 0,6568 $ (1,2163) |
n1-highcpu-32 | 1 доллар.3136 (2,4326) |
n1-highcpu-64 | 2,6272 $ (4,8652) |
n1-highcpu-96 | 3,9408 долл. США (7,2978) |
cloud_tpu 6 | (Недоступно) |
стандартный | $ 0.2200 (0,4074) |
large_model | 0,5480 долл. США (1.0148) |
комплексная_модель | $ 0,3284 (0.6081) |
комплексная_модель_м | $ 0.6568 (1,2163) |
complex_model_l | 1,3136 $ (2,4326) |
standard_gpu | 0,9300 долл. США (1,7222) |
комплексная_модель_m_gpu | 2 доллара.8400 (5,2593) |
комплексная_модель_l_gpu | 3,7200 долл. США (6,8889) |
standard_p100 | 2,0400 долл. США (3,7778) |
комплексная_модель_м_п100 | 7 долларов.2800 (13,4815) |
standard_v100 | 2,9684 $ (5,4970) |
large_model_v100 | 3,0708 долл. США (5,6867) |
комплексная_модель_м_в100 | 11 долларов.0368 (20,4385) |
комплексная_модель_l_v100 | $ 22,0736 (40,8770) |
| Ускорители — цена за час (учебные единицы) | |
|---|---|
NVIDIA_TESLA_K80 | $ 0.4900 (0,9074) |
NVIDIA_TESLA_P4 | 0,6500 долл. США (1.2037) |
NVIDIA_TESLA_P100 | 1,6000 долл. США (2,9630) |
NVIDIA_TESLA_T4 | $ 0.3900 (0,7222) |
NVIDIA_TESLA_V100 | 2,5 500 долл. США (4,7222) |
Восемь TPU_V2 ядер 6 | (Недоступно) |
Восемь TPU_V3 ядер 6 (бета) | (Недоступно) |
Примечания:
- Любое использование регулируется политикой квот AI Platform.
- Вы должны хранить свои данные и программные файлы в
Сегменты Google Cloud Storage на протяжении жизненного цикла платформы AI.
Подробнее об использовании облачного хранилища. Тип машины
cloud_tpuв настоящее время предоставляет
устройство TPU v2 с 8 ядрами по умолчанию, даже если вы явно не подключаете
любые ускорители в вашу конфигурацию. В этом случае вы платите цену
указан дляcloud_tpuв таблице типов компьютеров.Если вы явно подключаете ускорители TPU v2 или TPU v3 к
cloud_tpuтип машины в вашем
конфигурация
вы не платите за сам тип машиныcloud_tpu.Вместо,
вы платите заTPU_V2илиTPU_V3
навесное оборудование ускорителя.
Вы платите за обучение ваших моделей:
- С шагом в одну минуту.
- По цене за час, как показано в таблице выше, где цена за час
рассчитывается исходя из базовой цены и количества учебных единиц, определяемых
конфигурацией обработки, которую вы выбираете, когда начинаете обучение
работа. - Минимум 10 минут на одно учебное задание.
- С момента выделения ресурсов для задания до задания
отделка.
Предупреждение: Ваши учебные задания ограничены платформой AI.
политика квот. Если вы выберете очень мощный вычислительный кластер для своего первого
учебные вакансии, вполне вероятно, что вы превысите свою квоту.
Прогноз
В этой таблице приведены цены на пакетное и онлайн-прогнозирование за
час узла . Час узла представляет собой время, в течение которого виртуальная машина работает.
ваше задание прогнозирования или ожидание в состоянии готовности для обработки запросов прогнозирования.
В следующих таблицах приведены цены в каждом регионе, где
доступно индивидуальное обучение. Дополнительные сведения и пример биллинга
расчеты см. на странице цен на прогнозирование платформы AI.
Америка
| Прогноз | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Пакетное прогнозирование | 0,07 USD за узел в час | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Онлайн-прогноз |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Европа
| Прогноз | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Пакетное прогнозирование | 0,086118 USD за узел в час | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Онлайн-прогноз |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Азиатско-Тихоокеанский регион
| Прогноз | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Пакетное прогнозирование | 0,086118 USD за узел в час | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Онлайн-прогноз |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Compute Engine (N1) типы машин для
онлайн-прогнозы доступны только в
us-central1 ,
европа-запад4 и азия-восток1
регионы, и их цена взимается как два отдельных SKU на вашем
Счет за Google Cloud:
- Стоимость виртуальных ЦП , измеряется в часах виртуальных ЦП
- Стоимость оперативной памяти , измеряется в ГБ часов
Цены на типы компьютеров Compute Engine (N1) в предыдущей таблице приблизительно равны
общая почасовая стоимость для каждого узла прогноза версии модели
используя этот тип машины.Например, поскольку
n1-highcpu-32 Тип машины включает 32 виртуальных ЦП и
28,8 ГБ ОЗУ, почасовая оплата за узел равна 32 vCPU.
часов + 28,8 ГБ часов.
Цены в предыдущей таблице предназначены для того, чтобы
оценить стоимость онлайн-прогнозов. В следующей таблице показаны
Цены на виртуальные ЦП и ОЗУ для типов компьютеров Compute Engine (N1), которые более точно отражают
SKU, за которые будет взиматься плата:
Америка
| Compute Engine (N1) Тип машины Артикул | |||||||
|---|---|---|---|---|---|---|---|
| виртуальных ЦП |
| ||||||
| RAM |
| ||||||
Европа
| Compute Engine (N1) Тип машины Артикул | |||||||
|---|---|---|---|---|---|---|---|
| виртуальных ЦП |
| ||||||
| RAM |
| ||||||
Азиатско-Тихоокеанский регион
| Compute Engine (N1) Тип машины Артикул | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| виртуальных ЦП |
| ||||||||
| RAM |
| ||||||||
При желании можно использовать
GPU
ускорители для онлайн-прогнозирования с типами машин Compute Engine (N1). GPU несут
дополнительная плата, отличная от той, которая описана в
предыдущая таблица.В следующей таблице описаны цены для каждого
тип графического процессора:
Америка
| Ускорители — цена за час | |||||||
|---|---|---|---|---|---|---|---|
NVIDIA_TESLA_K80 | 0,4500 долл. США | ||||||
NVIDIA_TESLA_P4 |
| ||||||
NVIDIA_TESLA_P100 | 1,4600 долл. США | ||||||
NVIDIA_TESLA_T4 | $ 0.3500 | ||||||
NVIDIA_TESLA_V100 | 2,4800 долл. США | ||||||
Европа
| Ускорители — цена за час | |||||
|---|---|---|---|---|---|
NVIDIA_TESLA_K80 | $ 0,4900 | ||||
NVIDIA_TESLA_P4 | $ 0.6500 | ||||
NVIDIA_TESLA_P100 | 1,6000 долл. США | ||||
NVIDIA_TESLA_T4 |
| ||||
NVIDIA_TESLA_V100 | 2 доллара.5500 | ||||
Азиатско-Тихоокеанский регион
| Ускорители — цена за час | |||||
|---|---|---|---|---|---|
NVIDIA_TESLA_K80 | $ 0,4900 | ||||
NVIDIA_TESLA_P4 |
| ||||
NVIDIA_TESLA_P100 | 1,6000 долл. США | ||||
NVIDIA_TESLA_T4 |
| ||||
NVIDIA_TESLA_V100 | Недоступен | ||||
Обратите внимание, что цена указана за графический процессор, поэтому, если вы используете несколько графических процессоров на один
узел предсказания (или если ваша версия масштабируется для использования нескольких узлов),
тогда затраты соответственно увеличиваются.
AI Platform Prediction предоставляет прогнозы на основе вашей модели путем выполнения ряда
виртуальные машины («узлы»). По умолчанию AI Platform автоматически
масштабирует количество узлов, работающих в любой момент. Для онлайн-прогнозов
количество узлов масштабируется для удовлетворения спроса. Каждый узел может отвечать на несколько
запросы на предсказание. Для пакетного прогнозирования количество узлов масштабируется, чтобы уменьшить
общее время, необходимое для выполнения задания. Вы можете настроить, как узлы прогнозирования
шкала.
С вас взимается плата за время работы каждого узла для вашей модели, в том числе:
- Когда узел обрабатывает задание пакетного прогнозирования.
- Когда узел обрабатывает запрос онлайн-прогноза.
- Когда узел находится в состоянии готовности для обслуживания онлайн-прогнозов.
Стоимость одного узла, работающего в течение одного часа, составляет час узла . Таблица
прогнозируемые цены описывают стоимость часа работы узла, которая
варьируется в зависимости от региона и между онлайн-прогнозированием и пакетным прогнозированием.
Вы можете использовать часы узлов дробными приращениями. Например, один узел
бег 30 минут стоит 0.5 узловых часов.
Vizier, ноутбуки, контейнеры для глубокого обучения, образ виртуальной машины для глубокого обучения и конвейеры
Плата за использование AI Platform Vizier, AI Platform Notebooks,
Контейнеры глубокого обучения платформы AI, образ виртуальной машины глубокого обучения платформы AI или
Конвейеры платформы AI. Однако вы платите за любые ресурсы Google Cloud.
вы используете с этими продуктами.
Например, когда вы используете блокноты AI Platform, вы платите за Google Cloud
ресурсы, которые вы используете с экземплярами записных книжек, например Compute Engine:
Ресурсы Compute Engine: вы несете расходы с того момента, когда
создавайте экземпляр Notebooks, пока не удалите его.Тип машины по умолчанию — n1-standard-4,
но вы можете выбрать другой тип машины. Вы также платите за
Стандартный постоянный диск объемом 100 ГБ, который используется в качестве загрузочного диска (см.
Ресурсы хранения).
Загрузочный диск удаляется при удалении экземпляра виртуальной машины.Службы анализа данных: вы несете расходы на BigQuery, когда
выдавать SQL-запросы в записной книжке (см.
Цены BigQuery).Ключи шифрования, управляемые клиентом: при использовании
ключи шифрования, управляемые заказчиком.Каждый раз, когда ваш экземпляр Notebooks
использует ключ Cloud Key Management Service, эта операция оплачивается по ставке
ключевых операций Cloud KMS
(см. цены на Cloud KMS).
Маркировка данных
Платформа
AI позволяет запрашивать маркировку коллекции людьми.
данных, которые вы планируете использовать для обучения пользовательской модели машинного обучения.
Стоимость услуги рассчитана исходя из:
- Количество этикетировщиков для каждого элемента данных. Это указано
HumanAnnotationConfig replica_count
поле
в API и этикетировщиков на поле элемента данных при создании новых данных
запрос маркировки в пользовательском интерфейсе. - Количество сгенерированных блоков аннотаций. Цена за единицу каждого
Задача маркировки описана в таблице ниже.- Для задачи классификации изображений единицы определяются количеством
изображения и количество людей, этикетировавших. Например, изображение с
3 человека-этикетировщика составляют 1 * 3 = 3 единицы. Цена на однокомпонентную
и многокомпонентная классификация одинаковы. - Для задачи ограничивающего прямоугольника изображения единицы определяются количеством
ограничивающие рамки, идентифицированные на изображениях, и количество людей, наклеивающих этикетку.Например, если изображение с двумя ограничивающими рамками и тремя этикетками с людьми
считается для 2 * 3 = 6 единиц. Изображения без ограничивающих рамок не будут
заряжено. - Для задачи сегментации изображения / повернутого блока / полилинии / полигона единицы измерения равны
определяется так же, как задача ограничивающего прямоугольника изображения. - Для задачи классификации видео единицы измерения определяются длиной видео.
(каждые 5 секунд — единица цены) и количество людей, наносящих этикетку. Для
Например, 25-секундное видео с 3 людьми, обозначающими этикетку, считается 25/5 * 3 =
15 шт.Стоимость однокомпонентной и многокомпонентной классификации составляет
тоже самое. - Для задачи обнаружения видеообъектов единицы измерения определяются количеством
объекты, идентифицированные на видео, и количество людей, которые наклеили этикетку. Для
Например, для видео с двумя объектами и тремя людьми, на которых написано этикетка, учитывается
2 * 3 = 6 единиц. Видео без предметов не взимается. - Для задачи слежения за видеообъектом единицы измерения определяются длиной видео.
(каждые 30 секунд — единица цены), количество людей, наносящих этикетку, и
количество идентифицированных объектов.Для 120-секундного видео с участием 3 человек
этикеток и 2 обнаруженных объекта, это составляет 120/4 * 2 * 3 = 18
единицы измерения. - Для задачи видео события единицы определяются так же, как и видео
задача слежения за объектом. - Для задачи классификации текста единицы измерения определяются длиной текста.
(каждые 50 слов — это единица цены) и количество людей, обозначающих этикетку. Для
Например, один фрагмент текста из 100 слов и 3 человека, обозначающих этикетку, считается
100/50 * 3 = 6 единиц. Цена на однокомпонентные и многокомпонентные
классификация такая же. - Для задачи тональности текста единицы определяются так же, как и текст
задача классификации. - Для задачи извлечения текстового объекта единицы определяются длиной текста.
(каждые 50 слов — это единица цены), количество идентифицированных объектов и
количество людей-этикетировщиков. Например, текст из 100 слов,
Идентифицировано 2 объекта, и 3 человека-этикетировщика составляют 100/50 * 2 * 3 =
12 шт. Текст без сущностей не взимается.
- Для задачи классификации изображений единицы определяются количеством
- Для задач классификации изображений / видео / текста и тональности текста, люди-этикетировщики
может потерять отслеживание классов, если размер набора меток слишком велик.В результате мы
отправляйте не более 20 классов специалистам по маркировке за один раз. Например, если
размер набора меток для задачи маркировки составляет 40, каждый элемент данных будет отправлен для
человеческий обзор 40/20 = 2 раза, и мы будем взимать в 2 раза больше цены
(рассчитано выше) соответственно.
В таблице ниже указана цена за 1 000 единиц на человека-этикетировщика, исходя из
единица, указанная для каждой цели. Цена уровня 1 распространяется на первые 50 000 человек.
единиц в месяц в каждом проекте Google Cloud; Цена уровня 2 применяется к следующему
950 000 единиц в месяц в проекте, до 1 000 000 единиц.Контакт
нас для ценообразования
свыше 1 000 000 единиц в месяц.
| Тип данных | Цель | Блок | Уровень 1 | Уровень 2 |
|---|---|---|---|---|
| Изображение | Классификация | Изображение | $ 35 | $ 25 |
| Ограничительная коробка | Ограничительная коробка | $ 63 | $ 49 | |
| Сегментация | Сегмент | $ 870 | 850 долларов США | |
| Поворотная коробка | Ограничительная коробка | $ 86 | $ 60 | |
| Многоугольник / ломаная | Многоугольник / ломаная | 257 долларов США | 180 долларов США | |
| Видео | Классификация | 5сек видео | $ 86 | $ 60 |
| Обнаружение объекта | Ограничительная коробка | $ 86 | $ 60 | |
| Сопровождение объекта | Объект в видео за 30 секунд | $ 686 | 480 долл. США | |
| Событие | Событие в 30-секундном видео | $ 214 | 150 долларов США | |
| Текст | Классификация | 50 слов | $ 129 | $ 90 |
| Настроение | 50 слов | 200 долларов США | $ 140 | |
| Извлечение сущности | Организация | $ 86 | $ 60 |
Требуется использование облачного хранилища
В дополнение к затратам, описанным в этом документе, вы обязаны хранить
данные и программные файлы в сегментах Cloud Storage во время
Жизненный цикл платформы AI.Это хранилище подлежит
Ценовая политика Cloud Storage.
Обязательное использование облачного хранилища включает:
Подготовка пакета обучающих приложений для моделей, обученных индивидуально.
Сохранение входных данных для тренировки.
Хранение результатов ваших учебных заданий.
Платформа AI не требует длительного хранения этих предметов.
Вы можете удалить файлы, как только операция будет завершена.Размещение файлов модели, когда вы будете готовы развернуть версию модели.
Сохранение входных данных для пакетного прогнозирования.
Сохранение вывода ваших заданий пакетного прогнозирования.
Платформа AI не требует длительного хранения этих предметов.
Вы можете удалить файлы, как только операция будет завершена.
Бесплатные операции по управлению ресурсами
Операции управления ресурсами, предоставляемые платформой AI:
доступны бесплатно. Политика квот AI Platform ограничивает
некоторые из этих операций.
| Ресурс | Бесплатные операции |
|---|---|
| модели | создать, получить, перечислить, удалить |
| версии | создание, получение, список, удаление, установка по умолчанию |
| вакансии | получить, перечислить, отменить |
| операции | получить, перечислить, отменить, удалить |
Стоимость Google Cloud Platform
Поскольку вы храните изображения для анализа в Google Cloud Storage, и можете использовать другие
Ресурсы Google Cloud Platform в тандеме с платформой AI,
таких как платформа Google AI, контейнеры и экземпляры баз данных, затем
Вам также будет выставлен счет за использование этих услуг.Увидеть
Калькулятор цен на Google Cloud Platform
для определения других затрат по текущим ставкам.
Чтобы просмотреть текущий статус выставления счетов в
Cloud Console, включая информацию об использовании и текущий счет, см.
Платежная страница.
Для получения дополнительных сведений об управлении учетной записью см.
Документация по облачному биллингу или
Поддержка биллинга и платежей.
Что дальше
Как перенести свои пользовательские модели машинного обучения в Google Cloud за 3 шага
Построение сквозных конвейеров становится все более важным, поскольку многие компании понимают, что наличие модели машинного обучения — это всего лишь один маленький шаг на пути к внедрению своего приложения, основанного на машинном обучении. производство.
Google Cloud предлагает инструмент для обучения и масштабного развертывания моделей Cloud AI Platform, который интегрируется с несколькими инструментами оркестровки, такими как TensorFlow Extended и KubeFlow Pipelines (KFP). Однако часто бывает, что у предприятий есть модели, которые они построили в своей собственной экосистеме с использованием таких фреймворков, как scikit-learn и xgboost, и перенос этих моделей в облако может быть сложным и трудоемким.
Даже для опытных практиков машинного обучения на платформе Google Cloud Platform (GCP) миграция модели scikit-learn (или ее эквивалента) на платформу AI может занять много времени из-за всех задействованных шаблонов.ML Pipeline Generator — это инструмент, который позволяет пользователям легко развертывать существующие модели машинного обучения в GCP, где они могут извлечь выгоду из обучения и развертывания бессерверных моделей, а также ускорить вывод своих решений на рынок.
В этом блоге будет представлен обзор работы этого решения и ожидаемого пути пользователя, а также инструкции по организации учебного задания TensorFlow на платформе AI.
Обзор
ML Pipeline Generator позволяет пользователям с предварительно созданными моделями scikit-learn, xgboost и TensorFlow быстро создавать и запускать сквозной конвейер машинного обучения на GCP с использованием собственного кода и данных.
Для этого пользователи должны заполнить файл конфигурации, описывающий метаданные своего кода. Библиотека берет этот файл конфигурации и генерирует все необходимые шаблоны для обучения и развертывания модели в облаке согласованным образом с использованием механизма шаблонов. Кроме того, пользователи, обучающие модели TensorFlow, могут использовать функцию Explainable AI, чтобы лучше понять свою модель.
На рисунке ниже мы выделяем архитектуру сгенерированного конвейера. Пользователь принесет свои собственные данные, определит, как они выполняют предварительную обработку данных, и добавит свой файл модели машинного обучения.После того, как пользователь заполняет файл конфигурации, он использует простой API Python для генерации автономного стандартного кода, который заботится о любой указанной предварительной обработке, загружает свои данные в Google Cloud Storage (GCS) и запускает задание обучения с настройкой гиперпараметров. После этого модель развертывается для обслуживания, и, в зависимости от типа модели, выполняется ее объяснение. Весь этот процесс можно организовать с помощью Kubeflow Pipelines.
Сборка с AI | Vertex AI Наша новая унифицированная платформа машинного обучения поможет |
|
Строительные блоки AI С легкостью добавляйте вид, язык, разговор и |
| |
AutoML Используйте возможности Vertex AI для видения, перевода, |
| |
AI Инфраструктура Обучение моделей глубокого обучения и машинного обучения |
| |
Разговорный AI | Преобразование речи в текст Точное преобразование речи в текст с помощью API |
|
Синтезатор речи Преобразование текста в естественно звучащую речь с помощью |
| |
Виртуальные агенты Предоставьте клиентам круглосуточный доступ к немедленному |
| |
Агент Ассистент Обеспечьте сотрудников-агентов постоянной поддержкой во время |
| |
Естественный язык Анализируйте неструктурированный текст с помощью Google |
| |
Dialogflow CX Создавайте разговоры на разных устройствах и |
| |
CCAI Обеспечьте исключительное удовлетворение потребностей клиентов и рост |
| |
AI для документов | Естественный язык Анализируйте неструктурированный текст с помощью Google |
|
Перевод Динамически переводить с одного языка на другой с помощью Google |
| |
Vision OCR Извлекайте текст из документов с помощью |
| |
Платформа AI для документов Унифицированный API, который можно использовать для включения |
| |
Анализатор счетов Извлечение текста и значений из счетов-фактур, таких как даты, |
| |
Анализатор форм Извлечение текста и пространственных структур из документов, |
| |
Базовый OCR Извлекайте текст из документов с помощью |
| |
AI для промышленности | Медиа-перевод Перевод потоковой передачи в реальном времени или предварительно записанного звука |
|
Здравоохранение Естественный язык Помощь медицинским работникам в поиске, оценке, |
| |
Рекомендации AI Предоставляйте персонализированные рекомендации по продуктам |
| |
Lending DocAI Преобразование опыта жилищного кредитования для заемщиков и |
| |
DocAI по закупкам Автоматизируйте сбор данных о закупках в нужном масштабе за счет поворота |
|
Сравнение машинного обучения как услуги (MLaaS): Amazon AWS, IBM Watson, MS Azure
Время чтения: 22 минуты
Для большинства предприятий машинное обучение кажется очень близким к ракетной науке: оно дорогое и требует талантов.И, если вы хотите создать еще одну систему рекомендаций Netflix, это действительно так. Но тенденция создания «все как услуга» коснулась и этой сложной сферы. Вы можете быстро начать инициативу по машинному обучению без особых вложений, что было бы правильным шагом, если вы новичок в науке о данных и просто хотите получить низко висящие плоды.
Одна из самых вдохновляющих историй М.Л. — это история о японском фермере, который решил автоматически сортировать огурцы, чтобы помочь своим родителям в этой кропотливой операции.В отличие от рассказов о крупных предприятиях, у этого парня не было ни опыта в машинном обучении, ни большого бюджета. Но ему удалось познакомиться с TensorFlow и применить глубокое обучение для распознавания различных классов огурцов.
Используя облачные сервисы машинного обучения, вы можете начать создавать свои первые рабочие модели, получая ценные сведения на основе прогнозов с относительно небольшой командой. Мы уже обсуждали стратегию машинного обучения. Теперь давайте посмотрим на лучшие платформы машинного обучения на рынке и рассмотрим некоторые инфраструктурные решения, которые необходимо принять.
Что такое машинное обучение как услуга
Машинное обучение как услуга (MLaaS) — это общее определение различных облачных платформ, которые охватывают большинство проблем инфраструктуры, таких как предварительная обработка данных, обучение модели и оценка модели с дальнейшим прогнозированием. Результаты прогнозирования могут быть связаны с вашей внутренней ИТ-инфраструктурой через REST API.
Amazon Machine Learning Services, Azure Machine Learning, Google AI Platform и IBM Watson Machine Learning — четыре ведущих облачных сервиса MLaaS, которые позволяют быстро обучать и развертывать модели.Это следует учитывать в первую очередь, если вы собираете собственную команду по анализу данных из имеющихся инженеров-программистов. Взгляните на нашу историю структур группы науки о данных, чтобы иметь лучшее представление о распределении ролей.
В этой статье мы сначала дадим обзор основных платформ машинного обучения как услуги от Amazon, Google, Microsoft и IBM, а затем сравним API машинного обучения, поддерживаемые этими поставщиками. Обратите внимание, что этот обзор не предназначен для предоставления исчерпывающих инструкций о том, когда и как использовать эти платформы, а скорее о том, на что следует обратить внимание, прежде чем вы начнете читать их документацию.
Если вам нужен интерфейс с перетаскиванием, сначала проверьте Microsoft ML Studio. Что касается платформ для пользовательского моделирования, все четыре вышеупомянутых поставщика предлагают аналогичные продукты
Amazon Machine Learning и SageMaker
У Amazon есть два основных продукта, посвященных машинному обучению. Более ранняя платформа называлась Amazon Machine Learning и SageMaker, более новая.
Машинное обучение Amazon
Amazon Machine Learning для прогнозной аналитики — одно из самых автоматизированных решений на рынке, которое лучше всего подходит для операций, чувствительных к срокам.Служба может загружать данные из нескольких источников, включая Amazon RDS, Amazon Redshift, файлы CSV и т. Д. Все операции предварительной обработки данных выполняются автоматически: служба определяет, какие поля являются категориальными, а какие — числовыми, и не просит пользователя выбрать методы дальнейшей обработки данных (уменьшение размерности и отбеливание).
Возможности прогнозирования Amazon ML ограничены тремя вариантами: бинарная классификация , мультиклассовая классификация и регрессия .Тем не менее, этот сервис Amazon ML не поддерживает никаких методов обучения без учителя, и пользователь должен выбрать целевую переменную, чтобы пометить ее в обучающем наборе. Кроме того, пользователю не обязательно знать какие-либо методы машинного обучения, потому что Amazon выбирает их автоматически после просмотра предоставленных данных.
Имейте в виду, что к 2021 году Amazon больше не будет обновлять ни документацию, ни саму платформу машинного обучения. Сервис по-прежнему работает, но не принимает новых пользователей.Это связано с тем, что SageMaker и все соответствующие ему службы превосходят AML и в основном предоставляют пользователям те же функции.
Прогностическая аналитика может использоваться в форме данных в реальном времени или по запросу с двумя доступными отдельными API. Единственное, что вы должны учитывать, это то, что в настоящее время Amazon, похоже, извлекает выгоду из своих более мощных сервисов на основе машинного обучения, таких как SageMaker, обсуждаемых ниже.
Такой высокий уровень автоматизации выступает как преимуществом, так и недостатком для использования Amazon ML.Если вам нужно полностью автоматизированное, но ограниченное решение, услуга может соответствовать вашим ожиданиям. Если нет, есть SageMaker.
SageMaker
SageMaker — это среда машинного обучения, которая должна упростить работу коллеге-аналитикам данных, предоставляя инструменты для быстрого построения и развертывания моделей. Например, он предоставляет Jupyter, записную книжку для разработки, чтобы упростить исследование и анализ данных без проблем с управлением сервером.
В 2021 году Amazon запустила SageMaker Studio, первую IDE для машинного обучения.Этот инструмент предоставляет веб-интерфейс, который позволяет нам выполнять все обучающие тесты модели машинного обучения в единой среде. Все методы и инструменты разработки, включая записные книжки, инструменты отладки, моделирование данных и их автоматическое создание, доступны через SageMaker Studio.
Amazon также имеет встроенные алгоритмы, оптимизированные для больших наборов данных и вычислений в распределенных системах. К ним относятся:
- Линейный ученик — это контролируемый метод для классификации и
- Машины факторизации предназначены для классификации и регрессии , разработанной для разреженных наборов данных.
- XGBoost — это контролируемый алгоритм усиленных деревьев, который увеличивает точность прогнозирования в классификации , регрессии, и , ранжируя , путем комбинирования прогнозов более простых алгоритмов.
- Классификация изображений основана на ResNet, которая также может применяться для трансферного обучения.
- Seq2seq — это контролируемый алгоритм для прогнозирования последовательностей (например, перевод предложений, преобразование строк слов в более короткие в качестве резюме и т. Д.).
- K-means — это метод обучения без учителя для кластеризации
- Анализ главных компонентов используется для уменьшения размерности.
- Скрытое распределение Дирихле — это неконтролируемый метод, используемый для поиска категорий в документах.
- Нейронная тематическая модель (NTM) — это неконтролируемый метод, который исследует документы, выявляет слова с самым высоким рейтингом и определяет темы (пользователи не могут заранее определять темы, но они могут установить их ожидаемое количество).
- Прогнозирование DeepAR — это алгоритм обучения с учителем, используемый для прогнозирования временных рядов, в котором используются рекуррентные нейронные сети (RNN).
- BlazingText — это алгоритм обработки естественного языка (NLP), построенный на основе Word2vec, который позволяет отображать слова в больших коллекциях текстов с векторными представлениями.
- Random Cut Forest — это неконтролируемый алгоритм обнаружения аномалий, способный назначать оценки аномалий каждой точке данных.
- Learning to Rank (LTR) — это плагин для Amazon Elasticsearch, который позволяет ML ранжировать запросы результатов поиска.
- K-ближайший сосед (k-NN) — это алгоритм на основе индекса, который можно использовать в сочетании с нейронной тематической моделью для создания настраиваемых рекомендательных сервисов. Кроме того, существует отдельный механизм Amazon Personalize для рекомендаций в режиме реального времени, используемый самим Amazon.com.
Встроенные методы SageMaker в значительной степени пересекаются с API машинного обучения, которые предлагает Amazon, но здесь он позволяет специалистам по данным играть с ними и использовать свои собственные наборы данных.
Если вы не хотите их использовать, вы можете добавить свои собственные методы и запускать модели через SageMaker, используя его функции развертывания. Или вы можете интегрировать SageMaker с TensorFlow, Keras, Gluon, Torch, MXNet и другими библиотеками машинного обучения.
Как правило, сервисы машинного обучения Amazon предоставляют достаточно свободы как для опытных специалистов по обработке данных, так и для тех, кому просто нужно, чтобы все было сделано, не углубляясь в подготовку и моделирование наборов данных. Это был бы хороший выбор для компаний, которые уже используют облачные сервисы Amazon и не планируют переход к другому облачному провайдеру.
Популярность DevOps среди разработчиков программного обеспечения породила термин « MLOps ». DevOps — это подход к разработке программного обеспечения, который предполагает объединение команд разработчиков и операторов для оптимизации процессов разработки программного обеспечения за счет сосредоточения внимания на коротких и быстрых выпусках. Это достигается за счет применения высокого уровня автоматизации к рутинным задачам. MLOps, в свою очередь, применяет те же принципы к машинному обучению, что привело к появлению автоматизированного управления данными, обучения / развертывания моделей и мониторинга.
Вот почему в 2021 году провайдеры MLaaS предложат практикам MLOps инструменты для управления этими конвейерами машинного обучения. В случае с Amazon они выпустили фреймворк MLOps для создания инфраструктуры MLOps и управления ею. Он поставляется с шаблонной архитектурой, содержащей общие сервисы AWS, чтобы быстрее начать создавать свои собственные.
Платформа искусственного интеллекта Microsoft Azure
Платформа Azure AI представляет собой унифицированную платформу для машинного обучения с ее API и инфраструктурными службами.Итак, здесь мы упомянем все основные услуги, предлагаемые Azure с точки зрения решений для машинного обучения.
Машинное обучение Azure
Машинное обучение Azure — это основная среда для управления наборами данных, обучения моделей и развертывания.
Платформа предоставляет студию машинного обучения, веб-среду с низким уровнем кода, для быстрой настройки операций и конвейеров машинного обучения. Как правило, в Azure Studio есть средства для исследования данных, предварительной обработки, выбора методов и проверки результатов моделирования.Studio поддерживает около 100 методов, относящихся к классификации (двоичный + мультикласс), , , обнаружению аномалий, , регрессии , рекомендациям, и текстовому анализу. Стоит отметить, что платформа имеет один алгоритм кластеризации (K-средних).
Как и Amazon, Azure предлагает интеграцию с Jupyter для написания и выполнения кода в ML Studio. Он также предоставляет среду выполнения ONNX для ускорения моделей машинного обучения в различных операционных системах, аппаратных платформах и фреймворках.Среду выполнения также можно использовать для обеспечения взаимодействия между различными платформами машинного обучения. Azure поддерживает такие популярные, как TensorFlow, PyTorch, scikit-learn и другие.
В ML Studio есть ряд функций, о которых вам нужно знать.
- Дизайнер машинного обучения Azure — это графический пользовательский интерфейс с перетаскиванием и перетаскиванием для студии машинного обучения, который обеспечивает доступ к функциям платформы и управление ими. Здесь вы можете изменять наши данные, применять методы машинного обучения и развертывать решения на сервере.
- Automated ML — это SDK, который обеспечивает обучение модели с низким кодом без кода. По сути, автоматизированное машинное обучение дополняет студию машинного обучения высокой степенью автоматизации рутинных задач и поддержкой исследования данных, настройки и развертывания модели. Azure определяет задачи классификации, регрессии и прогнозирования временных рядов применительно к обучению с помощью инструментов автоматизированного машинного обучения.
- Azure ML Python и R language SDK полностью интегрированы в ML Studio.
- Поддержка фреймворков машинного обучения , таких как PyTorch, TensorFlow и scikit-learn, кроме того, Azure предлагает взаимодействие между фреймворками с помощью ONNX Runtime.
- Модульные конвейеры встроены, что позволяет вашей команде создавать настраиваемые конвейеры данных для вашего проекта машинного обучения.
- Поддержка маркировки данных проектов , включая управление данными и командой, прогресс маркировки, неполное отслеживание маркировки и экспорт инструментов помеченных данных.
- Настраиваемые целевые объекты вычислений для развертывания модели поддерживает различные облачные службы, такие как службы Azure Kubernetes, экземпляры контейнеров и вычислительные кластеры
- MLOps Инструмент существует для управления, развертывания и мониторинга моделей в автоматизированных конвейерах.
Как конструктор машинного обучения, так и автоматизированное машинное обучение предоставляют неопытным пользователям средства для создания решений машинного обучения. В свою очередь, студия машинного обучения Azure включает ряд функций, которые могут использоваться технически подкованными специалистами по данным и решениями корпоративного уровня.Но это не ограничивает эти инструменты, поскольку Azure ML предназначен для использования как единой платформы со всеми ее возможностями.
Подход к машинному обучению с помощью Azure требует некоторого обучения. Но в конечном итоге это приводит к более глубокому пониманию всех основных методов в этой области. Графический интерфейс Azure ML визуализирует каждый шаг рабочего процесса и поддерживает новичков. Возможно, главное преимущество использования Azure — это разнообразие доступных алгоритмов.
Галерея Azure AI
Еще одна важная часть Azure ML — это Azure AI Gallery.Это набор решений для машинного обучения, предоставленных сообществом для изучения и повторного использования специалистами по данным. Продукт Azure — это мощный инструмент, позволяющий начать с машинного обучения и познакомить с его возможностями новых сотрудников.
Лазурное восприятие
С 2021 года в Azure была открыта предварительная версия для Azure Percept. Основная идея Percept — предоставить SDK для создания моделей, которые могут быть интегрированы с аппаратными устройствами партнеров Microsoft. Это влечет за собой простой способ создания и интеграции компьютерного зрения или инструментов для распознавания речи.Кроме того, к системе можно подключить целый ряд API. Мы рассмотрим их в специальном разделе.
Обновления платформы
2019 в основном сосредоточены на SDK машинного обучения Python и запуске Azure ML Workspaces (в основном пользовательского интерфейса для платформы машинного обучения). Это позволяет разработчикам развертывать модели, визуализировать данные и работать над подготовкой наборов данных в одном месте.
Платформа Google AI (унифицированная)
Google AI Platform (Unified) объединила инструменты для машинного обучения, которые ранее существовали отдельно.Платформа включает AI Platform (Classic), AutoML, фреймворки и API под капотом AI Platform Unified. Итак, давайте посмотрим на каждого из них.
Платформа AI (классическая)
Поймите, что AI Platform Classic — это инструмент, который включает ряд функций для экспертов по машинному обучению и специалистов по данным. AI Platform Classic предлагает следующие услуги для создания пользовательских моделей:
Training Service предоставляет среду для построения моделей с использованием встроенных алгоритмов (в настоящее время в стадии бета-тестирования) или с использованием ваших собственных алгоритмов.Пользователи могут отправлять свои собственные методы обучения или создавать собственные контейнеры для установки обучающего приложения.
Служба прогнозирования позволяет интегрировать сгенерированные прогнозы в ваши бизнес-приложения или любую другую службу.
Служба маркировки данных — это инструмент, который запрашивает группу людей для маркировки ваших данных. Сервис поддерживает маркировку видео, текста и изображений, которые будут обрабатываться в соответствии с вашими инструкциями.
Deep Learning Image предоставляет образ виртуальной машины для целей глубокого обучения.Образ поставляется предварительно настроенным для задач машинного обучения и обработки данных с предустановленными популярными фреймворками и инструментами.
AI Platform Notebooks — это место, где пользователь может создавать экземпляры виртуальных машин и управлять ими, а также настраивать типы памяти для обработки данных (ЦП или ГП). Он также предварительно интегрирован с экземплярами TensorFlow и PyTorch, пакетами глубокого обучения и записной книжкой Jupyter.
Управление моделями, заданиями и конечными точками может осуществляться через специальный REST API, командную строку gcloud или Google Cloud Console.
AI Platform Classic предназначена для опытных пользователей.
Google Cloud AutoML
Google Cloud AutoML — это облачная платформа машинного обучения, которая предлагает подход без кода для создания решений на основе данных. AutoML был разработан для создания пользовательских моделей как для новичков, так и для опытных инженеров по машинному обучению. Но платформа также предлагает набор готовых моделей, доступных через набор API. Мы рассмотрим их в специальных разделах.
Основная концепция платформы Google описывается с помощью строительных блоков ИИ.Это по сути разные инструменты, такие как AutoML, TensorFlow и API, которые предназначены для совместного использования для создания решений машинного обучения. Это означает, что вы можете комбинировать пользовательскую модель и предварительно обученные модели в одном продукте.
Кроме того, решения машинного обучения можно развернуть на вашем веб-сайте или в специальной ИИ-инфраструктуре, которая включает в себя различные методы обработки данных на графическом или центральном процессоре. Излишне говорить, что AutoML полностью интегрирован со всеми сервисами Google и хранит данные в облаке. Обученные модели можно развернуть через интерфейс REST API.
Итак, если рассматривать платформу как единое целое, есть два типа решений, которые предназначены для использования разными пользователями. AI Platform (Classic) предоставляет больше возможностей для создания пользовательских моделей и управления алгоритмами и процессами обучения вручную. И он лучше всего подходит для опытных разработчиков машинного обучения. Напротив, AutoML предлагает способ построения моделей, применения данных и интеграции прогнозов, когда это необходимо, без использования кода.
Фреймворк TensorFlow
TensorFlow — еще один продукт Google, который представляет собой библиотеку машинного обучения с открытым исходным кодом для различных инструментов анализа данных, а не ML-as-a-service.У него нет визуального интерфейса, и обучение TensorFlow будет довольно сложным. Однако библиотека также предназначена для инженеров-программистов, которые планируют перейти в науку о данных. Google TensorFlow довольно мощный, но нацелен в основном на задачи глубоких нейронных сетей.
По сути, комбинация TensorFlow и сервиса Google Cloud предлагает решения «инфраструктура как услуга» и «платформа как услуга» в соответствии с трехуровневой моделью облачных сервисов. Мы говорили об этой концепции в нашем техническом документе о цифровой трансформации.Посмотрите, если вы не знакомы с этим.
Решение
MLOps от Google предлагает аналогичные с AWS возможности для создания конвейеров машинного обучения и управления ими. Но поскольку Azure предлагает модульную систему, предварительно настроенную для использования в ML Studio, их решение кажется лучшим среди этих трех поставщиков.
Студия машинного обучения IBM Watson
Платформа IBM Machine Learning организована так же, как и предыдущие поставщики. Технически система предлагает два подхода: автоматизированный и ручной — для специалистов-практиков.
Watson Studio и AutoAI
Watson Studio имеет AutoAI, который обеспечивает полностью автоматизированную обработку данных и интерфейс построения моделей, который практически не требует обучения, чтобы начать обработку данных, подготовку моделей и их развертывание в производственной среде.
Автоматизированная часть может решать три основных типа задач: бинарная классификация , мультиклассовая классификация, регрессия и . Вы можете выбрать полностью автоматизированный подход или вручную выбрать метод машинного обучения, который будет использоваться.В настоящее время у IBM есть десять методов для решения этих трех групп задач:
- Логистическая регрессия
- Классификатор дерева решений
- Классификатор случайных лесов
- Классификатор деревьев с градиентным усилением
- Наивный Байес
- Линейная регрессия
- Регрессор дерева решений
- Регрессор случайного леса
- Регрессор дерева с градиентным усилением
- Изотоническая регрессия
Помимо AutoAI, есть еще две службы, которые можно использовать для построения моделей.
SPSS Modeler
SPSS Modeler . SPSS — это программный пакет, используемый для преобразования данных в статистическую бизнес-информацию. Приобретенный IBM в 2009 году и интегрированный в качестве автономной службы машинного обучения, теперь это продукт без графического пользовательского интерфейса, который позволяет загружать набор данных, использовать операторы SQL для управления данными и обучать модели работе с бизнес-информацией.
Нейронная сеть и глубокое обучение
Нейронная сеть и служба глубокого обучения немного отличается от SPSS Modeler.Это инструмент для моделирования нейронных сетей через специальный графический интерфейс. Сервис интегрирован в Watson Studio, что позволяет управлять данными с помощью встроенного инструмента интеграции данных. Основное внимание в сервисе уделяется возможностям глубокого обучения и обучения работе с большими данными. Кроме того, службы нейронной сети интегрированы с рядом фреймворков машинного обучения, таких как Keras, PyTorch или TensorFlow.
Отдельно IBM предлагает рабочий процесс глубокого обучения нейронной сети с интерфейсом редактора потоков, аналогичным тому, который используется в Azure ML Studio.
Если вам нужны расширенные возможности, у IBM ML есть записные книжки, такие как Jupiter, для программирования моделей вручную с использованием популярных фреймворков, таких как TensorFlow, scikit-learn, PyTorch и других.
Подводя итог к платформам машинного обучения как услуги (MLaaS), кажется, что в настоящее время Azure имеет самый универсальный набор инструментов на рынке MLaaS. Он охватывает большинство задач, связанных с машинным обучением, предоставляет два разных продукта для создания пользовательских моделей и имеет солидный набор API-интерфейсов для тех, кто не хочет атаковать науку о данных голыми руками.
Одним из последних обновлений, сделанных в 2019 году, является прекращение поддержки старого конструктора моделей, который был заменен AutoAI. Модели, обученные с помощью построителя моделей, по-прежнему могут работать в ML Studio, но теперь новые модели можно обучать в AutoAI. Другие обновления касаются поддержки последних версий TensorFlow и Python.
Сравнение API машинного обучения от Amazon, Microsoft, Google и IBM
Помимо полноценных платформ, вы можете использовать высокоуровневые API. Это сервисы с обученными моделями под капотом, в которые вы можете вводить свои данные и получать результаты.API вообще не требуют опыта машинного обучения. В настоящее время API от этих четырех поставщиков можно условно разделить на три большие группы:
1) распознавание текста, перевод и анализ текста
2) изображение + распознавание видео и соответствующий анализ
3) прочее, включающее определенные некатегоризованные услуги
Microsoft предлагает богатейший список возможностей. Однако наиболее важные из них доступны у всех поставщиков
API обработки речи и текста: Amazon
Amazon предоставляет несколько API-интерфейсов, нацеленных на популярные задачи анализа текста.Они также в высокой степени автоматизированы с точки зрения машинного обучения и для работы просто нуждаются в надлежащей интеграции.
Amazon Lex . Lex API создан для встраивания чат-ботов в ваши приложения, поскольку он содержит возможности автоматического распознавания речи (ASR) и обработки естественного языка (NLP). Они основаны на моделях глубокого обучения. API может распознавать письменный и устный текст, а интерфейс Lex позволяет подключать распознанные входные данные к различным серверным решениям. Очевидно, Amazon поощряет использование своей облачной среды Lambda.Итак, перед тем, как подписаться на Lex, познакомьтесь также с Lambda. Помимо автономных приложений, Lex в настоящее время поддерживает развертывание чат-ботов для Facebook Messenger, Slack и Twilio.
Amazon Transcribe . В то время как Lex — это сложный инструмент, ориентированный на чат-ботов, Transcribe создан исключительно для распознавания устного текста. Инструмент может распознавать несколько динамиков и работает с телефонным звуком низкого качества. Это делает API удобным решением для каталогизации аудиоархивов или хорошей поддержкой для дальнейшего анализа текста данных call-центра.
Амазонка Полли . Сервис Polly — это своего рода обратная сторона Lex. Он превращает текст в речь, что позволяет вашим чат-ботам отвечать голосом. Однако он не собирается составлять текст, просто заставляет его звучать близко к человеческому. Если вы когда-нибудь пробовали Alexa, вы поняли идею. В настоящее время он поддерживает как женские, так и мужские голоса для 30 языков, в основном английского и западноевропейского. В некоторых языках есть несколько женских и мужских голосов, так что есть из чего выбрать.Как и Lex, Polly рекомендуется использовать с Lambda.
Amazon Comprehend . Comprehend — это еще один набор API-интерфейсов NLP, которые, в отличие от Lex и Transcribe, нацелены на различные задачи анализа текста. В настоящее время Comprehend поддерживает:
- Извлечение сущностей (распознавание имен, дат, организаций и т. Д.)
- Обнаружение ключевой фразы
- Распознавание языков
- Анализ тональности (насколько текст положительный, нейтральный или отрицательный)
- Тематическое моделирование (определение доминирующих тем путем анализа ключевых слов)
Эта служба поможет вам анализировать ответы, комментарии и другие большие текстовые данные в социальных сетях, которые не поддаются ручному анализу, например.грамм. Комбинация Comprehend и Transcribe поможет проанализировать настроения в вашем обслуживании клиентов, основанном на телефонии.
Amazon Translate. Как видно из названия, служба Translate переводит тексты. Amazon утверждает, что использует нейронные сети, которые — по сравнению с подходами к переводу на основе правил — обеспечивают лучшее качество перевода. К сожалению, текущая версия поддерживает перевод только с шести языков на английский и с английского на эти шесть. Языки: арабский, китайский, французский, немецкий, португальский и испанский.
API обработки речи и текста: Microsoft Azure Cognitive Services
Как и Amazon, Microsoft предлагает высокоуровневые API-интерфейсы, Cognitive Services, которые можно интегрировать с вашей инфраструктурой и выполнять задачи, не требуя специальных знаний в области науки о данных.
Выступление. Речевой набор содержит четыре API, которые применяют различные типы методов обработки естественного языка (NLP) для распознавания естественной речи и других операций:
- Переводчик речи API
- Bing Speech API для преобразования текста в речь и речи в текст
- API распознавания динамика для задач проверки голоса
- Custom Speech Service для применения возможностей Azure NLP с использованием собственных данных и моделей
Язык. Языковая группа API ориентирована на текстовый анализ, аналогичный Amazon Comprehend:
- Интеллектуальная служба понимания языка (LUIS) — это API, который анализирует намерения в тексте, чтобы их можно было распознать как команды (например, «запустить приложение YouTube» или «включить свет в гостиной»)
- Text Analysis API для анализа тональности и определения тем
- Проверка орфографии Bing
- Переводчик текста API
- API веб-языковой модели, оценивающий вероятности сочетаний слов и поддерживающий автозаполнение слов
- API лингвистического анализа, используемый для разделения предложений, пометки частей речи и разделения текста на помеченные фразы
API обработки речи и текста: Google Cloud ML Services / Cloud AutoML
Хотя этот набор API-интерфейсов в основном пересекается с тем, что предлагают Amazon и Microsoft Azure, у него есть некоторые интересные и уникальные вещи, на которые стоит обратить внимание.Поскольку платформа AutoML появилась вместо Prediction API, теперь она расширяет возможности сервисов Google Cloud ML. Таким образом, любой API-интерфейс Google, касающийся автоматизированного машинного обучения, является актуальной возможностью для обучения пользовательских моделей.
Dialogflow . Разнообразные чат-боты возглавляют современные тенденции, и Google тоже есть что предложить. Dialogflow основан на технологиях НЛП и направлен на определение намерений в тексте и интерпретацию того, чего хочет человек. API можно настроить и настроить для необходимых целей с помощью Java, Node.js и Python.
API естественного языка . Этот по своим основным функциям практически идентичен Comprehend от Amazon и Language от Microsoft.
- Определение сущностей в тексте
- Признание настроения
- Анализ синтаксических структур
- Категоризация тем (например, еда, новости, электроника и т. Д.)
API преобразования речи в текст . Этот сервис распознает естественную речь, и, возможно, его главное преимущество по сравнению с аналогичными API — это обилие языков, поддерживаемых Google.В настоящее время его словарь работает с более чем 125 глобальными языками и их вариантами. Он также имеет некоторые дополнительные функции:
- Подсказки слов позволяют настроить распознавание для определенных контекстов и слов, которые можно произносить (например, для лучшего понимания местного или отраслевого жаргона)
- Фильтрация неприемлемого содержимого
- Обработка шумного звука
API облачного перевода . В принципе, вы можете использовать этот API для использования Google Translate в ваших продуктах.Он включает более сотни языков и автоматическое определение языка.
AutoML Natural Language API . По сути, он позволяет загружать данные обучения через пользовательский интерфейс AutoML и обучать пользовательские модели. Доступные функции:
- Определение содержания на английском языке
- Определение сущностей в тексте
- Анализ синтаксической структуры
API перевода AutoML . API перевода сейчас находится в стадии бета-тестирования и в настоящее время содержит информацию только о возможностях пользовательского моделирования.Пока мы упоминаем об этом, имейте в виду, что он будет обновлен в будущем.
API обработки речи и текста: IBM Watson
IBM также конкурирует за рынок API. Давайте посмотрим на их набор интерфейсов.
Преобразование текста в текст . В настоящее время IBM предлагает распознавание речи для 9 языков, включая японский, португальский и арабский. API может распознавать несколько динамиков, выделять ключевые слова и обрабатывать аудио с потерями. Интересной функцией является сбор альтернативных слов и сообщение о них.Например, если система обнаруживает слово « Boston, », она может предположить, что существует альтернатива « Austin ». После анализа гипотезы API присваивает каждой альтернативе оценку достоверности.
Преобразование текста в речь . Интересно, что 9 языков преобразования текста в речь лишь частично соответствуют языкам в API преобразования речи в текст. Хотя оба продукта поддерживают западноевропейские языки, преобразование текста в речь не поддерживает корейский и китайский языки. Английский, немецкий и испанский позволяют выбирать между мужским и женским голосом; в остальных языках используются только женские голоса.Это соответствует тенденции делать голосовых помощников в основном женскими.
Переводчик языков . Этот API поддерживает 48 языков для перевода с английского и на английский. Кроме того, вы можете добавлять собственные модели и расширять языковой охват. В настоящее время API переводчика был переписан в отдельный сервис с собственной моделью ценообразования.
Классификатор естественного языка . В отличие от большинства упомянутых API, классификатор IBM не может использоваться без вашего собственного набора данных.По сути, этот инструмент позволяет вам обучать модели, используя ваши собственные бизнес-данные, а затем классифицировать входящие записи. Распространенными вариантами использования являются маркировка продуктов в электронной коммерции, обнаружение мошенничества, категоризация сообщений, ленты социальных сетей и т. Д.
Понимание естественного языка . IBM обладает обширным набором функций для понимания языков. Помимо стандартного извлечения информации, такого как извлечение ключевых слов и сущностей с синтаксическим анализом, API предлагает ряд интересных возможностей, недоступных у других поставщиков.К ним относятся анализ метаданных и поиск отношений между сущностями. Кроме того, IBM предлагает отдельную среду для обучения ваших собственных моделей для анализа текста с помощью Knowledge Studio.
Личность . Относительно необычный API позволяет анализировать тексты и извлекать подсказки о том, как писатель взаимодействует с миром. Это в основном означает, что система вернет:
- личностных характеристик (например, доброжелательность, добросовестность , экстраверсия , эмоциональный диапазон и открытость )
- потребностей (эл.грамм. любопытство, азарт, вызов )
- ценностей (например, помощь другим, достижение успеха, гедонизм ).
На основе этих данных API может сделать вывод о предпочтениях потребления (например, музыка, обучение, фильмы ). Наиболее распространенным вариантом использования такой системы является анализ пользовательского контента для точного маркетинга продукта.
Важно отметить, что поддержка Personality Insights была прекращена и будет поддерживать существующие экземпляры, использующие API, до конца 2021 года.
Анализатор тона . Tone analyzer — это отдельный API, который фокусируется на анализе настроений и нацелен на исследования социальных сетей и различную аналитику взаимодействия с клиентами. Пусть вас не смущает его несколько двусмысленное название. Анализатор обрабатывает только письменный текст и не извлекает инсайты из устного.
Помимо текста и речи, Amazon, Microsoft, Google и IBM предоставляют довольно универсальные API для анализа изображений и видео.
Самый универсальный набор инструментов для анализа изображений в настоящее время доступен в Google Cloud
Хотя анализ изображений тесно пересекается с видео API, многие инструменты для анализа видео все еще находятся в разработке или бета-версиях.Например, Google предлагает широкую поддержку для различных задач обработки изображений, но определенно не имеет функций анализа видео, уже доступных в Microsoft и Amazon.
Microsoft выглядит победителем, хотя мы по-прежнему считаем, что у Amazon самые эффективные API-интерфейсы для анализа видео, поскольку она поддерживает потоковую передачу видео. Эта функция существенно расширяет спектр вариантов использования. IBM не поддерживает API-интерфейсы для анализа видео
API обработки изображений и видео: Amazon Rekognition
Нет, мы не ошиблись в написании слова. Rekognition API используется для задач распознавания изображений и, в последнее время, видео. В их числе:
- Обнаружение и классификация объектов (поиск и обнаружение различных объектов на изображениях и определение того, что они собой представляют),
- В видеороликах он может обнаруживать такие действия, как «танцы» или сложные действия, такие как «тушение огня»,
- Распознавание лиц (для обнаружения лиц и поиска подходящих) и анализ лиц (это довольно интересно, поскольку оно обнаруживает улыбки, анализирует глаза и даже определяет эмоциональные настроения в видео),
- Обнаружение неприемлемых видео,
- Распознавание знаменитостей на изображениях и видео (для любых целей).
API обработки изображений и видео: Microsoft Azure Cognitive Services
Пакет Vision от Microsoft объединяет шесть API, которые ориентированы на различные типы анализа изображений, видео и текста.
- Компьютерное зрение, которое распознает предметы, действия (например, ходьбу), письменный и печатный текст и определяет доминирующие цвета в изображениях,
- Модератор контента обнаруживает неприемлемый контент в изображениях, текстах и видео,
- Face API обнаруживает лица, группирует их, определяет возраст, эмоции, пол, позы, улыбки и растительность на лице,
- Emotion API — еще один инструмент распознавания лиц, который описывает выражения лиц,
- Custom Vision Service поддерживает создание пользовательских моделей распознавания изображений с использованием ваших собственных данных,
- Видеоиндексатор — это инструмент для поиска людей в видео, определения тональности речи и пометки ключевых слов.
API обработки изображений и видео: Google Cloud Services / Cloud AutoML
Облачное зрение AI . Инструмент создан для задач распознавания изображений и достаточно мощный для поиска определенных атрибутов изображений:
- Маркировка предметов
- Обнаружение лиц и анализ выражений лиц (без распознавания или идентификации конкретных лиц)
- Поиск ориентиров и описание сцены (например, отпуск, свадьба и т. Д.)
- Поиск текстов на изображениях и определение языков
- Доминирующие цвета
Облачное видео AI . API распознавания видео от Google находится на ранней стадии разработки, поэтому в нем отсутствуют многие функции, доступные в Amazon Rekognition и Microsoft Cognitive Services. В настоящее время API предоставляет следующий набор инструментов:
- Маркировка объектов и определение действий
- Определение явного содержания
- Расшифровка речи
AutoML Vision API . AutoML также разработал несколько продуктов для обучения моделей, и AutoML Vision был первым из них, о котором было объявлено.Поскольку все API AutoML сейчас находятся в стадии бета-тестирования, в настоящее время продукт предлагает:
- Маркировка предметов и привлечение людей к службе маркировки
- Регистрация обученных моделей в AutoML
AutoML Video Intelligence Classification API . Это предварительный выпуск API для обработки видео, который сможет классифицировать определенные кадры из вашего видео, используя ваши собственные метки данных.
Хотя на уровне списка функций сервисам Google AI могут не хватать некоторых возможностей, мощь API Google заключается в огромных наборах данных, к которым у Google есть доступ.
API для обработки изображений и (нет) видео: IBM Visual Recognition
API визуального распознавания от IBM в настоящее время не поддерживает анализ видео, который уже доступен у других поставщиков (отсюда и заголовок этого раздела). А механизм распознавания изображений предлагает базовый набор функций, несколько ограниченный по сравнению с тем, что предлагают другие поставщики:
- Распознавание объекта
- Распознавание лиц (API возвращает возраст и пол)
- Распознавание продуктов питания (по какой-то причине IBM разработала специальную модель для продуктов питания)
- Обнаружение неприемлемого содержимого
- Распознавание текста (эта часть API API находится в частной бета-версии, поэтому вы должны запросить отдельный доступ)
Этот API также устарел и поддерживает существующие экземпляры до конца 2021 года.И IBM, похоже, пока не предлагает альтернативы. Частично функции API визуального распознавания были интегрированы в службу нейронной сети и глубокого обучения.
Специальные API и инструменты
Здесь мы обсудим конкретные предложения и инструменты API, предоставляемые Microsoft и Google. Мы не включали сюда Amazon, поскольку их наборы API просто соответствуют вышеупомянутым категориям анализа текста и анализа изображений + видео. Однако некоторые возможности этих конкретных API также присутствуют в продуктах Amazon.
Службы Azure Bot . Microsoft приложила много усилий, чтобы предоставить своим пользователям гибкий набор инструментов для разработки ботов. По сути, сервис содержит полноценную среду для создания, тестирования и развертывания ботов с использованием разных языков программирования.
Интересно, что служба ботов не обязательно требует машинного обучения. Поскольку Microsoft предоставляет пять шаблонов для ботов (базовый, форма, понимание языка, проактивный и вопрос-ответ), только тип понимания языка требует передовых методов искусственного интеллекта.
В настоящее время вы можете использовать технологии .NET и Node.js для создания ботов с помощью Azure и развертывания их на следующих платформах и службах:
- Bing
- Кортана
- Skype
- Веб-чат
- Электронная почта Office 365
- GroupMe
- Facebook Посланник
- Слабина
- Кик
- Телеграмма
- Twilio
Оборудование AWS ML . Недавно представленные физические продукты Amazon содержат специальные API-интерфейсы для программирования оборудования с моделями глубокого / машинного обучения.Модельный ряд продуктов Amazon на основе ML-алгоритмов представлен тремя единицами:
AWS DeepLens — это программируемая камера, которая используется для применения машинного обучения на реальном оборудовании. В этом случае вы можете применять сервисы Amazon ML с помощью камеры, которую можно использовать для визуального распознавания данных и обучения на них моделей машинного обучения.
AWS DeepRacer — это еще один аппаратный компонент пакета ML, который по сути представляет собой радиоуправляемую машину 1/18, использующую обучение с подкреплением.
AWS Inferentia — это микросхема, предназначенная для обработки данных с глубоким обучением, которую можно использовать для снижения затрат на вычисления.Он поддерживает TensorFlow, PyTorch и Apache MXNet.
Поиск Bing от Microsoft . Microsoft предлагает семь API-интерфейсов, которые связаны с основными функциями поиска Bing, включая автозаполнение, поиск новостей, изображений и видео.
Информация от Microsoft . Эта группа API объединяет анализ текста с широким спектром уникальных задач:
- API рекомендаций позволяет создавать рекомендательные системы для персонализации покупок
- Служба исследования знаний позволяет вводить естественные запросы для извлечения данных из баз данных, визуализации данных и автозаполнения запросов
- Entity Linking Intelligence API предназначен для выделения имен и фраз, обозначающих соответствующие объекты (например,грамм. Age of Exploration) и устраните неоднозначность
- Academic Knowledge API выполняет автозаполнение слов, находит сходства в документах как в словах, так и в понятиях, а также ищет шаблоны графов в документах
- QnA Maker API можно использовать для сопоставления вариантов вопросов с ответами для создания чат-ботов и приложений для обслуживания клиентов
- Custom Decision Service — это инструмент обучения с подкреплением для персонализации и ранжирования различных типов контента (например, ссылок, рекламы и т. Д.) В зависимости от предпочтений пользователя
Google Cloud Talent Solution . В отличие от обычных поисковых систем, которые полагаются на точное соответствие ключевых слов, Google использует машинное обучение, чтобы находить релевантные связи между очень разнообразными описаниями должностей и избегать двусмысленности. Например, он стремится уменьшить нерелевантную или слишком широкую прибыль, например, возвращает все вакансии с ключевым словом «помощник» для запроса «помощник по продажам». Каковы основные особенности API?
- Исправление орфографических ошибок в запросах поиска работы
- Соответствие желаемому уровню стажа
- Поиск подходящей работы, в которой могут использоваться различные выражения и отраслевой жаргон (например,грамм. возврат «бариста» для запроса «сервер» вместо «специалист по сети»; или «специалист по взаимодействию» для запроса «бизнес-разработчик»)
- Работа с акронимами (например, возврат «помощника по кадрам» для запроса «HR»)
- Соответствие вариативным описаниям местоположений
Ассистент Watson . Платформа чат-бота Watson (ранее Conversation) довольно известна среди инженеров ИИ, специализирующихся на диалоговых интерфейсах. IBM предоставляет полноценную инфраструктуру для создания и развертывания ботов, способных вести диалог в реальном времени, используя анализ сущностей и намерений пользователей в сообщениях.
Инженеры
могут либо использовать встроенную поддержку из развертывания Facebook Messenger и Slack, либо создать клиентское приложение для запуска бота там.
Все четыре платформы, описанные ранее, предоставляют достаточно исчерпывающую документацию для быстрого старта экспериментов с машинным обучением и развертывания обученных моделей в корпоративной инфраструктуре. Существует также ряд других решений ML-as-a-Service, разработанных стартапами и пользующихся уважением специалистов по данным, таких как PredicSis и BigML.
Следующий ход
В разнообразии доступных решений легко потеряться.Они различаются алгоритмами, необходимыми наборами навыков и, в конечном итоге, различаются задачами. Эта ситуация довольно типична для этого молодого рынка, поскольку даже четыре ведущих решения, о которых мы говорили, не могут полностью конкурировать друг с другом. Более того, скорость изменений впечатляет. Существует высокая вероятность того, что вы остановитесь на одном поставщике, а другой неожиданно развернет что-то, что соответствует потребностям вашего бизнеса.
Правильный ход — как можно раньше сформулировать, чего вы планируете достичь с помощью машинного обучения.Это не легко. Создать мост между наукой о данных и ценностью для бизнеса непросто, если вам не хватает науки о данных или опыта в предметной области. Мы в AltexSoft часто сталкиваемся с этой проблемой при обсуждении приложений машинного обучения с нашими клиентами. Обычно речь идет о упрощении общей проблемы до одного атрибута. Будь то прогноз цен или другое числовое значение, класс объекта или разделение объектов на несколько групп, как только вы найдете этот атрибут, определить поставщика и выбрать то, что предлагается, будет проще.
Брэдфорд Кросс, партнер-основатель DCVC, утверждает, что «машинное обучение как услуги» не является жизнеспособной бизнес-моделью. По его словам, это составляет разрыв между специалистами по данным, которые собираются использовать продукты с открытым исходным кодом, и руководителями, которые собираются покупать инструменты, решающие задачи на более высоких уровнях. Тем не менее, похоже, что отрасль в настоящее время преодолевает свои зарождающиеся проблемы, и в конечном итоге мы увидим, что гораздо больше компаний обратятся к ML как услуге, чтобы избежать дорогостоящего привлечения талантов и по-прежнему обладать универсальными инструментами обработки данных.
Как Google превращается в компанию, которая занимается «машинным обучением в первую очередь».
Что касается Google, то это препятствие можно преодолеть с помощью умного переобучения. «В конце концов, математика, используемая в этих моделях, не так уж сложна», — говорит Дин. «Это достижимо для большинства инженеров-программистов, которых мы нанимаем в Google».
Чтобы еще больше помочь своему растущему числу экспертов по машинному обучению, Google создал мощный набор инструментов, которые помогут инженерам сделать правильный выбор моделей, которые они используют для обучения своих алгоритмов, и ускорить процесс обучения и доработки.Самая мощная из них — TensorFlow, система, ускоряющая процесс построения нейронных сетей. Построенный на основе проекта Google Brain и совместно изобретенный Дином и его коллегой Раджатом Монгой, TensorFlow помог демократизировать машинное обучение за счет стандартизации зачастую утомительных и эзотерических деталей, связанных с построением системы, особенно с тех пор, как Google сделал его общедоступным в ноябре. 2015.
В то время как Google изо всех сил пытается представить этот шаг как альтруистическое благо для сообщества, он также признает, что новое поколение программистов, знакомых с его внутренними инструментами машинного обучения, является довольно хорошей вещью для набора персонала в Google.(Скептики отметили, что Google TensorFlow с открытым исходным кодом — это догоняющий шаг с Facebook, который в январе 2015 года публично выпустил модули глубокого обучения для более ранней системы машинного обучения, Torch.) Тем не менее, функции TensorFlow вместе с одобрением Google, быстро сделали его фаворитом в кругах программистов машинного обучения. По словам Джаннандреа, когда Google предложил свой первый онлайн-курс TensorFlow, на него подписались 75 000 человек.
Google по-прежнему приберегает множество вкусностей для собственных программистов. Внутри компании есть, вероятно, не имеющий себе равных набор инструментов для протезирования ML, не последним из которых является инновация, которую она использует в течение многих лет, но о которой было объявлено совсем недавно, — Tensor Processing Unit.Это микросхема микропроцессора, оптимизированная для специфических особенностей выполняемых программ на машинном языке, подобно тому, как блоки обработки графики разрабатываются с единственной целью ускорения вычислений, которые отбрасывают пиксели на экран дисплея. Многие тысячи (только Бог и Ларри Пейдж, вероятно, знают, сколько) находятся внутри серверов в огромных центрах обработки данных компании. Повышая мощность своих нейронных сетей, TPU дает Google огромное преимущество. «Мы не смогли бы создать RankBrain без него», — говорит Дин.
Но поскольку Google больше всего нуждается в людях для разработки и совершенствования этих систем, компания лихорадочно работает над совершенствованием своих инструментов для обучения программному обеспечению, она безумно оттачивает свои эксперименты по обучению инженеров машинного обучения. Они варьируются от маленьких до больших. К последней категории относятся двухдневные быстрые и грязные «ускоренные курсы машинного обучения с TensorFlow» со слайдами и упражнениями. Google надеется, что это первый вкус, и впоследствии инженеры будут искать ресурсы, чтобы узнать больше.«Тысячи людей подписались на следующее предложение этого курса, — говорит Дин.
Другие, более мелкие усилия вовлекают посторонних в пасть машинного обучения Google. Ранее этой весной Google начал программу Brain Residency — программу, призванную привлечь многообещающих аутсайдеров на год интенсивного обучения внутри группы Google Brain. «Мы называем это скачком в вашей карьере в области глубокого обучения», — говорит Робсон, который помогает управлять программой. Хотя возможно, что некоторые из 27 специалистов по машинному обучению из разных дисциплин в начальной программе могут остаться вокруг Google, заявленная цель класса — отправить их обратно в дикую природу, используя их сверхспособности для распространения версии Google. машинное обучение в сфере данных.
Итак, в каком-то смысле то, что Карсон Холгейт изучает в своей программе ниндзя, является центральным для того, как Google планирует сохранить свое доминирующее положение как компания, ориентированная на ИИ, в мире, где машинное обучение занимает центральное место.
Ее программа началась с четырехнедельного учебного лагеря, на котором руководители наиболее продвинутых проектов Google в области искусственного интеллекта обучили их тонкостям внедрения машинного обучения в проекты. «Мы бросаем ниндзя в конференц-зал, и Грег Коррадо сидит за белой доской, объясняя LSTM [« Долгосрочная память », техника, которая создает мощные нейронные сети], дико жестикулируя, показывая, как это на самом деле работает, что за математика как использовать его в производстве », — говорит Робсон.«Мы просто делаем это с каждой имеющейся у нас техникой и каждым инструментом в нашем наборе инструментов в течение первых четырех недель, чтобы дать им действительно иммерсивное погружение».
Холгейт прошел учебный курс и теперь использует инструменты машинного обучения для создания в Android функции связи, которая поможет сотрудникам Google общаться друг с другом. Она настраивает гиперпараметры. Она очищает свои входные данные. Она убирает стоп-слова. Но у нее нет возможности повернуть назад, потому что она знает, что эти методы искусственного интеллекта — настоящее и будущее Google, а может быть, и всех технологий.