Разное

Microsoft ml studio: Microsoft Azure Machine Learning Studio (classic)

Содержание

Начинаем работу с Azure Machine Learning service / Блог компании Microsoft / Хабр

Сегодня рассмотрим нашу пятую итерацию по созданию продукта для машинного обучения. Чтобы подойти к этой теме, кратко напомним о предыдущих продуктах и их состоянии на текущий момент. Рассмотрим только полностью интегрированные решения, которые позволяют пройти путь от расчета модели до использования в реальных кейсах в одном полноценном продукте.

Передаю слово автору, нашему MVP Михаилу Комарову.

Эта статья на нашем новостном портале.

Мы не рассматриваем HDInsight, виртуальную машину DataScience и прочие независимые компоненты, связанные с машинным обучением, а также когнитивные сервисы.

  1. В SQL Server 2005 появился компонент Data mining, включающий язык DMX, а также расширение для Excel. Последнее расширение работало на Excel В настоящее время продукт не развивается, хотя он есть в текущих версиях SQL Sever и существует для обратной совместимости.
  2. Прошло 10 лет. В 2016 году стартовал проект Azure Machine Learning Studio. Последнее косметическое обновление – октябрь 2018 г., библиотеки R. В настоящий момент не является мейнстримом. Из основных недостатков – невозможность экспорта и импорта моделей, а также вопросы с масштабируемостью. Пример использования можно посмотреть по ссылке. Скорее всего, через 2-3 года он тихо сойдет со сцены.
  3. SQLServer 2016 (поддержка только R), SQL 2017,2019 (поддержка R и Python), а также выделенный сервер для машинного обучения. Идет активное развитие продукта в части расширения возможностей машинного обучения в корпоративной среде (кластеризация и прочие элементы масштаба предприятия). Есть кейсы с анализом большого объёма данных в реальном времени. Интересен для тех, кто не готов делиться данными с облаком.
  4. В 2017 году в предварительной версии появился Azure Machine Learning Workbench, ставился локально вместе с Python, но требовал учетной записи в Azure. Для тех, кому интересно, посмотрите здесь. В настоящий момент проект закрыт, но многие идеи перенесены в Azure Machine Learning Service.

Текущая версия Azure Machine Learning Service доступна для платного использования с декабря 2018 года, также есть ограниченная бесплатная версия.

Microsoft разбивает Azure Machine Learning Service на три больших стадии: подготовка данных, сам эксперимент с созданием модели, развертывание. На схеме это выглядит так:

Далее – немного более детальная схема, особо обратим внимание на поддержку Python и отсутствие поддержки R. Дает нам информацию, каким образом все происходит.

Заключительная часть – таксономия, на которой видны три ключевых составных блока: создание и расчет модели (слева), сбор данных о процессе расчета модели (центр), развертывание и поддержка развернутой модели. Остановимся на каждом ключевом блоке более подробно.

Работа начинается с создания учетной записи в Azure, если ее нет – то с помощью нехитрых комбинаций заводим учетную запись и заходим на portal. azure.com. Там выбираем Create a resource, затем кликаем Azure Machine learning service workspace. Выбираем подписку, создаем область и новую ресурсную группу.

После нескольких минут работы облака мы получим на Dashboard следующий результат работы, и далее перейдем в Machine Learning service workspace.

Выбираем Azure Machine Learning service workspace, там открываем Microsoft Azure Notebooks, где предлагается клонировать пример, соглашаемся, выбираем tutorial – в нем находится пример классификации изображений.

При запуске проверьте, выбрано ли ядро Python 3.6, и можете выполнить пример по шагам. Описание шагов примера не входит в статью.

Идея в общем в том, что используя браузер и стандартный Jupyter notebook c кодом на Python мы можем создать, рассчитать и сохранить модель. Есть и другой путь – используя Visual Studio Code, мы можем подключиться к нашей области и посмотреть свойства объектов, также писать там код, не забыв поставить плагин Azure ML. Попутно заметим, что как только мы стали использовать Visual Studio Code, мы автоматом получили нормальную IDE с контролем версий.

В завершение раздела обратим внимание на возможности выбора места для расчета и для развертывания моделей.

Наблюдение за процессом и развёртывание сервиса

Можно посмотреть раздел Experiments, где отображены параметры рассчитанной модели.

Для нас представляет интерес Image – Azure Container Instance, проще говоря, это

Docker-контейнер с нашей моделью, который находится в облаке.

Процесс развертывания происходит из Visual Studio Code или Microsoft Azure Notebooks. По окончании развертывания сервиса, ядро которого составляет наш экземпляр контейнера с моделью, получаем следующую картину:

После завершения эксперимента не забудем удалить сервис и все выделенные ресурсы, чтобы не произошло автоматическое списание средств с вашей банковской карты. Проще удалить целиком созданную ресурсную группу.

В итоге имеем решение масштаба предприятия, с возможностью автоматического расчета модели, развертывания и автоматического возвращения на предыдущую модель в случае неудовлетворительного результата метрик.

Ресурсы:

azure.microsoft.com/en-us/services/machine-learning-service

Об авторе

Михаил Комаров, Microsoft MVP

Более 20 лет в ИТ-сфере. Интересы: виртуализация, инфраструктура, анализ данных и машинное обучение. Занимается поддержкой существующих и реализацией новых систем, направленных на повышение эффективности работы в корпоративном сегменте. Ранее работал тренером по информационным технологиям.

создание простой модели машинного обучения

Перед вами пошаговое руководство по созданию модели машинного обучения с использованием Microsoft Azure ML, перевод статьи «Tutorial – Build a simple Machine Learning Model using AzureML«. Ссылка на оригинал — в подвале статьи.

Насколько тяжело построить модель машинного обучения на языках программирования R или Python? Для начинающих это геркулесов труд. Программистам среднего уровня и синьорам для этого требуется лишь достаточный объем памяти системы, осознание поставленной задачи и немного времени.

Модели машинного обучения иногда сталкиваются с проблемой несовместимости с системой. Чаще всего это происходит, когда датасет имеет слишком большие размеры; модель будет дольше считаться или просто перестанет работать. То есть работа с машинным обучением в любом случае предоставит определенные сложности как начинающим так и экспертам.

Что такое Azure ML?

Хорошая новость — освоить машинное обучение сегодня стало намного проще, чем, например, в 2014 году. Как новичок в этом деле, ты можешь начать познавать машинное обучение с помощью фреймворка Microsoft Azure ML.

Azure ML представляет собой реализацию алгоритма машинного обучения через графический интерфейс от Microsoft.

Какие ресурсы доступны на AzureML

Давайте познакомимся с арсеналом этого инструмента.

  1. Примеры датасетов: мне нравится тестировать инструменты, которые имеют множество встроенных наборов данных. Это упрощает процесс тестирования мощности инструмента. Azure ML поставляется с длинным списком встроенных наборов данных. Список датасетов.
  2. Средства машинного обучения: Azure ML имеет в наличии почти все популярные алгоритмы машинного обучения и формулы оценочных показателей.
  3. Преобразование данных: в Azure ML есть все параметры фильтрации, параметры преобразования, параметры суммирования и варианты расчета матрицы.
  4. Параметры преобразования формата данных: А  что если вы хотите добавить свой собственный набор данных? Azure ML имеет несколько опций для добавления наборов данных из вашей локальной системы. Вот эти варианты:

Создание модели

Теперь вы знаете потенциал AzureML. Давайте теперь сосредоточимся на способах использования. Я приведу простой пример, чтобы продемонстрировать то же самое. Я предлагаю вам проделать эти шаги со мной, чтобы лучше понять этот урок.

Здесь вы начинаете — нажмите на “Создать новый эксперимент”.

Вы получаете пустую таблицу экспериментов:

Теперь вы можете выбрать pallete:

Шаг 1. Выберите набор данных. Это могут быть ваши примеры данных или же вы можете загрузить их. В этом уроке я буду использовать «Данные о раке молочной железы» из встроенных наборов данных. Просто перетащите эти данные в главное окно.

Шаг 2. Выберите инструмент деления. Вы можете исполь

Список сокращений в прайс-листе Microsoft. Правила лицензирования. ИТ компания Робот икс

Типичные сокращения в поле «Наименование продукта»:

Расшифровка

Перевод

1Clt

1 client

чаще всего 1 клиентская лицензия

1Y

1 year

1 год

2Y

2 years

2 года

32-bit/x64

32-bit Win и 64-bit Win

32-х и 64-х битные

3Y

3 years

3 года

64Bit

64-Bit Win

64-х битные

A (после названия программы)

Level A

Уровень цен А

Aq Y1

Acquired year 1

Приобретается в первый год действия соглашения

Aq Y2

Acquired year 2

Приобретается во второй год действия соглашения

Aq Y3

Acquired year 3

Приобретается в третий год действия соглашения

AP

Additional Product

Дополнительный продукт

Acdmc

Academic

Лицензии для образовательных учреждений

ALNG

All Languages

Все языковые версии

B (после названия программы)

Level B

Уровень B

C (после названия программы)

Level C

Уровень C

CAL

Client Access License

Клиентская лицензия

CEE

Central Eastern Europe

Регион Центральной и Восточной Европы

Clt

Client (например, SQLSvrWkgrp 2008 SNGL OLP C 5Clts)

Клиентская лицензия

CIS

Core Infrastructure Server

Лицензия для некоторых серверов

CltML

Client Management License

Клиентская лицензия на

управление

Сnsl

Console

Консоль

CML

Configuration Management License

Клиентская лицензия для некоторых серверов (например, для System Management Server)

CmprhnsvKit

Comprehensive Kit

Полный комплект носителей

Conn

Connector (например, “Project External Connector”)

чаще всего лицензия для доступа внешних пользователей

CS/HU/PL/RU

Наборы языковых версий (чешский, вергерский, польский, русский)

Custmr

Customer

Клиент

D (после названия программы)

Level D

Уровень D

Day

Например, 120 Day, 180 Day

Срок действия версий для тестирования (в днях)

Dsnr

Designer (Office SharePoint Designer)

DvcCAL

Device (например, Device CAL)

Клиентская лицензия на устройство

DocKit

Document Kit

Комплект документации

Dsktp

Desktop

Платформа для трёхлетних соглашений версий 6. 6 и ранее

Dyn

Dynamics

Продукты Dynamics

Ed

Edition

Версия продукта

ECAL/EntCAL

Enterprise CAL

Пакет лицензий клиентского доступа Enterprise

Emb

Embedded

Встроенные версии

ENG

English

Английский язык

Ent

Enterprise

Редакция продукта

EU/EFTA

European Union/ European Free Trade Area

Европейский Союз/Европейская Ассоциация Свободной Торговли

EUROPN

European

Европейский

Exchg

Exchange

Серверный продукт

EC/ExtConn

External Connector

Клиентская лицензия для доступа внешних пользователей

Ext

External

внешний

FrFrnt

Forefront

Название линейки продуктов

Flflmnt

Fulfillment

Носитель

GGS

Get Genuine Solution

Решение по легализации для малых и средних организаций

GGWA-LO

Get Genuine Windows Agreement for Large Organizations

Решение по легализации для больших корпоративных заказчиков

Gov

Government

Для государственных учреждений

Hdwr

Hardware

HV

Hyper-V

Гипервизор

Itnm

Itanium 64-bit

Версия для 64-битных серверов Itanium

IM

Instant Messaging

Infra

Infrastructure

Intrnt

Internet

Интернет

Intl

International

международный

ISV

Independent Software Vendor

Независимый разработчик программного обеспечения

Lang

Language

Язык

Lic

License

Лицензия

LicSAPk

License/Software Assurance Pack

Лицензия с Software Assurance

LCLZD

Localized

Локализованый

LCS

Live Communications Server

Mac

Macintosh

Макинтош

Mdia

Media

Дистрибутив

Mgmt

Management (например, “Windows Rights Management Services”)

ML

Management License

Лицензии на управление

Mgr

Manager

Monthly Subscr

Monthly Subscriptions-Volume License

Ежемесячная подписка

MonthlySub

MDOP

Microsoft Desktop Optimization Pack

MLF

Microsoft Licensing Fulfillment

Mth/Mthly

Month/Monthly

Месяц/ежемесячно

MUL

Multiple Users License

MultilangPk

Multilanguage Pack

Языковая версия, позволяющая переключать интерфейс продукта

MVL

Microsoft Volume License

Принадлежность к программам корпоративного лицензирования

NFR

Not For Resale

Не для продажи

NL (после названия программы)

No Level

Уровень No Level

non-EU/EFTA

non-European Union/ European Free Trade Area

Не для поставки в Европейский Союз /Европейскую Ассоциацию Свободной Торговли

OCS

Office Communications Server

OEM

Original Equipment Manufacturer

Сборщик техники

Onln

Online

Он-лайн

OLP

Open License Program

Microsoft Open License

OLV

Open Value

Microsoft Open Value

OS

Operating System

Операционная система

Outlk

Outlook

Pk

Pack (например, “Upgrade/Software Assurance Pack”)

Чаще всего обозначает комплект лицензий (например, лицензия + Software Assurance)

Pkg

Package

Комплект

Ptnr

Partner

Партнер, партнерский

Pltfrm

Platform

Платформа

PerUser

Per User

На пользователя

PerOSE

PerOfficeServerExtensions

На операционную среду

PerDVC

Per Device

На устройство

PIPC

Pre-Installed PC

Предустановленный на ПК

Prod

Product

Продукт (очень редко)

Proc

Processor License

Лицензия «на процессор»

Promo

Promotion

Специальное предложение

Pro

Professional

Профессиональный

Prjct

Project

Prgrm

Program

программа

Pblshr

Publisher

Qlfd

Qualified

Чаще всего означает, что достаточно 1 лицензии для размещения заказа по программе Open Business

R2

Release 2

Новая версия продукта

Rmt

Remote

Удалённый

Rnw

Renew

Продление

Renwl

Renewal

При продлении Software Assurance

Rental

Rental

Лицензии, позволяющие сдавать в аренду определённые продукты

Rght

Right (например, Rental Rights или Windows Rights Management Services)

Право

SA

Software Assurance

Программа поддержки

SAL

Subscriber Access License

Используются в программе SPLA

SBE

Small Business Edition

Версия для малого бизнеса

Sngl

Single Language

Одна языковая версия

SP

Service Pack

Сервис пак

Srvcs

Services

Сервисы

SASU

Software Assurance Step Up

Право льготного перехода с более низкой редакции продукта на более высокую

Svr

Server

Сервер

Spcl

Special

Специальный

Std

Standard

Стандартный

Stdnt

Student

Subs

Subscription

Подписка

Sys

System

Система

TS

Terminal Services

Trnml

Terminal

Trial

Версия ПО для тестирования

Tst

Test

TMG

Threat Management Gateway

Ранее ISA Server

Ult

Ultimate

UM

Unified Messaging

Ultd

Unlimited

Неограниченный

Upgrd

Upgrade

Апгрейд

UTD

Up-to-date

50% скидка на первый платеж при наличии лицензий на текущие или предыдущие версии в программе OVS

Usr

User CAL

Клиентские лицензии на пользователя

Vers

Version

Версия

Vrt

Vitrual

Виртуальный

VDI

Virtual Desktop Infrastructure

VMM

Virtual Machine Manager

VB

Visual Basic

VS

Visual Studio

VL

Volume Licensing

Корпоративное лицензирование

w/

with

С

w/1

Например “w/1 ProjectSvr CAL”

Означает, что данная позиция включает 1 клиентскую лицензию для Project Server

w/o

without

без

WAH

Work At Home

Лицензии для работы дома

Win

Windows

WGE

Workgroup Edition

Win32

32-Bit Win

32-х битный

wSrvc

With Services

Включая онлайн-службы

woSrvcs

Without Services

Без онлайн-служб

YR

year

Год

Что такое студия машинного обучения Azure?

  • 2 минуты на чтение

В этой статье

Из этой статьи вы узнаете о студии машинного обучения Azure, веб-портале для разработчиков специалистов по анализу данных в Машинном обучении Azure. Студия сочетает в себе возможности без кода и сначала код для инклюзивной платформы для анализа данных.

Из этой статьи вы узнаете:

Автор проектов машинного обучения

Студия предлагает несколько вариантов разработки в зависимости от типа проекта и уровня взаимодействия с пользователем.

  • Ноутбуки

    Напишите и запустите свой собственный код на управляемых серверах Jupyter Notebook, которые напрямую интегрированы в студию.

  • Разработчик машинного обучения Azure

    Используйте конструктор для обучения и развертывания моделей машинного обучения без написания кода.Перетаскивайте наборы данных и модули для создания конвейеров машинного обучения. Попробуйте учебник для дизайнеров.

  • Пользовательский интерфейс автоматизированного машинного обучения

    Узнайте, как создавать автоматизированные эксперименты машинного обучения с помощью простого в использовании интерфейса.

  • Маркировка данных

    Используйте маркировку данных машинного обучения Azure для эффективной координации проектов маркировки данных.

Управление активами и ресурсами

Управляйте ресурсами машинного обучения прямо в браузере.Ресурсы совместно используются в одной рабочей области между SDK и студией для беспрепятственного использования. Используйте студию для управления:

  • Модели
  • Наборы данных
  • Хранилища данных
  • Вычислительные ресурсы
  • Ноутбуки
  • Эксперименты
  • Журналы работ
  • Трубопроводы
  • Конечные точки трубопровода

Даже если вы опытный разработчик, студия может упростить вам управление ресурсами рабочего пространства.

ML Studio (классическая) против студии машинного обучения Azure

Выпущенная в 2015 году, ML Studio (классическая) была нашим первым конструктором машинного обучения с перетаскиванием.Это автономный сервис, который предлагает только визуальные впечатления. Studio (классическая) не взаимодействует с Машинным обучением Azure.

Машинное обучение Azure — это отдельная модернизированная служба, которая предоставляет полную платформу для анализа данных. Он поддерживает работу с первым кодом и с низким кодом.

Студия машинного обучения Azure — это веб-портал в Машинное обучение Azure, который содержит варианты с низким кодом и без кода для разработки проектов и управления активами.

Мы рекомендуем новым пользователям выбрать Машинное обучение Azure вместо ML Studio (классический) для новейшего набора инструментов для анализа данных.

Сравнение характеристик

В следующей таблице приведены основные различия между ML Studio (классической) и Машинным обучением Azure.

Элемент ML Studio (классический) Машинное обучение Azure
Интерфейс перетаскивания Классический опыт Обновленный интерфейс — конструктор машинного обучения Azure
Пакеты SDK кода Не поддерживается Полная интеграция с пакетами SDK для машинного обучения Azure Python и R
Эксперимент Масштабируемый (ограничение обучающих данных 10 ГБ) Масштабирование с целью вычисления
Цели обучающих вычислений Собственная цель вычислений, поддержка только ЦП Широкий спектр настраиваемых вычислительных целей обучения.Включает поддержку GPU и CPU
Вычислительные цели развертывания Собственный формат веб-службы, не настраиваемый Широкий спектр настраиваемых вычислительных целей развертывания. Включает поддержку GPU и CPU
ML Трубопровод Не поддерживается Создавайте гибкие модульные конвейеры для автоматизации рабочих процессов
MLOps Базовое управление моделью и развертывание; Развертывания только ЦП Управление версиями сущностей (модель, данные, рабочие процессы), автоматизация рабочих процессов, интеграция с инструментами CICD, развертывание ЦП и графических процессоров и многое другое
Формат модели Собственный формат, только Studio (классический) Поддерживаются несколько форматов в зависимости от типа учебного задания
Автоматическое обучение модели и настройка гиперпараметров Не поддерживается Поддерживается. Варианты с первым кодом и без кода.
Обнаружение дрейфа данных Не поддерживается Поддерживается
Проекты маркировки данных Не поддерживается Поддерживается

Следующие шаги

Посетите студию или изучите различные варианты разработки с помощью этих руководств:

Машинное обучение Azure | Microsoft Azure

  • Продажи:

    :
    Найдите местный номер

  • Мой аккаунт

  • Портал
  • войти в систему

  • Бесплатный аккаунт

  • Обзор

  • Решения

  • Товары

      • Рекомендуемые

        Рекомендуемые

        Изучите некоторые из самых популярных продуктов Azure

      • AI + машинное обучение

        AI + машинное обучение

        Создавайте приложения следующего поколения с использованием возможностей искусственного интеллекта для любого разработчика и любого сценария

      • Аналитика

        Аналитика

        Сбор, хранение, обработка, анализ и визуализация данных любого разнообразия, объема и скорости

        • Служба аналитики Azure Synapse Analytics с непревзойденным временем получения аналитических данных (ранее — хранилище данных SQL)
        • Azure DatabricksБыстрая, простая и совместная аналитическая платформа на основе Apache Spark
        • HDInsightProvision облачные кластеры Hadoop, Spark, R Server, HBase и Storm
        • Фабрика данныхПростая гибридная интеграция данных в масштабах предприятия
        • Машинное обучениеСоздание, обучение и развертывание моделей от облака до периферии
        • Azure Stream Analytics Аналитика в реальном времени для быстро движущихся потоков данных из приложений и устройств
        • Хранилище озера данных AzureМассивно масштабируемые и безопасные функции озера данных на основе хранилища BLOB-объектов Azure
        • Службы аналитики AzureДвигатель аналитики корпоративного уровня как услуга
        • Концентраторы событий Получать телеметрию с миллионов устройств
        • Узнать больше

        • Узнать больше

      • Блокчейн

        Блокчейн

        Создавайте приложения на основе блокчейнов и управляйте ими с помощью набора интегрированных инструментов

      • Вычислить

        Вычислить

        Получите доступ к облачным вычислительным мощностям и масштабируйтесь по запросу — и платите только за те ресурсы, которые вы используете

      • Контейнеры

        Контейнеры

        Ускорение разработки и управления контейнерными приложениями с помощью интегрированных инструментов

      • Базы данных

        Базы данных

        Поддерживайте быстрый рост и ускоряйте внедрение инноваций с помощью безопасных, полностью управляемых сервисов баз данных корпоративного уровня

      • DevOps

        DevOps

        Ускорение внедрения инноваций с помощью простых и надежных инструментов для непрерывной доставки

        • Azure DevOpsServices для команд для обмена кодом, отслеживания работы и доставки программного обеспечения
        • Azure PipelinesНепрерывно создавайте, тестируйте и развертывайте на любой платформе и в облаке
        • Azure Boards Планируйте, отслеживайте и обсуждайте работу в ваших командах
        • Azure Repos Получите неограниченное количество частных репозиториев Git в облаке для вашего проекта
        • Артефакты AzureСоздавайте, размещайте и делитесь пакетами со своей командой
        • Планы тестирования AzureТестируйте и отправляйте с уверенностью с помощью набора инструментов для ручного и исследовательского тестирования
        • Azure DevTest LabsБыстрое создание сред с использованием повторно используемых шаблонов и артефактов
        • Интеграция инструментов DevOps Используйте свои любимые инструменты DevOps с Azure
        • Azure Monitor Полная наблюдаемость ваших приложений, инфраструктуры и сети

Машинное обучение — начало работы с Microsoft Azure ML Studio

Всем, кто делал покупки в Amazon. com знает, что вы всегда будете покупать больше, чем вам нужно. Это связано с тем, что Amazon использует сложный набор алгоритмов, чтобы рекомендовать товары на основе того, что вы сейчас просматриваете. Например, если вы просматриваете конкретную книгу о Стиве Джобсе, Amazon также рекомендует список других книг, которые также купили другие покупатели, купившие эту книгу.)

Дополнительная информация: статьи об искусственном интеллекте

Amazon делает это, собирая данные о том, что покупают клиенты, и используя этот огромный набор данных, он может делать прогнозы относительно:

  • Тенденции и потребности в продуктах
  • Взаимосвязанные продукты
  • Обзоры продуктов и их полезность

Алгоритмы, используемые Amazon, относятся к области, известной как Машинное обучение, , иногда также широко известное как Искусственный интеллект (AI).

Amazon — не единственная компания, использующая машинное обучение в своих продуктах. Uber, гигант совместного использования поездок, использует машинное обучение для всех аспектов своей работы. Например, он использует машинное обучение, чтобы:

  • Предоставить вам точную оценку того, когда автомобиль появится, когда вы его запросите
  • Определить правильное место получения на основе вашего указанного местоположения
  • Спроектировать требования клиентов и скорректировать его пиковую цену

Что такое машинное обучение?

Машинное обучение (ML) — это набор алгоритмов и методов, используемых для проектирования систем, обучающихся на основе данных.Алгоритмы машинного обучения имеют сильную математическую и статистическую основу, но они не принимают во внимание знания предметной области. Машинное обучение состоит из следующих дисциплин:

  • Научные вычисления
  • Математика
  • Статистика

Хорошее приложение ML пытается определить, является ли конкретная транзакция по кредитной карте мошеннической. Учитывая прошлые записи транзакций клиента, задача специалиста по данным — очистить и преобразовать их на основе своих знаний в предметной области, чтобы он мог применить правильный алгоритм машинного обучения для решения проблемы (в этом случае определить, является ли транзакция мошеннической). Специалист по анализу данных должен знать, какой метод машинного обучения лучше всего поможет и как его применять. Ему не обязательно знать, как работает этот метод, хотя его знание всегда поможет ему построить более точную модель обучения.

Что такое Студия машинного обучения Microsoft Azure?

Microsoft Azure Machine Learning Studio (далее MAML) — это интерактивный инструмент для совместной работы с перетаскиванием и построением моделей машинного обучения. Вместо использования алгоритмов машинного обучения в таких языках, как Python или R, MAML инкапсулирует наиболее часто используемые алгоритмы машинного обучения в виде модулей и позволяет создавать модели обучения графически с использованием вашего набора данных.Это ограждает начинающих практиков Data Science от деталей алгоритмов, в то же время предлагая возможность тонкой настройки гиперпараметров алгоритма для продвинутых пользователей. После тестирования и оценки модели обучения вы можете опубликовать свои модели обучения как веб-службы, чтобы ваши пользовательские приложения или инструменты бизнес-аналитики, такие как Excel, могли их использовать. Более того, MAML поддерживает встраивание вашего скрипта Python или R в ваши модели обучения, давая опытным пользователям возможность писать собственные алгоритмы машинного обучения.

Пример: эксперимент «Титаник»

Теперь, когда вы хорошо понимаете, что такое машинное обучение и на что оно способно, давайте начнем с эксперимента с использованием MAML, прежде чем я расскажу обо всех технологиях и мельчайших деталях, лежащих в основе машинного обучения. Для этого эксперимента я собираюсь использовать классический пример машинного обучения — предсказание выживания пассажира на Титанике.

Если вы не знакомы с Титаником, 15 апреля 1912 года во время своего первого рейса Титаник затонул после столкновения с айсбергом, в результате чего погибли 1502 из 2224 пассажиров и членов экипажа.Огромный корабль рекламировали как непотопляемый.

Основной причиной смерти стало недостаточное количество спасательных шлюпок. Большинство выживших составляли женщины, дети и представители высшего сословия. Это очень интересный эксперимент в ML. Если нам дан набор точек данных, содержащих различные профили пассажиров (например, пол, класс кабины, возраст и т. Д.), А также то, пережили ли они затопление, было бы интересно использовать ML для прогнозирования выживаемости пассажир на основании его / ее профиля.

Интересно, что вы можете получить данные о Титанике из Kaggle (https://www.kaggle.com/c/titanic/data).

Kaggle — это платформа для прогнозного моделирования и аналитических соревнований, в которых компании и исследователи публикуют данные, а статистики и специалисты по добыче данных соревнуются за создание лучших моделей для прогнозирования и описания данных.

Предоставляются два набора данных:

Вы используете обучающий набор , чтобы обучить вашу модель обучения делать прогнозы.После обучения вашей модели обучения вы используете набор для тестирования, чтобы проверить точность вашего прогноза.

После загрузки наборов для обучения и тестирования изучите их содержимое. Оба (сохраненные в виде файлов CSV) должны иметь следующие поля:

PassengerId : порядковый номер, указывающий строку записей

Survived : , пережил ли конкретный пассажир тонущий

Pclass : класс билета, принадлежащий пассажиру

Имя : имя пассажира

Пол : пол пассажира

Возраст : возраст пассажира

СибСп : количество братьев и сестер / супругов на борту «Титаника»

Parch : количество родителей / детей на борту «Титаника»

Билет : номер билета

тариф : оплаченный тариф : оплаченный тариф пассажирский

Кабина : номер кабины

Место посадки : место посадки; обратите внимание, что C = Cherbourg, Q = Queenstown, S = Southampton

Использование Microsoft Azure Machine Learning Studio

Теперь вы готовы загрузить данные в MAML. Используя веб-браузер, перейдите на http://studio.azureml.net и щелкните ссылку «Зарегистрироваться здесь».

Если вы просто хотите испытать MAML без каких-либо финансовых обязательств, выберите вариант «Бесплатная рабочая область» и нажмите «Войти». Другие варианты включают бесплатную восьмичасовую пробную версию и 9,99 долларов США в месяц за подписку.

После входа в систему вы увидите список элементов в левой части страницы (см. , рис. 1, ). По мере продвижения я буду выделять некоторые элементы на этой панели.

Рисунок 1. Левая панель машины Azure.

Загрузка набора данных

Для создания обучающих моделей вам нужны наборы данных. В этом примере вы будете использовать только что загруженный набор данных.

Щелкните элемент + NEW , расположенный в нижнем левом углу страницы. Выберите НАБОР ДАННЫХ слева (см. , рис. 2, ), а затем щелкните элемент справа с надписью ИЗ ЛОКАЛЬНОГО ФАЙЛА .

Рисунок 2: Загрузить набор данных на машину Azure

Нажмите кнопку Выберите файл (см. , рис. 3, ) и найдите тренировочный набор , загруженный ранее.По завершении нажмите кнопку с галочкой, чтобы загрузить набор данных в MAML.

Рисунок 3: Выберите файл для загрузки в качестве набора данных

Повторите вышеуказанные шаги, чтобы загрузить также набор данных testing .

Создание эксперимента

Теперь вы готовы создать обучающий эксперимент в MAML. Нажмите кнопку + NEW в нижнем левом углу страницы и выберите «Пустой эксперимент».

Теперь вы должны увидеть холст, показанный на Рис. 4 .

Рисунок 4: Холст, представляющий ваш эксперимент

Вы можете дать имя своему эксперименту, набрав его поверх имени эксперимента по умолчанию вверху. Я выбрал Titanic Experiment .

Как только это будет сделано, давайте добавим обучающий набор данных на холст. Введите имя обучающего набора в поле поиска слева, и появится соответствующий набор данных.

Перетащите набор данных train.csv на холст (см. , рис. 5, ).

Рисунок 5. Перетащите набор данных на холст.

Поезд.Набор данных csv имеет выходной порт (представлен кружком с 1 внутри). При нажатии на нее открывается контекстное меню (см. , рис. 6, ).

Рисунок 6: Визуализация содержимого набора данных

Щелкните Визуализировать, чтобы просмотреть содержимое набора данных. Набор данных теперь отображается, как показано на рис. 7 .

Рисунок 7: Просмотр набора данных

Прокрутите данные в течение минуты. Обратите внимание на следующее:

  • Поле PassengerID — это просто порядковый номер и не содержит никакой информации об отдельных пассажирах.Это поле следует исключить при обучении вашей модели обучения.
  • Поле Билет содержит номер билета пассажира. В этом случае кажется, что многие из этих чисел генерируются случайным образом, поэтому они не очень полезны для прогнозирования выживаемости пассажира. От него следует отказаться.
  • Поле Cabin содержит много недостающих данных. Поля, в которых много отсутствующих данных, не обеспечивают понимания модели обучения, и от них следует отказаться.
  • Если вы выберете поле Survived , вы увидите диаграмму, отображаемую в правом нижнем углу окна (см. Рисунок 8 ). Поскольку пассажир может либо выжить (представлено числом 1 ), либо умереть (представлен числом 0 ), нет смысла использовать промежуточные значения. Однако, поскольку оно представлено в виде числового значения, MAML не сможет вычислить его, пока вы не сообщите об этом. Чтобы исправить это, вам нужно сделать это значение категориальным.Категориальное значение — это значение, которое может принимать одно из ограниченного и обычно фиксированного числа возможных значений.
  • Поля Pclass , SibSp и Parch также следует сделать категориальными.

Все поля, которые нельзя исключить, полезны при создании модели обучения. Эти поля известны как функции .

Рисунок 8: Просмотр столбца Survived

Фильтрация данных и создание полей по категориям

Теперь, когда вы определили нужные функции, давайте добавим на холст модуль Select Columns in Dataset (см. Рисунок 9 ).

Рисунок 9: Использование модуля «Выбор столбцов в наборе данных» для фильтрации столбцов.

В панели «Свойства» щелкните «Запустить средство выбора столбца» и выберите столбцы, как показано на рисунке 10 .

Рисунок 10. Выберите поля, которые вы хотите использовать в качестве функций.

Модуль «Выбор столбцов в наборе данных» сокращает набор данных до столбцов, которые вы указали. Затем вы хотите сделать некоторые столбцы категориальными. Для этого добавьте модуль редактирования метаданных, как показано на рис. , рис. 11, и подключите его, как показано.Нажмите кнопку выбора столбца «Запустить» и выберите поля Survived , Pclass , SibSp и Parch . В разделе «Категориальные» на панели свойств выберите «Сделать категориальным».

Рисунок 11: Сделайте определенные поля категориальными

Теперь вы можете запустить эксперимент, нажав кнопку RUN, расположенную в нижней части MAML. После запуска эксперимента щелкните выходной порт модуля «Редактировать метаданные» и выберите «Визуализировать».Изучите отображаемый набор данных.

Удаление отсутствующих данных

Если вы внимательно посмотрите на набор данных, возвращаемый модулем Edit Metadata, вы увидите, что в столбце age есть некоторые отсутствующие значения. Всегда полезно удалить все строки с пропущенными значениями, чтобы эти пропущенные значения не повлияли на эффективность модели обучения. Для этого добавьте на холст модуль очистки отсутствующих данных и подключите его, как показано на рис. 12 . На панели свойств выберите столбец Возраст и установите для режима очистки значение Удалить всю строку.

Рисунок 12: Удаление строк с пропущенными значениями в столбце «Возраст».

Нажмите RUN. Теперь в наборе данных не должно быть пропущенных значений. Также обратите внимание, что количество строк было уменьшено до 712.

Разделение данных для обучения и тестирования

При построении модели обучения очень важно протестировать ее с использованием выборочных данных после завершения обучения. Если у вас есть только один набор данных, вы можете разделить его на две части: одну для обучения и одну для тестирования.Это выполняется модулем разделения данных (см. Рисунок 13 ). В этом примере я разделяю 80% набора данных для обучения, а оставшиеся 20% — для тестирования.

В случае с Титаником вы всегда можете использовать train.csv для обучения и test.csv для тестирования. В этом примере я использую модуль «Разделить данные», чтобы разделить набор обучающих данных на две части: одну для обучения и одну для тестирования.

Рисунок 13: Разделение данных на набор данных для обучения и тестирования.

Левый выходной порт модуля разделения данных обеспечивает 80% набора данных, а правый выходной порт обеспечивает оставшиеся 20%.

Создание обучающей модели

Теперь вы готовы создать обучающую модель. Добавьте модули двухклассовой логистической регрессии и Train Model на холст и соедините их, как показано на рис. 14 . Модуль Train Model использует алгоритм обучения и набор обучающих данных. Вам также необходимо сообщить модели обучения ярлык, для которого вы ее тренируете. В данном случае это столбец «Выжившие».

Рисунок 14: Обучите вашу модель с помощью алгоритма двухклассовой логистической регрессии.

После того, как вы обучили модель, важно убедиться в ее эффективности. Для этого используйте модуль Score Model , как показано на рисунке Рисунок 15 . Модель Score использует обученную модель (которая является выходом модуля Train Model) и набор данных тестирования.

Рисунок 15: Оцените модель, используя набор данных тестирования и обученную модель.

Теперь вы готовы снова запустить эксперимент. Щелкните RUN. По завершении выберите столбец «Ярлыки с оценками» (см. , рис. 16, ).В этом столбце представлены результаты применения тестового набора данных к модели обучения. Столбец рядом с ним, «Оцененные вероятности», указывает на достоверность прогноза. Выбрав столбец «Оценочные метки», посмотрите на правую часть экрана и над диаграммой выберите Survived для элемента с именем по сравнению с . Это строит диаграмму, известную как матрица путаницы.

Рисунок 16. Просмотр матрицы неточностей для модели обучения.

По оси Y матрицы неточностей показана фактическая информация о выживаемости пассажиров: 1 для выживших и 0 для умерших.Ось абсцисс показывает прогноз. Как вы можете видеть, было правильно предсказано, что 75 человек погибнут в результате бедствия, а 35 человек должны выжить в результате бедствия. Два других поля показывают неверные прогнозы.

Сравнение с другими алгоритмами

Хотя цифры для прогнозов выглядят довольно прилично, на данный момент недостаточно сделать вывод о том, что вы выбрали правильный алгоритм для этой проблемы. MAML содержит 25 алгоритмов машинного обучения для различных типов проблем.Итак, давайте теперь воспользуемся другим алгоритмом, предоставленным MAML, для обучения другой модели: двухклассовых джунглей принятия решений.

Добавьте модули, как показано на Рисунок 17 .

Рисунок 17: Использование другого алгоритма для обучения альтернативной модели.

Щелкните RUN. Вы можете щелкнуть выходной порт второго модуля Score Model, чтобы просмотреть результат модели, как и в предыдущей модели обучения. Однако удобнее сравнивать их напрямую. Это можно сделать с помощью модуля Evaluate Model (см. , рис. 18, ).

Рис. 18: Оцените производительность двух моделей.

Нажмите RUN, чтобы запустить эксперимент. Когда закончите, щелкните выходной порт модуля Evaluate Model, и вы должны увидеть что-то вроде Рисунок 19 .

Рисунок 19: Просмотр показателей для двух алгоритмов обучения.

Синяя линия представляет алгоритм слева от эксперимента (двухклассовая логистическая регрессия), а красная линия представляет алгоритм справа (Двухклассовые джунгли принятия решений).Когда вы щелкаете синее или красное поле, вы видите различные показатели для каждого алгоритма, отображаемые под диаграммой.

Оценка алгоритмов машинного обучения

Теперь, когда вы увидели эксперимент, проведенный с использованием двух конкретных алгоритмов машинного обучения, двухклассовой логистической регрессии и двухклассовых джунглей принятия решений, давайте немного отступим и рассмотрим различные метрики, которые были сгенерированы с помощью Evaluate. Модельный модуль. В частности, давайте определим значение следующих терминов:

  • Истинно-положительный (TP): Модель правильно предсказывает положительный результат.В случае с «Титаником» количество TP указывает количество верных прогнозов того, что пассажир выжил (положительный результат) в катастрофе.
  • Истинно-отрицательный (TN): модель правильно предсказывает отрицательный результат (не выжил). Было правильно предсказано, что пассажиры не переживут катастрофу.
  • Ложно-положительный результат (FP): модель неверно предсказала положительный результат, но фактический результат отрицательный. В примере с «Титаником» это означает, что пассажир не выжил в катастрофе, но модель предсказала, что пассажир выжил.
  • Ложноотрицательный (FN): Модель неверно предсказала результат как отрицательный, но фактический результат положительный. На примере «Титаника» это означает, что модель предсказывала, что пассажир не выжил в катастрофе, но на самом деле он выжил.

Этот набор чисел известен как матрица путаницы . На основе вышеуказанных показателей вы можете рассчитать следующие показатели:

  • Точность : Это определяется как сумма всех правильных прогнозов, деленная на общее количество прогнозов, или математически (TP / TN) / (TP + TN + FP + FN).Эту метрику легко понять. В конце концов, если модель правильно предсказывает 99 из 100 выборок, точность составляет 0,99, что было бы очень впечатляюще в реальном мире. Но рассмотрим следующую ситуацию: представьте, что вы пытаетесь предсказать отказ оборудования на основе выборочных данных. Из 1000 образцов только три неисправны. Если вы введете глупый алгоритм, который возвращает отрицательное значение (что означает отсутствие сбоя) для всех результатов, то точность составит 997/1000, что составляет 0,997. Это очень впечатляет, но означает ли это, что это хороший алгоритм? Нет.Если в наборе данных из 1000 элементов 500 дефектных элементов, то показатель точности сразу указывает на недостаток алгоритма. Короче говоря, точность лучше всего работает с равномерно распределенными точками данных, но очень плохо работает с искаженным набором данных.
  • Precision : Эта метрика определена как TP / (TP + FP). Этот показатель связан с количеством правильных положительных прогнозов. Вы можете думать о точности как о «сколько из тех, которые были предсказаны как положительные, были на самом деле предсказаны правильно?»
  • Отзыв (также известный как True Positive Rate ): эта метрика определяется как TP / (TP + FN).Этот показатель связан с количеством правильно предсказанных положительных событий. Вы можете думать о воспоминаниях как о «сколько из тех положительных событий было предсказано правильно?»
  • Оценка F1 : Этот показатель определяется как 2 * (точность * отзыв) / (точность + отзыв). Это известно как гармоническое среднее значение точности и отзыва и является хорошим способом резюмировать оценку алгоритма в одном числе.
  • Частота ложных срабатываний ( FPR ): эта метрика определяется как FP / (FP + TN). FPR соответствует доле отрицательных точек данных, которые ошибочно считаются положительными, по отношению ко всем отрицательным точкам данных. Другими словами, чем выше FPR, тем больше отрицательных данных вы неправильно классифицируете.
  • Чтобы объединить FPR и TPR в одну метрику, вы можете сначала вычислить две предыдущие метрики с разным порогом (от 0,0 до 1,0), а затем нанести их на один график со значениями FPR на оси x. -оси и значения TPR по оси ординат.Полученная кривая известна как кривая ROC (рабочие характеристики приемника), а метрика считается AUC (площадь под кривой) этой кривой. В общем, стремитесь к алгоритму с самым высоким AUC.

Понятие точности и отзыва может не сразу проявиться, но если вы рассмотрите следующий сценарий, это будет ясно. Рассмотрим случай диагностики рака груди. Если злокачественное новообразование классифицируется как положительное, а доброкачественное образование классифицируется как отрицательное, то:

  • Если точность или отзыв высоки, это означает, что большему количеству пациентов с реальным раком груди поставлен правильный диагноз, что свидетельствует о хорошем алгоритме.
  • Если точность низкая, это означает, что у большего числа пациентов без рака груди диагностируется рак груди.
  • Если отзыв невелик, это означает, что у большего числа пациентов с раком груди диагностируется отсутствие рака груди.

По последним двум пунктам низкий уровень отзыва более серьезен, чем низкая точность (хотя ошибочный диагноз рака груди, когда у вас его нет, скорее всего, приведет к ненужному лечению и душевным страданиям), потому что это заставляет пациента пропустить лечение и потенциально может привести к смерти.Следовательно, для таких случаев, как диагностика рака груди, важно учитывать показатели точности и запоминания при оценке эффективности алгоритма машинного обучения.

Публикация модели обучения как веб-службы

После определения наиболее эффективного алгоритма машинного обучения вы можете опубликовать модель обучения как веб-службу. Это позволяет создавать собственные приложения для использования службы. Представьте, что вы создаете обучающую модель, которая поможет врачам диагностировать рак груди. Публикация в виде веб-службы позволяет создавать приложения для передачи различных функций модели обучения для создания прогнозов.Лучше всего то, что при использовании MAML нет необходимости обрабатывать детали публикации веб-службы; MAML размещает его для вас в облаке Azure.

Публикация эксперимента

Чтобы опубликовать эксперимент как веб-службу:

  • Выберите левый модуль Train Model (поскольку он имеет лучшую производительность по сравнению с другим).
  • Внизу страницы наведите указатель мыши на элемент «НАСТРОЙКА ВЕБ-СЛУЖБЫ» и щелкните «Предиктивная веб-служба» (рекомендуется).

Это создает новый прогнозирующий эксперимент, как показано на Рис. 20 .

Рисунок 20. Опубликуйте модель обучения как веб-службу.

Щелкните ЗАПУСК, а затем РАЗВЕРТИТЕ ВЕБ-СЕРВИС. Страница, изображенная на Рисунок 21, показана .

Рисунок 21: Тестовая страница для веб-службы.

Тестирование веб-службы

Щелкните гиперссылку «Тест». Отображается тестовая страница, показанная на рис. 22 . Вы можете нажать кнопку «Включить», чтобы заполнить различные поля из вашего набора для обучения. Это избавит вас от рутинной работы по заполнению различных полей.

Рисунок 22: Протестируйте веб-службу с некоторыми данными.

Теперь поля должны быть заполнены значениями из обучающих данных. Внизу страницы нажмите Test Request / Response, и прогноз будет показан справа.

Программный доступ к веб-службе

В верхней части тестовой страницы вы видите ссылку «Потребить». Нажмите здесь.

Учетные данные, которые необходимо использовать для доступа к веб-службе, а также URL-адреса для веб-службы теперь видны.Внизу страницы вы увидите сгенерированный для вас образец кода, который можно использовать для программного доступа к веб-службе (см. Рисунок 23, ). Пример кода доступен на C #, Python 2, Python 3 и R.

Рисунок 23. Пример кода для доступа к веб-службе написан на трех языках программирования.

Щелкните вкладку Python 3+ и скопируйте сгенерированный код. Вернувшись в MAML, нажмите кнопку + NEW внизу экрана.Щелкните НОУТБУК слева, и вы увидите различные записные книжки, как показано на Рисунок 24 .

Рисунок 24. Создание новой записной книжки в Студии машинного обучения Azure.

Щелкните Python 3, дайте имя своей записной книжке и вставьте код Python, который вы скопировали ранее (см. Рисунок 25 ).

Рисунок 25. Протестируйте код в записной книжке Python.

Обязательно замените значение переменной api_key значением вашего первичного ключа.Нажмите Ctrl + Enter , чтобы запустить код Python. Если веб-служба развернута правильно, вы можете увидеть результат в нижней части экрана (см. Рисунок 26, ).

Рисунок 26: Результат, возвращаемый веб-службой

Сводка

В этой статье вы узнали основы машинного обучения и то, как вы можете построить модель обучения с помощью Microsoft Azure Machine Learning Studio. С MAML теперь очень легко начать разработку и тестирование моделей обучения, не увязая в деталях алгоритмов обучения.Счастливого ML!

Введение в машинное обучение Azure с использованием Azure ML Studio

Введение

Давайте посмотрим, как можно использовать студию Azure ML для создания моделей машинного обучения и как их использовать в этой серии.
Как мы обсуждали во время серии интеллектуального анализа данных, мы определили проблемы в прогнозировании данных. На платформе машинного обучения Azure машинное обучение
рабочие процессы могут быть определены в легко масштабируемых моделях в облачной среде.Сегодня мы рассмотрим, как можно загружать наборы данных.

MLOPS

DevOps — это хорошо знакомый сегодня ИТ-специалистам инструмент, поэтому группы разработки и эксплуатации могут собраться вместе и работать над успехом проекта. Точно так же в машинном обучении есть разные команды, такие
в качестве специалистов по данным, инженеров по обработке данных и групп разработчиков, работающих над проектами машинного обучения, для работы над моделями и
потребляя их. Машинное обучение Azure может использовать модель MLOps для создания высококачественных и масштабируемых моделей машинного обучения, эквивалентных DevOps.

Кроме того, если вы посмотрите на жизненный цикл разработки машинного обучения, вам понадобится несколько задач, таких как

  • Предварительная обработка данных
  • Подготовка данных
  • Разработка потенциальных моделей машинного обучения
  • Оценка возможных моделей машинного обучения
  • Выбор модели машинного обучения
  • Развертывание выбранной модели машинного обучения
  • Использование модели машинного обучения

Машинное обучение Azure предоставит разным пользователям разные задачи в жизненном цикле разработки машины.
обучение.

Машинное обучение Azure

Чтобы облегчить выполнение всех вышеперечисленных задач, вы можете использовать Студию машинного обучения Azure, основанную на браузере.
верстак для машинного обучения. Вы можете создать бесплатную учетную запись, чтобы опробовать многие функции машины Azure.
Платформа обучения. Например, в бесплатной учетной записи максимальный объем хранилища составляет 10 ГБ, тогда как в платной учетной записи ограничений нет.
Счет. Помимо ограничения хранилища, бесплатная учетная запись будет выполняться на одном узле, а платная учетная запись —
работает на нескольких узлах.Помимо этих ограничений, бесплатная учетная запись не требует подписки Azure.

Вы можете просмотреть подробную информацию об ограничениях по следующему URL-адресу, поскольку эти ограничения время от времени меняются:

https://azure.microsoft.com/en-us/pricing/details/machine-learning-studio/

После создания учетной записи вы можете войти в систему на https://studio.azureml.net/, где есть много видео и важной документации для начинающих пользователей.

Если вы создаете ресурс машинного обучения из портала Azure, в категории AI + Machine Learning выберите ресурс машинного обучения, как показано на изображении ниже:

Давайте предоставим основные сведения о ресурсе машинного обучения, как показано на рисунке ниже:

На приведенном выше экране вам необходимо указать подписку Azure и группу ресурсов.Регион выберет данные
центр, который будет выполнять ваши проекты машинного обучения. В отличие от большинства других служб Azure, компьютер Azure
обучение не существует во всех центрах обработки данных по всему миру.

Затем необходимо создать теги для служб машинного обучения Azure, как показано на снимке экрана ниже:

Вышеуказанные теги будут использоваться для выставления счетов и расчета стоимости.

Воспользуемся студией https: //.azureml.net для демонстрационных целей.

Студия Azure ML

В Студии машинного обучения Azure есть несколько вариантов, как показано на рисунке ниже:

Проект представляет собой набор нескольких активов, таких как наборы данных, эксперименты и т. Д., И проекту требуется название проекта в качестве описания, как показано на снимке экрана ниже:

В проект можно добавить ранее созданные наборы данных и эксперименты.

Эксперименты — это модели, которые будут созданы специалистами по обработке данных для прогнозирования и моделирования данных.
При создании нового эксперимента вы можете выбрать один из существующих шаблонов экспериментов или
Если вы хотите начать с самого начала, вы можете использовать Blank Experiment :

Когда выбран Blank Experiment , в студии Azure ML можно увидеть следующий экран:

Вы можете перетаскивать элементы эксперимента, которые будут подробно обсуждаться в следующей статье этой серии.

Веб-службы могут быть созданы так, чтобы их могли использовать разные пользователи в разных приложениях. Эти сети
сервисы также можно использовать из Microsoft Excel, что будет рассмотрено в этой серии статей.

Наборы данных — это данные, над которыми вы будете работать. Чтобы вы могли опробовать варианты в студии машинного обучения Azure, существует множество примеров реальных данных, как показано на экране ниже:

Мы будем использовать некоторые из этих образцов данных в будущих статьях, чтобы продемонстрировать различные методы машинного обучения.Вы можете загрузить набор данных или добавить набор данных в проект.

Если у вас есть набор данных, вы можете загрузить его, используя опцию New в опции Dataset , как показано на снимке экрана ниже:

Для импорта вышеуказанного набора данных используется образец данных радужной оболочки глаза WEKA. Помимо файлов arff, в набор данных могут быть загружены CSV, TSV, текстовые файлы, файлы Zip.

Теперь вы можете наблюдать за своими наборами данных в списке слева, как показано на экране ниже:

Вы можете найти основные статистические свойства набора данных, перетащив набор данных в эксперимент:

Вы можете просмотреть статистику набора данных, выбрав опцию Visualize , как показано на следующем экране:

После выбора опции визуализации можно просмотреть статистические свойства данных.

Щелкнув любой столбец, вы можете просмотреть статистические данные, такие как среднее значение, медиана, минимум, максимум, стандартное отклонение, уникальные значения, отсутствующие значения, как показано ниже:

Вы можете просматривать данные в виде столбчатых диаграмм или коробчатых диаграмм, выбрав необходимый вариант, как показано на снимке экрана ниже:

На диаграмме выше данные распределены по 10 ячейкам, что является значением по умолчанию.Значение корзины можно изменить в соответствии с вашими потребностями. Частоту значений также можно преобразовать в логарифмическую шкалу.

Еще одна важная функция Azure ML Studio — это возможность сравнивать значения, чтобы вы могли получить представление о
ваш набор данных. Например, предположим, что мы хотим найти распределение ширины лепестка для разных классов
цветы ириса, вы можете выбрать класс в качестве сопоставимого атрибута, и будет виден следующий экран:

Глядя на приведенный выше экран, можно легко определить распределение данных.

На вкладке Обученная модель вы найдете модели, которые были обучены, а на вкладке Настройка у вас будут параметры для управления своими проектами:

Вы можете просмотреть подробную информацию о рабочем пространстве на вкладке Имя , тогда как на вкладке Пользователи
предоставляет вам возможность поделиться экспериментами и проектами со своими коллегами для поддержки MLOps, как мы обсуждали
ранее.У этих пользователей должна быть учетная запись Windows Live, и когда они будут добавлены, они получат уведомление по электронной почте.

Шлюзы данных предоставляют возможность доступа к локальной базе данных. Однако ваша локальная база данных
функция недоступна для уровня «Бесплатный», и вам необходимо перейти на уровень «Стандартный», чтобы получить доступ к данным из локальной среды.

Заключение

Azure ML Studio предоставляет возможности MLOps для разных пользователей в проектах машинного обучения.Помимо
Создавая масштабируемые модели машинного обучения, пользователи могут загружать свой собственный набор данных и наблюдать за статистическими свойствами набора данных.

Содержание

Динеш Асанка является MVP в категории SQL Server за последние 8 лет. Он работает с SQL Server более 15 лет, пишет статьи и является соавтором книг. Он является докладчиком в различных группах пользователей и университетах. Он всегда готов учиться и делиться своими знаниями.

Посмотреть все сообщения Динеш Асанка

Последние сообщения Динеш Асанка (посмотреть все)

Azure ML Studio: создание нейронных сетей — статьи TechNet — США (английский)


В этой статье мы создадим двухуровневую нейронную сеть для набора данных MNIST (двоичные изображения рукописных цифр) в Azure ML Studio.

Тем, кто не знает об Azure ML Studio, см. Нашу предыдущую статью:

Azure ML Studio: краткое руководство .

1. Создайте пустой эксперимент.

<

2. Выберите набор данных

Перетащите набор данных «MNIST Train» и «MNIST Test» с левой панели, как показано на изображении ниже.

3.
Выбор сети

Перетащите «Мультиклассовая нейронная сеть» с левой панели. Вы можете быстро найти элемент, набрав его в строке поиска.Вы можете увидеть его свойства на правой панели. Введите начальное число случайных чисел по вашему выбору (мы написали 42), а остальное оставьте.
настроек как есть.

4. Выбрать
Предметы эксперимента

Теперь перетащите модуль «Train Model» из элементов эксперимента. Подключите его левый входной порт к «Мультиклассовой нейронной сети», а правый входной порт — к «MNIST Train». Затем нажмите «Запустить селектор столбцов» на панели свойств «Модель поезда».

5.Выбор колонн

Здесь вы можете выбрать столбцы, для которых вы хотите обучить свои данные. Выберите «С ПРАВИЛАМИ» на левой панели и введите «Метка» в месте, где запрашивается имя столбца.

6. Выбор модуля «Score Model»

Найдите и перетащите модуль «Score Model» на холст эксперимента. Подключите выход модуля «Train Model» к левому входу «Score Model». Подключите «MNIST Test» к правому входному порту «Score Model».

7. Качество испытаний

Наконец, мы проверим качество результатов.Найдите и перетащите «Оценить модель» в свой эксперимент. Соедините выходной порт «Score Model» с левым входным портом «Evaluate Model».

8.
Запустить эксперимент

Запустите эксперимент и просмотрите выходные данные из «Оценить модель» (щелкните выходной порт «Оценить модель» и выберите «Визуализировать»). Вау! Мы достигли средней точности 99,5%. Вы также можете наблюдать здесь различные другие показатели оценки, такие как точность,
отзыв и т. д.

Machine Learning Studio упрощает настройку эксперимента с помощью модулей перетаскивания, перепрограммированных с помощью методов прогнозного моделирования.Здесь мы создали двухслойную нейронную сеть для классификации очень известного набора данных MNIST всего за восемь простых шагов.
Мы узнаем больше о студии машинного обучения в наших следующих статьях.

Еще одно важное место, где можно найти большое количество статей по Cortana Intelligence Suite, — это сама TechNet Wiki. Лучшая точка входа — Кортана
Ресурсы Intelligence Suite на TechNet Wiki.

MS-ML Studio скачать | SourceForge.net

Бесплатный инструмент с открытым исходным кодом для массового извлечения функций

Привлечены к вам:

sfcalebebrim

Масс-спектрометр — полезный инструмент для полевого анализа биохимических исследований.Он используется для выявления микроорганизмов, белков, химических соединений и сложных заболеваний по анализу крови. Существует множество инструментов и библиотек для обработки различных этапов анализа данных масс-спектрометрии (МС). Однако интеграции всех этих инструментов не хватает удобных для пользователя подходов. Мы разработали решение машинного обучения, способное обрабатывать все этапы анализа данных MS. ML-MS Tool — это бесплатное программное обеспечение, которое объединяет различные методы масс-спектрометрического анализа с подходом машинного обучения.Мы сосредоточились на автоматическом извлечении признаков, избегая необходимости ручного анализа пиков биомаркеров. Благодаря извлечению всех функций универсальный инструмент ML-MS для классификации избавляет от необходимости повторно обрабатывать новые образцы MS. ML-MS разделена на два субпродукта: инструмент ML-MS и библиотеку ML-MS; оба продукта бесплатны и имеют открытый исходный код. Библиотека ML-MS ориентирована на подпрограммы сценариев.

Характеристики

  • MassSpectromery Analysis
  • Извлечение признаков
  • Искусственный интеллект
  • Эволюционный алгоритм
  • Классификация с учителем

{{ этот.obj.activity_extras.summary}}

{{/ each}}

Другое полезное программное обеспечение для бизнеса

vtenext — это гибридная CRM с открытым исходным кодом, оснащенная механизмом BPMN для проектирования процессов.Все функции, предлагаемые CRM, то есть управление маркетингом, продажами и послепродажным обслуживанием, усилены механизмом BPMN для разработки автоматизированных процессов.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *