Разметка датасетов: Разметка данных на заказ

Handl — сервис разметки данных для машинного обучения от Dbrain — Трибуна на vc.ru

На платформе уже зарегистрировалось 25 тысяч человек, которые помогают размечать данные для технологических компаний и получают за это деньги. Сегодня Handl официально запускается после успешного альфа-тестирования, и теперь к проекту может присоединиться любой желающий.

{«id»:63360,»url»:»https:\/\/vc.ru\/tribuna\/63360-handl-servis-razmetki-dannyh-dlya-mashinnogo-obucheniya-ot-dbrain»,»title»:»Handl \u2014 \u0441\u0435\u0440\u0432\u0438\u0441 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0442 Dbrain»,»services»:{«facebook»:{«url»:»https:\/\/www. facebook.com\/sharer\/sharer.php?u=https:\/\/vc.ru\/tribuna\/63360-handl-servis-razmetki-dannyh-dlya-mashinnogo-obucheniya-ot-dbrain»,»short_name»:»FB»,»title»:»Facebook»,»width»:600,»height»:450},»vkontakte»:{«url»:»https:\/\/vk.com\/share.php?url=https:\/\/vc.ru\/tribuna\/63360-handl-servis-razmetki-dannyh-dlya-mashinnogo-obucheniya-ot-dbrain&title=Handl \u2014 \u0441\u0435\u0440\u0432\u0438\u0441 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0442 Dbrain»,»short_name»:»VK»,»title»:»\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435″,»width»:600,»height»:450},»twitter»:{«url»:»https:\/\/twitter.com\/intent\/tweet?url=https:\/\/vc.ru\/tribuna\/63360-handl-servis-razmetki-dannyh-dlya-mashinnogo-obucheniya-ot-dbrain&text=Handl \u2014 \u0441\u0435\u0440\u0432\u0438\u0441 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0442 Dbrain»,»short_name»:»TW»,»title»:»Twitter»,»width»:600,»height»:450},»telegram»:{«url»:»tg:\/\/msg_url?url=https:\/\/vc. ru\/tribuna\/63360-handl-servis-razmetki-dannyh-dlya-mashinnogo-obucheniya-ot-dbrain&text=Handl \u2014 \u0441\u0435\u0440\u0432\u0438\u0441 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0442 Dbrain»,»short_name»:»TG»,»title»:»Telegram»,»width»:600,»height»:450},»odnoklassniki»:{«url»:»http:\/\/connect.ok.ru\/dk?st.cmd=WidgetSharePreview&service=odnoklassniki&st.shareUrl=https:\/\/vc.ru\/tribuna\/63360-handl-servis-razmetki-dannyh-dlya-mashinnogo-obucheniya-ot-dbrain»,»short_name»:»OK»,»title»:»\u041e\u0434\u043d\u043e\u043a\u043b\u0430\u0441\u0441\u043d\u0438\u043a\u0438″,»width»:600,»height»:450},»email»:{«url»:»mailto:?subject=Handl \u2014 \u0441\u0435\u0440\u0432\u0438\u0441 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0442 Dbrain&body=https:\/\/vc. ru\/tribuna\/63360-handl-servis-razmetki-dannyh-dlya-mashinnogo-obucheniya-ot-dbrain»,»short_name»:»Email»,»title»:»\u041e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043f\u043e\u0447\u0442\u0443″,»width»:600,»height»:450}},»isFavorited»:false}

25 803

просмотров

Что такое разметка

Представьте маленького ребёнка, который ничего не умеет. Родители не будут объяснять, что котёнок — это маленькое животное с пушистым хвостиком. Такое описание подходит и щенку. Вместо этого они покажут много котят и щенят, поправляя ребенка до тех пор, пока он не научится отличать животных самостоятельно.

С искусственным интеллектом тот же принцип, который применим почти везде: ИИ распознает качество пиццы, преступников на улице и серьезные заболевания на ранних стадиях, но сначала ему надо показать тысячи примеров, где эту задачу уже решил человек, — другими словами, подготовил данные для машинного обучения. Это и называется разметкой.

Разметка данных — самая трудозатратная задача при создании ИИ: надо без ошибок разметить тысячи единиц информации. Мы в Handl придумали, как упростить весь процесс. Наши разметчики подключаются из любой точки мира и размечают данные — к примеру, определяют, что изображено на картинке, то есть ставят «метки». Так они готовят обучающую выборку для ИИ. Переняв знания людей, алгоритм успешно решает аналогичные задачи.

Сегментация текста на Handl

Как устроен процесс работы в Handl

Со стороны клиента. Клиент загружает данные, выбирает шаблон задачи (классификация, сегментация, ввод текста) и запускает её в работу. Разметчики выполняют задания. Если разметка требует специальных знаний вроде китайского языка или медицинского образования, можно привлечь своих исполнителей и использовать наш интерфейс.

{«url»:»https:\/\/booster.osnova.io\/a\/relevant?site=vc»,»place»:»between_entry_blocks»,»site»:»vc»,»settings»:{«modes»:{«externalLink»:{«buttonLabels»:[«\u0423\u0437\u043d\u0430\u0442\u044c»,»\u0427\u0438\u0442\u0430\u0442\u044c»,»\u041d\u0430\u0447\u0430\u0442\u044c»,»\u0417\u0430\u043a\u0430\u0437\u0430\u0442\u044c»,»\u041a\u0443\u043f\u0438\u0442\u044c»,»\u041f\u043e\u043b\u0443\u0447\u0438\u0442\u044c»,»\u0421\u043a\u0430\u0447\u0430\u0442\u044c»,»\u041f\u0435\u0440\u0435\u0439\u0442\u0438″]}},»deviceList»:{«desktop»:»\u0414\u0435\u0441\u043a\u0442\u043e\u043f»,»smartphone»:»\u0421\u043c\u0430\u0440\u0442\u0444\u043e\u043d\u044b»,»tablet»:»\u041f\u043b\u0430\u043d\u0448\u0435\u0442\u044b»}},»isModerator»:false}

Со стороны разметчиков. Разметчики регистрируются, проходят онбординг и получают доступ к задачам, зарабатывая до 3 долларов в час.

Механизм работы. Алгоритм консенсуса распределяет выплаты и следит за отсутствием ошибок: от качества разметки зависит точность распознавания будущей ИИ-модели. Система выплат работает так: как только люди размечают картинку, мы считаем объективное время, необходимое для этой задачи, а алгоритм консенсуса вычисляет коэффициент качества. Чем меньше времени затрачено на задачу и чем точнее она выполнена, тем больше начисление. Поэтому разметчики стараются выполнять задачи максимально качественно.

Мы уже разметили более 6 миллионов картинок, текстов и звуков для таких компаний как Nvidia, Nestle, Cherry Home. В отличие от других аналогичных сервисов, Handl сфокусирован только на задачах по подготовке данных для машинного обучения. Благодаря этому мы выполняем разметку с высокой точностью, скоростью и с меньшими затратами.

Кейс: молочная ферма

Коровам на ферме нужно правильно питаться, чтобы давать вкусное молоко. Но когда их сотни, проследить за состоянием каждой коровы сложно. Чтобы автоматизировать контроль за их здоровьем, мы разметили 143 тысячи изображений для обучения нейронной сети. Сначала люди размечали картинки, отвечая на вопрос «что тут изображено?», тем самым отсеивая коров от других животных.

Потом обводили коров по контуру, чтобы ИИ точно определил их местоположение. И наконец, работали с видео, указывая, что делает корова: ест, пьёт, лежит или ходит.

В итоге получилась нейронная сеть, которая мониторит здоровье коров и прогнозирует, как они будут себя чувствовать в будущем. Руководствуясь информацией с камер наблюдения, ИИ отслеживает поведение каждого животного по отдельности и выявляет аномалии — например, корова плохо ест или слишком долго лежит на земле. В этом случае система подаёт сигнал фермерам.

Выводы

Основная проблема в разработке ИИ — подготовить данные. Мы упростили этот процесс и запустили платформу, которая объединяет удалённых работников и технологические компании для создания искусственного интеллекта.

Сегодня мы запустились на Product Hunt. Посмотреть нашу страницу и оставить фидбек проекту можно здесь.

Что такое разметка данных?

Поговорим о том, что мы все уже давно работаем на искусственный интеллект. А именно занимаемся разметкой данных. Что это такое рассказывает Светлана Вронская, менеджер по маркетингу департамента аналитических решений ГК «КОРУС Консалтинг» в подкастеТелеграм-канала Analytics Now на портале Tadviser. 

Сегодня хочу вас обрадовать: вы все уже давно работает на искусственный интеллект. Cейчас объясню почему.

Набившее оскомину выражение «данные – это новая нефть» особенно верно, если вспомнить, что сама по себе нефть, сырая, — вы особенно не сможете нигде применить. Ее надо очистить и переработать. Точно также дело обстоит и с нашей новой нефтью, информацией. Даже собрав большое количество неструктурированных данных, вы не сможете никак их применить в работе. И здесь появляется новый сегмент работы в области машинного обучения – разметка данных, data labelling.

Пусть объем этого рынка пока сравнительно небольшой — по оценке аналитиков из Cognica Research в 2023 году он достигнет 1,2 млрд. долларов США, работа по разметке данных занимает до четверти всего времени на реализацию ML-проектов. Плюс, как вы увидите дальше, не факт, что мы когда-либо сможем достоверно узнать, сколько реально тратиться денег на data labelling.

Итак, что же это такое – разметка данных? Основной задачей машинного обучения является обучение алгоритма – будь то традиционные статистические модели или новые нейронные сети, — искать и использовать закономерности из обучающего набора вопросов и ответов. При этом эти вопросы и ответы могут быть в виде текста, в виде изображения, в виде аудио или видео файла. К примеру, мы хотим научить модель определять тональность голоса человека, который звонит в колл-центр. Тогда вопрос будет звучать: какая интонация у звонящего? А ответами – положительная или негативная. Такие же примеры можно привести про видеозаписи, которые фиксируют нарушение автомобилем линии STOP перед светофором или нарушение привычной формы органа на рентгеновском снимке пациента. Чтобы искусственный интеллект научился давать правильные ответы на эти вопросы, за него это задачу сначала должен решить человек. То есть человек должен подготовить данные для машинного обучения. Это и разметка данных.

Теперь вы понимаете, почему data labelling— самая трудозатратная задача при создании решений на базе искусственного интеллекта: надо без ошибок разметить тысячи единиц информации и сделать это нужно быстро.

Как и в случае, когда нужно было генерить большой объем программного кода и Индия оказалась самым подходящим ресурсом для этого и стала (и остается) лидером в области оффшорного программирования, так и в случае с разметкой данных основной ресурс находится в Азии. Прежде всего это Китай, в котором миллионы сотрудников, без квалификации или с низкой квалификацией и маленькой заработной платой, ежедневно отсматривают десятки и сотни тысяч данных и размечают ее. Так что старая картинка с шуткой о сервисе распознавания музыкальных треков Shazam, где в огромном зале в наушниках сидят сотрудники и один из них кричит: «Кто-нибудь знает, чья эта песня?» не так уж далека от истины. Каким бы умным ни был искусственный интеллект, он ничто без человека. Смею надеяться, что так будет еще очень долго.

Несмотря на то, что количество данных растет, пока нет полноценных средств автоматизации для процесса разметки данных. Да, появляются решения, которые частично облегчают процесс – такие, например, как MarkLab, Handl, Annotate.online, Clarifai, — но все равно пока главная роль отдана человеку. Именно поэтому на рынке – и за рубежом, и в России, — появилось большое количество компаний, которые предоставляют услуги по разметке данных, нанимая фрилансеров, работающих из дому из всех точек земного шара.

Крупные поставщики инфраструктуры данных также создали хабы для разметки данных. В Штатах лидирует решение от Amazon, Amazon Mechanical Turk, названное в честь уловки 18 века, когда было модно играть в автоматизированные шахматы, хотя в ящике под шахматным столом сидел человек и физически передвигал фигуры. В России более популярна площадка Яндекс.Толока, которая, как и механический турок позволяет свести заказчиков наборов данных, датасетов, и специалистов по разметке данных.

Пару слов о том, как этот процесс работает. Все очень просто: клиент загружает «грязные» данные, выбирает шаблон задачи – классификацию, сегментацию, ввод текста, — и запускает процесс. Площадка сама находит исполнителей и выдает потом заказчику размеченные данные. Для справки, примерная стоимость такой работы у Яндекса – 15 долларов США за 1000 заданий, длительностью около 3 часов. Площадка берет себе около 20% комиссионных. Наверно, не так много, но за время самоизоляции многим очень пригодилась такая работа на дому.

Напоследок, как обещала, расскажу, почему мы с вами все работаем на искусственный интеллект. Вспомните, как при доступе на некоторые сайты, Google просит вас отметить все светофоры или автомобили (по крайней мере, мне он подсовывает именно их)? Так вот, каждый раз, когда вы кликаете по частям автомашин и горящих светофоров, вы работаете специалистом по разметке данных. Где же только наши 15 долларов?

Источник: Tadviser

Специалист по разметке данных / Блог компании New Professions Lab / Хабр

Сегодня замечательный день (if you know what I mean), чтобы анонсировать нашу новую программу — Специалист по разметке данных.

На текущий момент в сфере искусственного интеллекта сложилась такая ситуация, при которой для обучения сильной нейронной сети нужны несколько компонентов: железо, софт и, непосредственно, данные. Много данных.

Железо, в общем-то, доступно каждому через облака. Да, оно может быть недешевым, но GPU-инстансы на EC2 вполне по карману большинству исследователей. Софт опенсорсный, большинство фреймворков можно скачать себе куда-то и работать с ними. Некоторые сложнее, некоторые проще. Но порог для входа вполне приемлемый. Остается только последний компонент — это данные. И вот здесь и возникает загвоздка.

Deep learning требует действительно больших данных: сотни тысяч–миллионы объектов. Если вы хотите заниматься, например, задачей классификации изображений, то вам, помимо самих данных, нужно передать нейронке информацию, к какому классу относится тот или иной объект. Если у вас задача связана еще и с сегментацией изображения, то получение хорошего датасета — это уже фантастически сложно. Представьте, что вам нужно на каждом изображении выделить границы каждого объекта.

В этом посте хочется сделать обзор тех инструментов (коммерческих и бесплатных), которые пытаются облегчить жизнь этих прекрасных людей — разметчиков данных.

LabelMe

Начнем с того, что это бесплатная тулза, сделанная в MIT. С ее помощью вы можете размечать свои изображения: это могут быть просто bounding boxes, либо попиксельная сегментация.
По сути дела, это некий UI, в котором можно выделять контуры изображения и ставить точки. Это всё. Ничего более умного эта тулза не умеет. Еще одна фича: у LabelMe есть мобильное приложение. Можно не терять зря время в метро, электричке, автобусе, на скучной лекции.

Prodi.gy

Одна из самых продвинутых active learning-систем. Идея такова, что уже заранее натренированная модель с минимальным обучением пытается разметить ваши данные, а ваша задача — лишь направлять ее. Целевая аудитория — аналитики и инженеры, которым необходимо качественно размечать данные, а больших ресурсов на внешних разметчиков у них нет. UX, по словам разработчиков, похож на Тиндер.
Тулза просит разметить только те объекты, по которым она не уверена. Вроде как, они делают больший упор на работу с текстами, но computer vision у них тоже есть, в том числе работа с видео. Сами мы ею не пользовались. Она платная. Стоимость лицензии начинается от 390$.

Scale API

Эти ребята подходят к процессу разметки в формате “под ключ”. Дайте нам ваши данные, мы отдадим их нашим разметчикам, проконтролируем качество, дадим вам уже результат через какое-то время. И всё это через API.
Естественно, это тоже не бесплатный инструмент. Например, разметка одной картинки для задачи семантической сегментации (то есть выделить на изображении объекты контурами и сказать, что это за объекты) будет стоить 8$, если вам нужно срочно, или 6.4$ если готовы подождать.

Supervise.ly

Этот инструмент предназначен для упрощения разметки типа instance segmentation. Под капотом (по ощущению) работает что-то вроде Polygon-RNN. Вы выделяете прямоугольниками объекты, а система сама находит границы объекта внутри прямоугольника. У них есть разные натренированные сетки под разные предметные области.
Ребята ещё умеют генерировать синтетические данные из игр и разбавлять ими реальные, если реальные сложно достать. Плюс они же могут завести всю свою систему внутри вашего энтерпрайза, чтобы данные от вас никуда не уходили. В общем, по ощущениям, может хорошо ускорять работу разметчика. Но это не точно.

Mechanical Turk

Сила индусской разметки на кончиках ваших пальцев. Дорого для вас, копейки для них, плохое качество, непонятный quality control, но все пользуются. В России есть аналог — Яндекс.Толока.
Когда-нибудь мы возьмем интервью у пользователей этих платформ и узнаем, как проходит их рабочий день, в чем возникают сложности.

CrowdFlower

Этот инструмент — стандарт де-факто для разметки. Тоже используют живых людей, но предоставляют им более продвинутые инструменты, нежели Толока или MTurk, чтобы размечать было проще.
Помимо стандартных bounding boxes, семантической сегментации, полигонов, они еще размечают точки, например, для складов или полок в магазинах.

Как видите, рынок подобных решений пока очень узкий, но потенциал довольно большой, потому что бутылочное горлышко AI сейчас — это именно хорошо размеченные данные. И кроме шуток, за этим действительно будущее.

Если знаете еще другие инструменты, пишите в комментариях.

Marketing Logic разработала платформу разметки данных MarkLab

21. 07.2020, Вт, 17:11, Мск
, Текст: Владимир Бахур

Marketing Logic, специализирующаяся на разработке и предоставлении инновационных решений для бизнеса, представила новый сервис MarkLab — платформу для разметки данных. MarkLab позволяет выполнять разметку различных видов документов, изображений, фотографий, сканов, скриншотов, видео, рукописей, аудиоданных — форматов, необходимых для работы в различных сферах бизнеса.

Платформа позволяет размечать документы и изображения в любой последовательности и делить на классы и подразделы на каждом этапе с помощью удобных инструментов. Тепловые карты проектов отражают степень готовности датасетов, выделяют области с отличающимся качеством данных и размеченных областей.

Для управления проектами в MarkLab разработана удобная система для формирования и управления командой разметки: платформа даёт возможность разграничить функционал, уровни доступа, распределять задачи по исполнителям. Алгоритм позволяет рассчитывать эффективность выполнения каждой задачи или блока задач в баллах, процентах или деньгах, а также проводить кросс-валидацию и последующий контроль.

«Обучение моделей для нейросетей при создании умных продуктов и сервисов – это задача, с которой мы сталкиваемся ежедневно на протяжении всей истории компании. Мы хорошо знаем, насколько важно подготовить данные и качественно их разметить. Наша команда проектировала и разрабатывала платформу MarkLab для себя, но на текущем этапе её развития мы готовы предложить сервис нашим клиентам и партнёрам, так как инструменты, интерфейс MarkLab позволяют реализовывать практически любые задачи по разметке и самостоятельно администрировать процесс. Благодаря MarkLab, у нас появилась возможность различных способов сотрудничества: когда мы всё делаем сами и передаём готовый продукт, когда мы сопровождаем проекты с поддержкой на любом этапе или когда мы передаём программное обеспечение, а команда клиента с его помощью обрабатывает данные и размечает датасет. Гибкий подход часто бывает выгодным для обеих сторон», — сказал управляющий партнёр компании Marketing Logic Дмитрий Галкин.

Технически платформа MarkLab может использоваться посредством облачных технологий Marketing Logic или устанавливаться внутри IT-контура компании-клиента.

Данные — новая нефть. Как на них заработать?

Алексей Шабанов, исследователь Neuromation, рассказывает, какие данные представляют ценность для компаний, и раскрывает пять способов заработка на них.

Данные — новая нефть. Как на них заработать?

Полина Константинова

Сегодня многие технологические компании активно используют методы машинного обучения, чтобы встраивать в свои продукты и бизнес-процессы умные алгоритмы. Так, с каждым днем рекламная выдача становится прицельнее, автоматический перевод точнее, а голосовые ассистенты понятливее. Необходимый ингредиент для создания таких систем — данные, много данных.

Следовательно, первый ответ на вопрос из заголовка будет таким: нужно найти релевантные к деятельности компании данные и использовать их, чтобы сделать выпускаемые продукты «умнее». Но подобный ответ лежит на поверхности и едва ли может считаться полным. Мы поможем открыть читателю менее очевидные способы заработка на данных, но для этого придется совершить небольшой экскурс в предметную область.

Какие данные представляют ценность?

Задачи машинного обучения подразумевают, что необходимо научить некоторый алгоритм извлекать закономерности из обучающего набора «вопросов» и «ответов», чтобы обобщить полученный опыт для ответов на новые вопросы. В качестве алгоритма могут использоваться классические статистические модели, а могут и искусственные нейронные сети — для нашего повествования это не играет роли. Например, мы желаем научить какую-то модель определять тональности рецензий на фильмы, тогда вопрос — это текст рецензии, а ответ — один из двух вариантов: положительной была рецензия или отрицательной. Еще несколько примеров:

• Вопрос — рентген-снимок пациента; ответ — локализация аномалий и  диагноз.
• Вопрос — аудиозапись человеческой речи; ответ — текстовая расшифровка.
• Вопрос — видеозапись с камеры, установленной на перекрестке; ответ — обведенные контуры автомобилей на каждом кадре.

Процесс получения ответов на заданные вопросы (в приведенном узком смысле) называется разметкой или аннотированием данных, а совокупность полученных данных называется датасетом. Итак, с точки зрения машинного обучения ценность представляют не любые данные, а размеченные. Стоимость аннотирования зависит от многих факторов: требуемой компетенции разметчиков, сложности технической организации процесса, конфиденциальности данных и других.

Так, отсортировать рецензии к фильмам может любой человек, используя примитивный текстовый редактор. Чтобы выделить контуры автомобилей на изображении перекрестка, особых знаний тоже не нужно, но потребуется специализированное ПО.

Наконец, чтобы разметить серию рентген-снимков, потребуется и ПО, и специалисты с медицинским образованием — такие данные представляют особую ценность.

Растущий спрос на все большие объемы аннотированных данных привел к созданию таких площадок как Amazon Mechanical Turk и его отечественного аналога Яндекс.Толоки. Эти сервисы позволяют свести заказчиков датасетов и специалистов по разметке данных. Часто последними являются малообеспеченные граждане азиатских стран, таких как Индия, Пакистан и Бангладеш. В большинстве случаев они за целый день работы получают всего несколько долларов, в то время как владельцы площадок получают большую часть стоимости заказа. Обладатели уже размеченных данных тоже могут извлечь выгоду: либо косвенно, выкладывая их в открытый доступ для продвижения своего бренда, либо напрямую, перепродавая датасеты другим заинтересованным лицам.

Кроме стоимости, у ручного аннотирования есть еще один существенный недостаток: для некоторых задач невозможно предложить приемлемый способ ручной разметки. Скажем, в случае с перекрестком мы можем захотеть дополнительно определять скорости автомобилей на каждом кадре: точно проставить такие метки вручную крайне проблематично. Избежать названных проблем помогает использование синтетических данных.

Что такое синтетические данные?

Под словосочетанием «синтетические данные» обычно подразумеваются объекты реального мира, смоделированные с помощью компьютера. Главное преимущество такого подхода в том, что разметка к ним прилагается автоматически. Вновь обратимся к примеру с перекрестком: если смоделировать его средствами для создания компьютерных игр, мы сразу получим полную информацию о любом объекте в кадре: его скорость, цвет, массу, положение и что угодно еще! Другой пример: использование синтезатора для озвучивания текста позволяет с точностью до миллисекунд сопоставлять буквы и их фонемы, что недостижимо при использовании ручного труда.

Кроме того, синтетические датасеты отлично масштабируются: например, получив в распоряжение синтезатор речи, можно озвучить миллионы страниц текста!

Вдумчивый читатель мог догадаться, что самое сложное при работе с синтетическими данными — сделать их достаточно реалистичными. Действительно, взаимосвязи между объектами в синтетическом датасете должны иметь место в реальном мире. К счастью, сейчас активно развиваются архитектуры нейронных сетей, предназначенные для генерации контента (Generative Adversarial Networks, GAN), которые позволяют адаптировать синтетические данные под задачи реального мира. Кроме того, GAN’ы могут использоваться и для генерации контента «с нуля», получаемые таким способом сущности тоже можно назвать синтетическими. Однако, практика показывает, что качество такой генерации уступает адаптированной синтетике.

Кто работает с синтетическими данными?

Приведем пример компаний, использующих синтетические данные для создания своих продуктов:

• В 2016 году компания Avito собрала огромный датасет объявлений и организовала соревнование для специалистов по машинному обучению. Призовой фонд составил 20 тысяч долларов, а для хостинга была выбрана площадка Kaggle. Участникам предлагалось найти объявления, которые вручную были отмечены как дубликаты, при этом соответствующие им тексты и изображения могли значительно отличаться. Таким образом, были успешно апробированы алгоритмы, способные на большее, чем механическое сравнение данных.
• В 2016 году научная группа из Apple опубликовала статью «Learning from Simulated and Unsupervised Images through Adversarial Training», рассказывающую об определении направления взгляда с использованием изображений адаптированных синтетических глаз. Интересно, что авторы предложили тестовой группе попытаться отличить фотографии настоящих глаз от синтетических: оказалось, что люди не смогли показать результат, превосходящий случайное угадывание.

Синтетические глаза сверху, снизу их более реалистичные версии, полученные с помощью GAN’ов.

• Исследователи из Berkeley и Glidwell Dental Labs в 2018 году представили работу «Learning Beyond Human Expertise with Generative Models for Dental Restorations», посвященную использованию генерируемых данных для решения задачи стоматологической реставрации. Авторы рассказывают, как с помощью GAN’ов можно автоматизировать дорогостоящий процесс создания вручную формы зубных коронок.

Сгенерированные формы для зубных коронок.

• Успех киностудии и по совместительству онлайн-кинотеатра Netflix во многом связан с работой рекомендательной системы Cinematch. Она позволяет индивидуально подбирать для каждого зрителя потенциально интересные фильмы, основываясь на поведении пользователей со схожими вкусами. Разумеется, создание такой системы невозможно без сбора гигантского количества записей о том, какой рейтинг пользователи поставили тем или иным фильмам.
• Мы также активно используем синтетические данные в большей части своих проектов, один из которых — создание системы для классификации товаров на продуктовых полках. Одна из возникающих проблем состоит в том, что каталог товаров огромен, при этом некоторые наименования и внешний вид товаров отличаются незначительно. Другая проблема — размечающим пришлось бы узнавать развернутые и находящиеся в дальних рядах товары. Наконец, вручную определить дополнительные параметры, такие как угол поворота упаковки или расстояние от камеры до полки почти невозможно. Выйти из затруднительного положения удалось с помощью рендеринга миллионов искусственных полок, содержащих 3D-модели оцифрованных товаров из настоящих магазинов.

Синтетическая полка с товарами.

Итак, как же заработать на данных?

Напоследок, вооружившись знаниями о предметной области, вновь ответим на вопрос, поставленный в заголовке. Условно способы заработка можно разбить на пять групп:

1. Упомянутое в самом начале статьи извлечение дополнительной выгоды из продуктов, улучшенных методами машинного обучения.
2. Деятельность, связанная с процессом аннотирования: вы можете предложить свой ручной труд, организовать площадку и/или поставлять специализированное ПО для разметки.
3. Сбор и предоставление датасетов на коммерческой основе.
4. Участие в соревнованиях по анализу данных или предоставление сервиса, позволяющие такие соревнования хостить.
5. Работа с синтетическими данными: создание цифровых копий реальных объектов с использованием специальной аппаратуры; рендеринг разнообразных сцен с этими объектами; предоставление вычислительных мощностей для рендеринга.

Материалы по теме:

эксперты рынка о проблемах и возможностях

Эффективность систем искусственного интеллекта как правило достигается за счет достаточного количества данных. В идеале — готовых датасетов, то есть наборов данных, специальным образом размеченных для того, чтобы их понимали и воспринимали нейросети и алгоритмы искусственного интеллекта. Объемы данных тем временем растут год от года: по оценке IDC, если в 2018-м в мире было накоплено 33 зеттабайта (миллиарда терабайт) данных, то в 2025-м это число будет равняться 175 зеттабайтам.

Казалось бы, это хорошо, но где большие данные, там и большие проблемы. Главная заключается в недостаточно высоком качестве общедоступных данных. Так называемые «грязные данные» считались главной проблемой отрасли три года назад и продолжают считаться сегодня. В конце 2019-го телеком-оператор Telenor определил «грязные данные» в список самых популярных технологических трендов 2020-го.  

О том, какова ситуация с Big Data сегодня и как компании решают связанные с этим сложности, мы поговорили с экспертами индустрии: разработчиками и специалистами в области данных.

Две главные проблемы больших данных

В случае с искусственным интеллектом действует простое правило: чем больше данных, тем эффективнее будет работа с ИИ. По мнению бизнес-архитектора Predictive Analytic Solutions компании Mail.ru Group Владимира Новоселова, хорошие и качественные наборы данных с разметкой — один из самых ценных компонентов, необходимых для разработки эффективного решения в области машинного обучения (ML).

Их ценность обусловлена двумя основными факторами, которые широко обсуждаются профессиональным сообществом как на тематических мероприятиях, так и в социальных сетях:

• общая нехватка данных;
• недостаточно высокое качество данных.

Относительно первой проблемы большинство опрошенных нами экспертов сходятся во мнении: много данных никогда не бывает, в некотором смысле их не хватает всегда.

Любая команда, которая занимается разработкой ML-based систем, сталкивается с этой проблемой. Крупные компании инвестируют большие средства в то, чтобы обеспечить инфраструктуру сбора и агрегации данных, необходимых для обучения и анализа. То, насколько эффективно компании решают проблему доступности данных, во многом обеспечивает ее конкурентоспособность на этом рынке. 

Даже в случае достаточного количества открытых данных по нужному направлению, их может не хватать для решения конкретных задач компании.

В областях обработки естественного языка (NLP) и компьютерного зрения (CV) есть большое количество как качественных датасетов под разные задачи, так и предобученных на этих датасетах моделей. При этом для решения прикладной задачи помимо публичных данных обязательно надо дообучить модель на собственных.

Денис Власов

ведущий аналитик и специалист по машинному обучению «Учи.ру»

С этой точкой зрения согласна глава компании в области ИИ-решений в сфере здравоохранения «Третье мнение» Анна Мещерякова:

Мы используем открытые датасеты на стадии research. Работаем с опубликованными в России данными и взаимодействуем с зарубежными коллегами. Собственная научная деятельность и сотрудничество с медицинскими и техническими вузами в России и за рубежом позволяет получать качественные датасеты для целей research. Но на стадии обучения мы редко используем открытые датасеты — у нас собственные требования к классификаторам, к разметке.

Андрей Воробьев, президент МТП «Ньюдиамед», считает, что из больших данных в медицине можно собирать только изображения, и те размечать и анализировать надо самостоятельно.

Врачам приходится писать истории болезни «для прокурора». Зачастую это недостоверные или неполные данные. Потому искать правды в больших массивах клинических данных бессмысленно, ничего полезного вы там не найдете. Гораздо эффективнее устранить человеческий фактор в источнике данных и собирать структурированную информацию от самих пациентов. Мы задаем вопросы пациенту за врача, получаем полный объем необходимых данных об анамнезе и жалобах и уже на этих данных «учимся».

R&D-директор компании UBIC Technologies в качестве примера тоже приводит медицинские данные:

В сети есть отличные качественные датасеты, которые, к сожалению, не охватывают все многообразие клинических проявлений исследуемого заболевания. Поэтому самое сложное — отделять зерна от плевел, особенно в тех предметных областях, в которых не являешься экспертом и не можешь быстро найти эксперта поблизости, но задачу решать надо. Отчасти помогают специализированные инструменты: Google Dataset Search или Яндекс.Толока.

Исполнительный директор Департамента анализа данных и моделирования «Газпромбанка» Адель Валиуллин считает, что найти качественные примеры открытых данных не так сложно, приводя в пример наборы MNIST, MS СОСО, OpenImages, ImageNet, которые обычно подготавливают крупные институты и корпорации.

При решении задач анализа данных на основе текстовых данных часто возникает проблема наличия размеченных датасетов, особенно на русском языке. Размечать данные обычно долго и дорого. Если есть открытые данные и принцип разметки легко объясним, то могут подойти такие инструменты как Яндекс.Толока и Amazon Mechanical Turk. Если же данные выгружать наружу нельзя или же требуется экспертиза при разметке, как например, врача-радиолога или эксперта-лингвиста, то создание такого размеченного набора данных будет трудоемким и требовать значительных затрат.

Адель Валиуллин

исполнительный директор Департамента анализа данных и моделирования «Газпромбанка»

Действительно, во многих случаях открытые датасеты не являются панацеей, и компаниям приходится использовать общедоступные инструменты поиска и генерации данных, а также самостоятельно собирать нужную информацию.

В случае нехватки данных мы обычно майнили сами: собирали данные в офисе и других местах, использовали Яндекс.Толоку, просили людей записывать короткие ролики. Специфика сбора сильно зависит от предметной области исследования.

Дмитрий Акимов

инженер по данным VisionLabs

В целом все зависит от конкретных задач, объясняет аналитик данных в Sever. ai ИТ-холдинга TalentTech Алексей Иванов.

Задачи бывают общие, схожие с научными, а бывают прикладные, узкоспециализированные. Первые решаются и оцениваются с помощью открытых датасетов (ImageNet, SQuAD, Wiki corpus, например). Для второго типа задач открытых датасетов просто нет. Например, для скоринга резюме без собственноручного сбора и разметки данных не обойтись. Открытые данные здесь помогают уменьшить размер специфического датасета — это нужно для повышения точности, поскольку качественные модели на маленьких датасетах часто дают плохие результаты.

Алексей Иванов

аналитик данных в Sever.AI ИТ-холдинга TalentTech

Владимир Новоселов из Mail.ru Group добавляет, что в высококонкурентных областях применения, таких как беспилотные автомобили, общедоступные датасеты по полноте и качеству подходят только для решения любительских и экспериментальных задач.

Наталья Соколова, глава Brand Analytics — компании в области мониторинга социальных сетей и СМИ, где данных по определению огромное количество, — тоже считает, что наличие общедоступных датасетов, безусловно, помогает только на начальном этапе проверки гипотез. В таких случаях куда более актуальная проблема — недостаточно высокое качество данных и большое количество ошибок. Или, как рассказывает Алексей Карначев из Just AI, наоборот:

Зачастую открытые датасеты слишком чистые — настолько, что специфика доменной информации, которая должна присутствовать в этих данных, попросту теряется. Наша R&D-команда изучала датасеты для разработки функционала «болталки» на естественном языке внутри диалоговой системы и использовала открытый датасет «Yandex.Toloka Persona Chat Rus», состоящий из 10 тыс. диалогов. Он как раз был чересчур чистым — таких диалогов в жизни не бывает: в них нет ошибок, разговорной или ненормативной лексики. Поэтому для конкретно этой цели качество датасета невысокое, хотя с ним все в порядке с точки зрения формальных критериев.

Датасеты, которые находятся в открытом доступе, создаются в основном для каких-то академических целей – например, для оценки качества моделей, при написании исследований. Поэтому они хороши для research-стадии, проверки гипотез, но не для финальных разработок.

Алексей Карначев

руководитель команды R&D Just AI

К слову, директор и учредитель Ассоциации участников рынка данных Иван Бегтин тоже подтверждает, что академические и коммерческие датасеты как правило лучше государственных и некоммерческих — последние чаще бывают плохого или среднего качества. Но Дмитрий Акимов из VisionLabs с этим не согласен:

Качество публичных датасетов достаточно хорошее, однако существуют ошибки в разметке и их объемы, как правило, малы. Кроме того, их нельзя использовать в коммерческих целях. Подобные наборы данных больше подходят для образовательных целей, а для выпуска продукта в продакшен нужны собственные данные.

Дмитрий Акимов

инженер по данным VisionLabs

Путаницу с качеством датасетов проясняет руководитель лаборатории машинного интеллекта компании Яндекс Александр Крайнов: в данном случае нужно говорить не о качестве, а о репрезентативности. И его вывод о работе компаний с данными вполне однозначен:

В целом редко бывает, что датасет, собранный не под очень конкретную задачу, полностью репрезентативен. Можно также говорить, что в каких-то областях датасетов хватает, в каких-то — нет. Но вся наука живет на общедоступных датасетах, и живет успешно.

В любом случае, сбор, поиск, генерация, разметка данных — это важная часть работы. Никто не должен подносить тебе данные. Хочешь делать ИИ-решения? Занимайся данными сам.

Как очищать данные и нужно ли это в принципе

Один из главных критериев некачественных данных — их недостаточная «чистота». Что это значит, объясняет эксперт:

Словосочетание «грязные данные» — это собирательный образ.

Во-первых, это набор неточностей и ошибок механического характера: опечатки, пропуски, разные форматы и прочее. Методы борьбы тут тоже исключительно механические — скучные, трудоемкие, но в целом понятные: аккуратность, прозрачные и документированные ETL-процедуры.

Во-вторых, семантические ошибки — например, оксюмороны вроде «беременных мужчин» и «пожилых пионеров». Лечение таких проблем чуть более творческая задача, но методы детектирования аномалий и выбросов существуют давно.

В-третьих (во многом это следствие предыдущих пунктов), это вопрос доверия к решениям и выводам ИИ-алгоритмов и их легитимность.

Адель Валиуллин напоминает о принципе GIGO — «Garbage In, Garbage Out» («Мусор на входе — мусор на выходе»).

Если входные данные включают в себя ошибки, то будут получены искаженные выводы, даже если сам по себе алгоритм правильный. Если данных действительно много, то можно пожертвовать грязным набором данных, удалив их из всего датасета. Также эффективные методы очистки можно реализовать на таких инструментах разметки данных как Яндекс.Толока и Amazon Mechanical Turk.

Адель Валиуллин

исполнительный директор Департамента анализа данных и моделирования «Газпромбанка»

Алексей Карначев из Just AI развивает мысль коллеги и на примерах показывает, как нейронные сети воспринимают подобные данные.

Например, мы хотим сделать классификатор документов. Допустим, корпус документов у нас «грязный»: слова содержат орфографические и пунктуационные ошибки, опечатки. Каждая ошибка в слове, по сути, раздувает словарь: есть слово «данные», а есть «даные» — с одной «н». Для алгоритма это два разных слова, в итоге данные зашумляются.

С другой стороны, есть современные методы: нейронные LSTM-сети или трансформеры, любые современные NLP-модели. Для них часто вообще не нужно чистить данные. Если мы возьмем датасет диалогов с форума и исправим в них ошибки, можно убрать и полезную информацию, которая содержится в данных. Поэтому важнее не то, как чистить данные, а как понять, что данные «грязные» и нуждаются в чистке. Если же понятно, что нуждаются, то очистить их не проблема, просто на это нужно потратить время.

Алексей Карначев

руководитель команды R&D Just AI

Дмитрий Акимов из VisionLabs делится опытом — каким образом лучше работать с «грязными» данными:

Один из эффективных способов — переразметка. Мы используем краудсорсинг — это довольно затратно, но эффективно. Как правило, чем больше мы платим разметчикам, тем чище на выходе данные. Также мы используем технологию human in the loop: когда асессор исправляет уже размеченные ML-алгоритмом данные, на которых потом обучаются нейронные сети.

Дмитрий Акимов

инженер по данным VisionLabs

Александр Крайнов из Яндекса тоже считает, что лучше краудсорсиноговой разметки ничего нет. Может помочь и количество данных, напоминает он: если их много, то «грязность» не так страшна.

Другие эксперты видят необходимость в превентивных мерах и системном подходе к решению проблемы.

Абсолютно чистых данных не бывает, вопрос степени загрязнения. Избегать следует системных искажений в выборке. Если же речь про случайные баги в разметке или признаках, то не вижу в этом проблемы: некоторая регуляризация не повредит. Это скорее всего не относится к по-настоящему грязным данным, с которыми мы не сталкивались.

Денис Власов

ведущий аналитик и специалист по машинному обучению «Учи.ру»

Директор Ассоциации участников рынка данных Иван Бегтин отмечает важность работы с «первоисточниками»: по его мнению, самый эффективный метод работы с «грязными» данными — убедить владельцев контролировать их ввод и очистку. С этой точкой зрения согласен Алексей Иванов из Sever.AI:

Для борьбы с «грязными» данными мне видится эффективным повышение культуры работы с датой внутри организации в целом. Нужны понятные структуры и дашборды, с помощью которых специалист может быстро определить, что что-то пошло не так.

Алексей Иванов

аналитик данных в Sever.AI ИТ-холдинга TalentTech

По мнению Петра Емельянова из UBIC Technologies, даже этот процесс в будущем может быть решен техническими способами:

В целом проблема грязных данных исключительно инфраструктурная. Мне кажется, что все самое интересное и прорывное, что ждет нас в индустрии в ближайшие годы, случится именно в инфраструктуре: появятся системы, которые будут эффективно чистить данные, закрывать вопросы конфиденциальности и т.д.

Не проще ли генерировать данные искусственно

Сегодня к подобным системам отчасти можно отнести синтетические данные. Это инструмент, который позволяет нейросетям обучаться на «виртуальных данных» — например, сгенерированных другими нейросетями, — и затем применяться в реальности. Мы попросили экспертов оценить, насколько такой подход действенен и оправдан.

Есть разные подходы к созданию синтетических данных, и от выбора конкретного подхода в большой степени зависит эффективность их применения. В некоторых случаях без них не обойтись, и они помогают решить задачу, но в других случаях могут эффективно помочь только на стартовом этапе подготовки нейронных сетей.

Наталья Соколова

CEO Brand Analytics

То же самое говорит Алексей Карначев из Just AI: эффективность зависит от задачи.

Генерирование синтетических данных может быть оправдано, когда модель нам не принадлежит либо она чересчур тяжелая. В ином случае, если бы у нас на руках была модель, которая генерирует данные и удовлетворяет потребностям по размеру и быстродействию, мы скорее всего приспособили бы ее для основной задачи, а не для генерации данных. В любом случае, такая модель должна быть сильнее той, которая будет на этих данных обучаться.

В случае с обучением модели классификации текста есть альтернативный вариант. Если данных мало, мы можем дополнить датасет при помощи техники back translation. Переводим текст с русского на английский в «Google Переводчике», а потом обратно. Эффект известен — предложение меняется, иногда не совсем адекватно, но в основном мы получаем просто новую формулировку. Ее можно добавлять в датасет с тем же классом, расширяя его за счет синтетических данных.

Алексей Карначев

руководитель команды R&D Just AI

Дмитрий Акимов из VisionLabs соглашается: синтетические данные не могут решить все проблемы, но позволяет обеспечить базовое обучение. Но на следующих этапах, предостерегает он, все равно потребуются реальные данные, поскольку «синтетика» не всегда дает прирост точности.

Того же мнения придерживается аналитик данных в Sever.AI Алексей Иванов:

Если мы говорим, например, про понимание естественного языка, про определение личностных характеристик человека по видео, то «живые» данные людей не заменит ничто. Впрочем, для выделения голоса из посторонних шумов можно использовать вариант синтетических данных, но и в этом случае исходные звуки и шумы должны быть настоящими.

Алексей Иванов

аналитик данных в Sever.AI ИТ-холдинга TalentTech

Важна также специфика отрасли. Например, Денис Власов из образовательной площадки «Учи.Ру» рассказывает, что компания не применяет этот метод, поскольку он в их случае не дает существенного преимущества, но повышает риск ошибок. То же самое говорит Анна Мещерякова про область здравоохранения:

«Синтетику» используют в более простых задачах: распознавании текста или дорожных знаков — там, где генерирование синтетических данных выполнить относительно просто. Задача создания качественной «синтетики», которая будет похожа на реальные данные и покрывать сложные и редкие случаи, намного сложнее.  В медицине данные отличаются от аппарата к аппарату. Невозможно сгенерировать синтетические данные для аппарата, по которому не было получено «чистых», реальных данных.

Могут ли помочь новые регуляторные меры

Одним из вариантов частичного решения проблем с датасетами может стать эффективное государственное регулирование в этой области. Мы спросили у экспертов, считают ли они необходимым ввод дополнительных регуляторных инструментов.

Не считаю, что нужно дополнительное регулирование. На мой взгляд, датасеты должны быть открытыми, если они не являются коммерческой тайной или не содержат персональных данных. Ограничения приведут к образованию монополии на данные и снижению конкуренции, что всегда негативно сказывается на конечном продукте.

Дмитрий Акимов

инженер по данным VisionLabs

К слову, открытость датасетов — определяющий критерий для всех опрошенных нами экспертов. Директор Ассоциации участников рынка данных Иван Бегтин считает необходимым регулирование по раскрытию данных государством, поскольку открытые данные необходимы для развития рынка ИИ. 

Директор Brand Analytics, Наталья Соколова смотрит на этот вопрос с другой стороны:

Внутри компаний дополнительное регулирование не нужно. Большие данные — всегда совокупность «малых» данных, которые и так регулируются законодательством. Практически все датасеты отмечены используемыми правами и источниками. Регулироваться могут персонализированные исходные данные при передаче во внешнюю компанию или организацию.

Наталья Соколова

CEO Brand Analytics

Анна Мещерякова из «Третьего мнения», в свою очередь, уже успела оценить положительный эффект от принятых ранее регуляторных решений в области здравоохранения.

Регулирование нужно, так как оно позволяет ускорить развитие отрасли и повысить число внедренных решений. Разработчики ИИ-сервисов для здравоохранения до недавнего времени не могли осуществлять продажи продуктов, так как критерии их отнесения к медицинским изделиям и соответствующие требования не были определены регулятором. На данный момент разъяснения получены, сертификация идет в ускоренном режиме.

Напомним, что недавно решение компании «Третье мнение» — умная система видеонаблюдения за пациентами — начало применяться в одной из клиник «Медси», где лечат больных коронавирусом.

Петр Емельянов из UBIC Technologies, в свою очередь, поднял вопрос безопасности данных — области, которая, по его мнению, безусловно требует дополнительных регуляторных мер.

Важно понимать, что есть разница между безопасностью и конфиденциальностью. Если, например, у человека крадут данные кредитной карты, то это вопрос безопасности: в общем случае человек звонит в банк и за две минуты аннулирует дискредитированную карту. А вот если человек серьезно болен, и об этом узнают, например, в результате утечки данных, то это более серьезная проблема — нарушение конфиденциальности. Поэтому, я считаю, что дополнительное разумное регулирование необходимо, а устранение преград должно происходить в технической плоскости.

Вопрос приватности данных в целом довольно активно обсуждается участниками индустрии.

В России пока нет закона, который бы регулировал использование ИИ в HR-сфере. Компаниям, которые планируют использовать ИИ, нужно быть прозрачными, научиться понимать и объяснять принципы работы алгоритмов. Было бы полезно ограничивать действия людей или даже компаний, которые хотят извлечь выгоду из повсеместного сбора данных. Но государственное и юридическое регулирование работы ИИ должно быть направлено на защиту интересов граждан и пользователей продуктов, а не на торможение развития современных технологий.

Алексей Иванов

аналитик данных в Sever.AI ИТ-холдинга TalentTech

По мнению Дениса Власова из «Учи.ру», важно устранить неопределенность в отношении персональных данных и барьеров в получении обезличенных данных. Ничто не подтолкнет разработки ИИ так, как появление открытых специализированных датасетов в здравоохранении, образовании и так далее.

О необходимости поиска баланса между персональными и обезличенными данными говорит и Александр Крайнов из Яндекса:

Всегда нужно искать баланс между защитой пользовательской информации и сбором данных для развития технологий и сервисов. Регулирование должно постоянно меняться вместе с развитием технологий и общества. Хорошее регулирование должно помогать прогрессу и минимизировать неприятные побочные эффекты.

Адель Валиуллин, в свою очередь, напоминает, что такие области как большие данные и ИИ активно развиваются и входят в большее количество сфер: медицина, финансы, образование, транспорт и др. А значит, регулирование в этой области неизбежно. Владимир Новоселов из Mail.Ru Group уточняет, что эта работа в интересах индустрии уже активно ведется:

В настоящий момент компетентные участники рынка задействованы в работе комитетов по разработке новых регуляторных норм. Это позволит, в частности, облегчить доступ к данным, необходимым для обучения ИИ, которыми располагают государственные органы, разрабатывать ML-сервисы на объединенных наборах данных из разных источников в режиме «песочниц».

Напомним, что 24 апреля Владимир Путин подписал закон об экспериментальном правовом режиме для ИИ-разработчиков в Москве. Он должен вступить в силу 1 июля и продлиться пять лет.

Больше информации о разработках в области искусственного интеллекта можно посмотреть в Базе знаний ИИ.

Google AI представила Fluid Annotation, «умный» интерфейс для разметки изображений

Команда Google AI разработала основанный на машинном обучении интерфейс, который сокращает время разметки объектов на фотографиях в три раза. Это позволит быстрее создавать большие корпуса изображений для систем компьютерного зрения. Разработчики создали демонстрационную веб-версию интерфейса, где каждый пользователь может попробовать очертить границы объектов на нескольких фотографиях.

Проблема ручной разметки

Системы компьютерного зрения учатся распознавать объекты на изображениях, где эти объекты уже очерчены и подписаны. Разметка одной фотографии для набора COCO+Stuff занимает у человека около 19 минут, а всего датасета — 53 тысячи часов. Это налагает серьёзные ограничения на развитие распознающих моделей.

Подробнее о Fluid Annotation

В первую очередь нейросеть с архитектурой Mask-RCNN разбивает изображение на сегменты по грубым контурам объектов. Их получается больше тысячи, и каждому присваивается название и оценка доверия. Человек начинает работать с сегментами, получившими наиболее высокую оценку, после чего может:

• изменять подписи сегментов с помощью выпадающего меню;
• добавлять сегменты для объектов, которые модель не смогла распознать;
• удалять существующие сегменты;
• изменять карту глубины для сегментов, перекрывающих друг друга.

Таким образом, интерфейс позволяет человеку корректировать разметку объектов, а не выполнять работу с нуля.

Команда Google AI представит посвящённую Fluid Annotation статью 25 октября 2018 года на ACM Multimedia Conference 2018 в секции Brave New Ideas.

Помимо проблемы аннотации изображений, исследователи в области машинного обучения решают вопрос наполнения датасетов. Качество распознавания объекта зависит от того, насколько часто интеллектуальная система «встречала» его во время обучения. Летом 2018 года команда Google AI представила алгоритм, который генерирует уникальные изображения на основе существующих: с помощью обрезки, изменения цвета или отражения. Это позволяет увеличить размер датасета, не затрачивая время и силы на поиск новых изображений.

Source: блог Google AI

Набор данных | Центр поиска Google | Разработчики Google

Наборы данных

легче найти, если вы предоставите вспомогательную информацию, такую ​​как их название, описание, создатель и форматы распространения.
как структурированные данные. Подход Google к обнаружению наборов данных
использует schema.org и другие стандарты метаданных, которые можно добавлять на страницы, описывающие наборы данных. Цель этой разметки —
улучшить обнаружение наборов данных из таких областей, как науки о жизни, социальные науки, машины
обучение, гражданские и правительственные данные и многое другое.Вы можете найти наборы данных, используя
Инструмент поиска по набору данных.

Вот несколько примеров того, что можно квалифицировать как набор данных:

• Таблица или файл CSV с некоторыми данными
• Организованный набор таблиц
• Файл в собственном формате, содержащий данные
• Набор файлов, которые вместе составляют некоторый значимый набор данных
• Структурированный объект с данными в другом формате, который вы, возможно, захотите загрузить в
  специальный инструмент для обработки
• Данные захвата изображений
• Файлы, относящиеся к машинному обучению, такие как обученные параметры или определения структуры нейронной сети
• Все, что вам кажется набором данных

Как добавить структурированные данные

Структурированные данные — это стандартизированный формат для предоставления информации о странице и классификации страницы.
содержание.Если вы новичок в структурированных данных, вы можете узнать больше о
как работают структурированные данные.

Вот обзор того, как создавать, тестировать и выпускать структурированные данные. Пошаговое руководство
о том, как добавить структурированные данные на веб-страницу, см.
структурированный
данные codelab.

1. Добавьте необходимые свойства. Для информации о том, где поставить
   структурированные данные на странице, смотрите, как структурирован JSON-LD
   данные: Куда вставить на странице.
2. Следуйте инструкциям.
3. Подтвердите свой код с помощью
   Богатый тест результатов.
4. Разверните несколько страниц, содержащих ваши структурированные данные, и используйте инструмент проверки URL-адресов, чтобы проверить, как Google видит страницу. Убедитесь, что ваша страница
   доступны для Google и не блокируются файлом robots.txt, тегом noindex или
   требования для входа в систему. Если страница выглядит нормально, вы можете
   попросить Google
   повторно просканируйте ваши URL.
   Примечание : Дайте время для повторного сканирования и повторной индексации.Помните, что это
   После публикации страницы Google может найти и просканировать ее через несколько дней.
5. Чтобы держать Google в курсе будущих изменений, мы рекомендуем вам
   представить
   карта сайта. Вы можете автоматизировать это с помощью
   Карта сайта Search Console
   API.

Удаление набора данных из результатов поиска набора данных

Если вы не хотите, чтобы набор данных отображался в результатах поиска по набору данных, используйте метатег robots, чтобы управлять тем, как ваш набор данных индексируется.Имейте в виду, что может потребоваться некоторое время (дни или недели, в зависимости от расписания сканирования), чтобы изменения отразились в поиске по набору данных.

Наш подход к обнаружению наборов данных

Мы можем понять структурированные данные на веб-страницах о наборах данных, используя либо разметку schema.org Dataset , либо эквивалентную
структуры, представленные в формате W3C Data Catalog Vocabulary (DCAT). Мы также изучаем
экспериментальная поддержка структурированных данных на основе W3C CSVW, и мы ожидаем развития и адаптации нашего подхода по мере появления передовых методов описания наборов данных.Для получения дополнительной информации о наших
подход к обнаружению наборов данных, см.
Упрощение поиска наборов данных.

Примеры

Вот пример для наборов данных, использующих синтаксис JSON-LD и schema.org (предпочтительно) в
Богатый тест результатов. Тот же словарь schema.org может также использоваться в синтаксисах RDFa 1.1 или Microdata.
Вы также можете использовать словарь W3C DCAT для описания метаданных. Следующий пример основан на
реальный мир
описание набора данных.

JSON-LD

Вот пример набора данных в JSON-LD:

RDFa

Вот пример набора данных в RDFa с использованием словаря DCAT:

 

    

      
 Имя: 
      
 Данные о движении денежных средств ACME Inc 
      
 Идентификаторы: 
      
 https: // doi.org / 10.1000 / 182 
      
 https://identifiers. org/ark:/12345/fk1234 
      
 Описание: 
      
 Финансовая отчетность - Консолидированный отчет о движении денежных средств 
      
 Категория: 
      
 Финансы 
      
 Загрузки: 
      

        

          

              Consolidated_Statement_of_Cash_Flows_en.csv  
          
         

              Consolidated_Statement_of_Cash_Flows_en.xls  
          

          

              Consolidated_statement_of_cash_flows_en. xml  
          
        
      
    
  
 

Руководящие принципы

Сайты должны соответствовать структурированным данным
руководящие указания. В дополнение к рекомендациям по структурированным данным мы рекомендуем следующие
карта сайта, источник и происхождение
передовой опыт, указанный ниже.

Лучшие практики карты сайта

Используйте файл карты сайта в помощь
Google найдите ваши URL-адреса.Использование файлов карты сайта и разметки sameAs помогает документировать, как
описания наборов данных публикуются на вашем сайте.

Если у вас есть репозиторий наборов данных, вы, вероятно, имеете как минимум два типа страниц: канонические
(«целевые») страницы для каждого набора данных и страницы со списком нескольких наборов данных (например, поиск
результатов или некоторого подмножества наборов данных). Мы рекомендуем вам добавить структурированные данные о наборе данных в
канонические страницы. Используйте так же, как
для ссылки на каноническую страницу, если вы добавляете структурированные данные в несколько копий
набор данных, например списки на страницах результатов поиска.

Google не требует явной пометки всех упоминаний одного и того же набора данных.
вверх, но если вы сделаете это по другим причинам, мы настоятельно рекомендуем использовать
такой же как.

Источники и лучшие практики

Обычно открытые наборы данных переиздаются, агрегируются и основываются на других наборах данных.
Это начальная схема нашего подхода к представлению ситуаций, в которых набор данных является копией.
из другого набора данных или иным образом основанный на нем.

• Используйте как
  свойство для указания наиболее канонических URL-адресов для оригинала в случаях, когда набор данных или
  description — это простое переиздание материалов, опубликованных в другом месте. Значение
  то же, что и
  однозначно указать идентичность набора данных — другими словами, два разных набора данных должны
  не используйте тот же URL, что и
  то же, что и значение .
• Используйте свойство isBasedOn
  в случаях, когда повторно опубликованный набор данных (включая его метаданные) был изменен
  существенно.
• Если набор данных является производным или объединяет несколько оригиналов, используйте
  isBasedOn собственности.
• Используйте идентификатор
  свойство для прикрепления любых соответствующих идентификаторов цифровых объектов (DOI) или
  Компактные идентификаторы. Если
  набор данных имеет более одного идентификатора, повторите свойство идентификатора . Если
  используя JSON-LD, это представляется с использованием синтаксиса списка JSON.

Мы надеемся улучшить наши рекомендации на основе отзывов, в частности, в отношении описания
происхождение, управление версиями и даты, связанные с публикацией временных рядов.Пожалуйста, присоединяйтесь
обсуждения сообщества.

Рекомендации по текстовым свойствам

Мы рекомендуем ограничить все текстовые свойства до 5000 символов или меньше. Поиск по набору данных Google использует только первые 5000 символов любого текстового свойства. Имена и заголовки обычно состоят из нескольких слов или коротких предложений.

Известные ошибки и предупреждения

Вы можете столкнуться с ошибками или предупреждениями в Google Structured
Инструмент проверки данных и другие системы проверки.В частности, системы проверки могут
Предлагаем организациям иметь контактную информацию, включая contactType ; полезные значения включают
служба поддержки клиентов , экстренная помощь , журналист , отдел новостей и взаимодействие с общественностью .
Вы также можете игнорировать ошибки для csvw: Таблица является неожиданным значением для свойства mainEntity .

Определения структурированных типов данных

Вы должны включить необходимые свойства, чтобы ваш контент имел право на отображение в качестве расширенного результата.Вы также можете включить рекомендуемые свойства, чтобы добавить дополнительную информацию о своем контенте,
что может обеспечить лучший пользовательский опыт.

Вы можете использовать структурированный
Инструмент проверки данных для проверки вашей разметки.

Основное внимание уделяется описанию информации о наборе данных (его метаданных) и представлении его
содержание. Например, метаданные набора данных указывают, о чем этот набор данных, какие переменные
меры, кто это создал и так далее. Например, он не содержит конкретных значений для
переменные.

Набор данных

Полное определение набора данных доступно на
schema.org/Dataset.

Вы можете описать дополнительную информацию о публикации набора данных, например
лицензия, когда она была опубликована, ее
DOI,
или sameAs , указывающий на каноническую версию набора данных в другом
репозиторий. Добавьте идентификатор , лицензию и то же, что и для
наборы данных, содержащие информацию о происхождении и лицензии.

 "name": "Быстрый рисунок! Набор данных"
"alternateName": ["Набор данных быстрого рисования", "набор данных быстрого рисования"] 

"создатель": [
    {
        "@type": "Человек",
        «sameAs»: «http://orcid.org/0000-0000-0000-0000»,
        "givenName": "Джейн",
        "familyName": "Фу",
        "name": "Джейн Фу"
    },
    {
        "@type": "Человек",
        «sameAs»: «http://orcid.org/0000-0000-0000-0001»,
        "givenName": "Джо",
        "familyName": "Бар",
        "name": "Джо Бар"
    },
    {
        "@type": "Организация",
        «sameAs»: «http: // ror.org / xxxxxxxxx ",
        "name": "Консорциум фиктивных исследований"
    }
] 

"цитата": "https://doi.org/10.1111/111" 

"цитата": "https://identifiers.org/pubmed:11111111" 

"цитата": "https://identifiers.org/arxiv:0111.1111v1" 

"цитата":
 "Доу Дж. (2014) Влияние X... https://doi.org/10.1111/111 "

"hasPart": [
  {
    "@type": "Набор данных",
    "name": "Дополнительный набор данных 01",
    "description": "Информативное описание первого набора данных ...",
    «лицензия»: «https://creativecommons.org/publicdomain/zero/1.0/»
  },
  {
    "@type": "Набор данных",
    "name": "Дополнительный набор данных 02",
    "description": "Информативное описание второго набора данных... ",
    «лицензия»: «https://creativecommons.org/publicdomain/zero/1.0/»
  }
]
 

"isPartOf": "https://example. com/aggregate_dataset"
 

«лицензия»: «https://creativecommons.org/publicdomain/zero/1.0/» 

"лицензия": {
  "@type": "CreativeWork",
  "name": "Специальная лицензия",
  "url": "https: // пример.ru / custom_license "
  } 

"SpaceCoverage:" {
  "@type": "Место",
  "geo": {
    "@type": "ГеоКоординаты",
    «широта»: 39,3280,
    «долгота»: 120,1633
  }
} 

"SpaceCoverage:" {
  "@type": "Место",
  "geo": {
    "@type": "GeoShape",
    "box": "39.3280 120.1633 40.445 123.7878"
  }
} 

"SpaceCoverage:" "Тахо-Сити, Калифорния" 

"temporalCoverage": "2008" 

"temporalCoverage": "1950-01-01 / 2013-12-18" 

"temporalCoverage": "2013-12-19 /.. »

Каталог данных

Полное определение DataCatalog доступно на
schema.org/DataCatalog.

Наборы данных часто публикуются в репозиториях, содержащих много других
наборы данных. Один и тот же набор данных может быть включен в более чем один такой репозиторий.Ты
может ссылаться на каталог данных, к которому принадлежит этот набор данных, ссылаясь на него
напрямую.

Данные Загрузить

Полное определение DataDownload доступно на
schema.org/DataDownload.Помимо свойств набора данных,
добавьте следующие свойства для наборов данных, которые предоставляют варианты загрузки.

Распределение Свойство описывает, как получить сам набор данных, поскольку URL-адрес
часто указывает на целевую страницу с описанием набора данных. Распределение
Свойство описывает, где и в каком формате брать данные. Это свойство может
имеют несколько значений: например, версия CSV имеет один URL и Excel
версия доступна у другой.

Табличные наборы данных

Beta : этот подход в настоящее время находится на стадии бета-тестирования и поэтому может быть изменен.

Табличный набор данных организован в основном в виде сетки строк и столбцов.
Для страниц, в которые встроены табличные наборы данных, вы также можете создать более явную разметку, основываясь на базовом подходе, описанном выше.В настоящее время мы понимаем вариант
CSVW («CSV в Интернете», см. W3C), предоставляемый параллельно с ориентированным на пользователя табличным содержимым на странице HTML.

Вот пример небольшой таблицы, закодированной в формате CSVW JSON-LD. В тесте Rich Results есть несколько известных ошибок.

Покажи мне пример

Отслеживайте расширенные результаты с помощью Search Console

Search Console — это инструмент, который помогает отслеживать эффективность ваших страниц в поиске Google. Вам не нужно регистрироваться в Search Console, чтобы включить его в результаты поиска Google,
но это может помочь вам понять и улучшить то, как Google видит ваш сайт. Мы
рекомендуем проверять Search Console в следующих случаях:

1. После первого развертывания структурированных данных
2. После выпуска новых шаблонов или обновления кода
3. Периодическая проверка трафика

После первого развертывания структурированных данных

После того, как Google проиндексирует ваши страницы, ищите проблемы, используя соответствующие
Отчет о статусе расширенных результатов.В идеале вы должны увидеть увеличение количества действительных страниц, а не увеличение количества ошибок или предупреждений. Если вы обнаружите проблемы
в ваших структурированных данных:

1. Исправьте ошибки.
2. Проверьте действующий URL-адрес, чтобы убедиться, что проблема сохраняется.
3. Запросить подтверждение с помощью отчета о состоянии.

После выпуска новых шаблонов или обновления кода

Когда вы вносите существенные изменения в свой веб-сайт, следите за увеличением количества ошибок и предупреждений в структурированных данных.

• Если вы видите увеличение числа ошибок , возможно, вы развернули новый шаблон, который не работает, или ваш сайт взаимодействует с существующим
  шаблон по-новому и неудачно.
• Если вы видите уменьшение количества допустимых элементов на (не соответствует увеличению количества ошибок), возможно, вы
  больше не встраивают структурированные данные на ваши страницы. Использовать
  Инструмент проверки URL-адресов, чтобы узнать, что вызывает проблему.

Периодический анализ трафика

Анализируйте свой поисковый трафик Google с помощью отчета по эффективности.Эти данные покажут вам, как часто ваша страница появляется в результатах поиска, как часто пользователи нажимают на нее и что
ваша средняя позиция в результатах поиска. Вы также можете автоматически вытащить эти
результаты с поиском
Консольный API.

Исправление проблем

Важно : Google не гарантирует, что функции, использующие структурированные данные, будут
появятся в результатах поиска. Список распространенных причин, по которым Google не может
показать свой контент в расширенном результате, см. Общие
Рекомендации по структурированным данным.

Если у вас возникли проблемы с внедрением структурированных данных, вот несколько ресурсов, которые могут вам помочь.

Определенный набор данных не отображается в результатах поиска по набору данных

ошибка Причина проблемы : на вашем сайте нет структурированных данных на странице, которая описывает наборы данных, или страница еще не просканирована.

выполнено Исправить проблему

1. Скопируйте ссылку на страницу, которую вы ожидаете увидеть в результатах поиска по набору данных, и поместите ее в тест с расширенными результатами.Если появляется сообщение «Страница не соответствует требованиям для расширенных результатов, известных по этому тесту» или «Не вся разметка подходит для расширенных результатов», это означает, что на странице нет разметки набора данных или она неверна. Вы можете исправить это, обратившись к разделу Как добавить структурированные данные.
2. Если на странице есть разметка, возможно, она еще не сканировалась. Вы можете проверить статус сканирования с помощью Search Console.

Логотип компании отсутствует или отображается неправильно по результатам поиска

ошибка Причина проблемы : На вашей странице может отсутствовать схема. разметка org для логотипов организаций или ваш бизнес не связан с Google.

выполнено Исправить проблему

1. Добавьте на страницу структурированные данные логотипа.
2. Расскажите о своей компании с помощью Google.

Все о разметке набора данных — GBIM Technologies Pvt Ltd.

С помощью поисковой системы Google Dataset исследователи, ученые, журналисты данных и т. Д. Получают доступ к онлайн-наборам данных. Обнаружение наборов данных упрощается за счет добавления схемы набора данных и других стандартов метаданных, используемых для структурирования данных наборов данных.Основная цель этой разметки — облегчить обнаружение наборов данных из таких областей, как естественные науки, социальные науки, машинное обучение, гражданские и правительственные данные. Вы можете искать наборы данных с помощью инструмента поиска наборов данных.

Какой тип данных считается наборами данных?

Следующие типы данных квалифицируются как наборы данных:

• CSV-файл или таблица, содержащая данные.

• Систематический сборник таблиц

• Файл проприетарного формата, содержащий данные.

• Коллекция файлов, содержащих важные данные.

• Изображения, содержащие данные

• Файлы машинного обучения.

• Любые данные, которые для пользователя выглядят как набор данных.
• Структурированный объект, содержащий данные в другом формате, который вы, возможно, захотите установить в специальном инструменте для обработки.

Как добавить разметку набора данных?

Вы можете добавить разметку набора данных следующими способами:

• Добавьте все необходимые свойства разметки, используя формат JSON-LD.

• Следуйте рекомендациям по структурированию данных.

• Проверьте указанный код с помощью теста Rich Results.

• Разместите несколько страниц, которые содержат данные вашей структуры, и используйте инструмент проверки URL, чтобы узнать, как Google видит страницу. Убедитесь, что ваша страница доступна для Google и не заблокирована файлом robots.txt, тегом no.index или требованиями входа в систему.

Если страница выглядит нормально, вы можете попросить Google повторно просканировать ваши URL.

• Отправьте карту сайта для информирования Google о будущих изменениях, связанных с вашим сайтом.

СОВЕТ ПРОФЕССИОНАЛА: Если вы хотите удалить свой набор данных или не хотите, чтобы он отображался в поисковых системах, используйте метатег robots для управления процессом индексирования набора данных. Однако для достижения желаемых результатов может потребоваться некоторое время.

Подход Google к обнаружению наборов данных:

Google Понимает структурированные данные наборов данных, используя либо схему.org Dataset Markup или эквивалентные структуры, представленные в формате словаря каталога данных W3C (DCAT). Для улучшения обнаружения наборов данных Google также экспериментирует с поддержкой структурированных данных в W3CCSVW.

Каким руководствам следует следовать?

В дополнение к рекомендациям по структурированным данным Google рекомендует соблюдать:

1. Карта сайта Практики:

A. Используйте файлы карты сайта, чтобы помочь Google найти ваш URL.Использование файлов разметки SameAs и файлов Sitemap помогает Google документировать процесс, после которого описания наборов данных публикуются на вашем сайте.

B. Репозиторий наборов данных обычно имеет два типа страниц: целевая страница и страница со списком нескольких наборов данных.

В таких случаях рекомендуется добавить структуру набора данных на целевые страницы.

Если структурированные данные добавляются на несколько страниц набора данных, используйте свойство SameAs, чтобы добавить их к целевой странице.

2. Источники и источники происхождения:

Если набор данных является копией или лучше всего подходит для другого набора данных, следуйте приведенным ниже методам:

• Когда набор данных повторно публикуется или некоторые связанные с ним материалы публикуются в другом месте, используйте свойство SameAs для указания большинства целевых URL-адресов исходного набора данных.

• Для наборов данных, которые значительно меняются, используйте свойство isBasedOn. Используйте один и тот же объект, если набор данных является производным или агрегированным из нескольких оригиналов.

• Используйте свойство идентификатора для присоединения любых соответствующих идентификаторов цифровых объектов или компактных идентификаторов. Повторите свойство идентификатора для наборов данных, имеющих более одного идентификатора. JSON-LD представлен с использованием синтаксиса списка JSON.

3. Руководство по текстовым свойствам:

Все текстовые свойства должны содержать не более 5ooo символов, так как Google Data Search использует только первые 5000 символов любого текстового свойства.Все имена и заголовки должны состоять из нескольких слов или коротких предложений.

ЧТО ДЕЛАТЬ, ЕСЛИ МОИ СТРУКТУРИРОВАННЫЕ НАБОРЫ ДАННЫХ ИМЕЮТ ОШИБКИ И ПРЕДУПРЕЖДЕНИЯ?

В Инструменте проверки структурированных данных Google или других системах проверки могут появляться предупреждения или ошибки. Эти системы проверки предполагают, что каждая организация должна иметь свойства контактной информации, такие как ContactType; к важным ценностям относятся обслуживание клиентов, экстренная помощь, журналист, отдел новостей и участие общественности.Вы можете игнорировать ошибки для csvw: Table, которые не являются ожидаемым значением для свойства mainEntity.

КАКОВЫ РАЗЛИЧНЫЕ СВОЙСТВА МАРКИРОВКИ НАБОРА ДАННЫХ?

Различные свойства, необходимые для структурирования данных наборов данных:

A.Dataset: свойство влечет за собой подробное описание конкретной темы. Пример: наборы научных или гражданских данных.

Такие объекты, как идентификатор, лицензия и sameAs, содержат информацию о происхождении и лицензии.

1. Описание: Краткое содержание от 50 до 5000 символов.Резюме — это краткое описание указанного набора данных. Он может включать синтаксис Markdown, и все встроенные изображения должны использовать URL с абсолютным путем. Кроме того, всегда обозначайте две новые строки символом \ n при использовании формата JSON-LD.
2. Имя: свойство содержит указанное имя набора данных. Всегда используйте уникальные имена для разных наборов данных.
3. Альтернативное имя: свойство содержит альтернативное имя, которое используется для ссылки на наборы данных.
4. Создатель: свойство содержит создателя или автора набора данных.Для уникальной идентификации людей используйте свойство ORCI sameAs типа Person.
5. Образец цитирования: На объекте хранятся творческие работы или тексты, рекомендованные поставщиком набора данных. Всегда указывайте ссылку на сам набор данных с другими свойствами, такими как имя, идентификатор, создатель и издатель. С помощью этого свойства можно идентифицировать академические публикации, такие как дескриптор данных, информационный бюллетень и статьи, относящиеся к указанному набору данных.

Руководящие принципы, которых необходимо придерживаться:

• Не используйте это свойство для предоставления информации о цитировании самого набора данных.
• Всегда указывайте идентификаторы статьи при заполнении свойства цитирования фрагментом цитирования.

6. HasPart или IsPartOf: когда набор данных представляет собой набор меньших наборов данных, используйте свойство hasPart, а когда набор данных является частью больших наборов данных, используйте свойство IsPartOf для обозначения связи. Если набор данных используется в качестве значения, включите все свойства автономного набора данных.
7. Идентификатор: свойство содержит идентификаторы, такие как DOI или компактный идентификатор.Если в наборе данных более одного идентификатора, повторите свойства идентификатора.
8. Лицензия: Лицензия, по которой распространяется набор данных.

Всегда предоставляйте URL-адрес, недвусмысленно указывающий конкретную версию используемой лицензии.

9. Метод измерения: свойство содержит упомянутый метод, методологию или технологию, используемую в наборе данных, который может соответствовать переменной (ам), описанной в variableMeasured.
10. SameAs: свойство содержит URL-адрес справочной веб-страницы, недвусмысленно указывающий на идентичность набора данных.
11. SpatialCoverage: свойство содержит информацию, относящуюся к пространственному аспекту данных. Это свойство следует включать только в том случае, если набор данных имеет пространственное измерение.

Пространственное покрытие включает определение формы, местоположения и точек покрытия.

12.TemporalCoverage: Указанный временной интервал набора данных, указанный в формате ISO 8601. Опишите в зависимости от временного интервала набора данных. Пример:

Одна дата: «temporalCoverage»: «2008»

Период времени: «временной охват»: «1950-01-01» / «2013-12-18»

Бессрочный временной период: «2013-12-19 /….

13. VariableMeasured: переменная, измеренная указанным набором данных. Пример: температура или давление.
14. Версия: Указанный номер версии для набора данных.
15. URL: расположение страницы.

Каталог данных

1. DataCatalog: свойство содержит более одного набора данных.
2. IncludedInDataCatalog: Каталог, в который входит набор данных.

Каталоги данных обычно публикуются в репозиториях, которые содержат множество других наборов данных.Подобные наборы данных включены в несколько таких репозиториев.

ДанныеСкачать:

• DataDownload: это свойство содержит набор данных в загружаемой форме.

• Распространение: свойство содержит расположение загружаемого набора данных и формат файла, доступный для загрузки.

• Distribution.contentURL: свойство содержит ссылку для загрузки.
• Distribution.encodingFormat: свойство содержит формат файла распределения.

ЧТО ТАКОЕ ТАБЛИЧНЫЕ НАБОРЫ ДАННЫХ?

Табличный набор данных — это набор данных, содержащий информацию, организованную в виде сетки строк и столбцов. В настоящее время он находится в стадии бета-тестирования и может быть изменен. Используйте разметку набора данных для структурирования данных табличных наборов данных. В настоящее время существует также вариант CSVW, представленный на странице HTML параллельно с ориентированным на пользователя табличным содержимым.

СОВЕТ

PRO: Пожалуйста, обратитесь к предыдущим публикациям этой серии, чтобы подробно узнать о мониторинге результатов поиска и устранении неполадок.

Для анализа поискового трафика Google используйте отчет о производительности.

ЧТО ДЕЛАТЬ, КОГДА ОПРЕДЕЛЕННЫЙ НАБОР ДАННЫХ НЕ ПОКАЗЫВАЕТСЯ В РЕЗУЛЬТАТАХ ПОИСКА НАБОРЫ ДАННЫХ?

Что вызвало проблему?

Если вы не используете указанную разметку структурированных данных на странице, описывающей набор данных, или если ваш веб-сайт еще не сканировался.

Как можно исправить эту проблему?

Скопируйте ссылку на страницу и вставьте ее в Тест расширенных результатов. Если в сообщении указано, что страница не подходит для расширенных результатов или если разметка не соответствует требованиям для расширенного результата, то либо разметка набора данных неверна, либо разметка не используется. Это можно исправить, следуя инструкциям по добавлению структуры данных.

Если на странице нет разметки, значит, она еще не сканировалась. Вы можете проверить статус сканирования с помощью Google Search Console.

Если логотип компании отсутствует или отображается некорректно по результатам

Эта проблема обычно возникает, когда на вашей странице отсутствует разметка schema.org, используемая для организации логотипов, или если ваш бизнес не связан с Google.

Как решить эту проблему?

• Создайте свой бизнес с Google.
• Добавьте разметку структурированных данных логотипа на свою страницу

В следующем посте я расскажу, как структурировать подписки и платный контент на вашем сайте.

Bioschemas

Bioschemas направлена ​​на повышение доступности в Интернете таких ресурсов наук о жизни, как наборы данных, программное обеспечение и учебные материалы. Это достигается за счет поощрения специалистов в области биологических наук к использованию разметки Schema.org на своих веб-сайтах, чтобы их можно было индексировать поисковыми системами и другими службами.Bioschemas поощряет последовательное использование разметки, чтобы упростить использование содержащейся разметки на многих сайтах. Эта структурированная информация затем упрощает обнаружение, сопоставление и анализ распределенных ресурсов.

Bioschemas вносит два основных вклада:

1. Предложение новых типов и свойств для Schema.org для описания ресурсов наук о жизни.
2. Определение профилей использования по схеме.типы организаций, которые определяют основные свойства, которые следует использовать при описании ресурса.

Признание Bioschemas

Использование Bioschemas для обеспечения большей доступности ресурсов было одобрено Европейским исследовательским советом в его политике открытых исследовательских данных и планов управления данными (раздел «метаданные», стр. 11). Включение разметки Bioschemas в метаданные ресурса означает, что вы соответствуете некоторым критериям поиска, изложенным в принципах FAIR Data Principles.

Международное общество биодокументации также рекомендует использовать разметку Bioschemas, чтобы сделать ресурсы более доступными для поиска.

Сообщество Bioschemas

Bioschemas стартовала как общественная инициатива в ноябре 2015 года. Она действует как открытая общественная инициатива, в которой участвуют представители самых разных организаций. Приглашаем вас присоединиться к сообществу.

Схема.org

Schema.org — это проект сообщества, поддерживаемый основными поисковыми системами, и уже широко внедренный в Интернете.

Schema.org предоставляет способ добавления семантической разметки на веб-страницы. Он описывает «типы» информации, которые затем имеют «свойства». Типы — это то, о чем мы можем говорить, а свойства — это то, что мы можем сказать о типе.
Например, Event — это тип, который имеет такие свойства, как startDate, endDate и description.

Если типы или свойства, необходимые в науках о жизни, отсутствуют, то Bioschemas разрабатывает предложения по новым типам и свойствам, которые будут включены в Schema.org.

Профили Bioschema

Чтобы упростить разметку веб-ресурсов и обеспечить единообразие разметки в сообществе медико-биологических наук, Bioschemas определяет профили по типам, в которых указывается, какие свойства должны использоваться (минимум), должны использоваться (рекомендуется) и могут быть использованы. (необязательный).Профили также устанавливают мощность использования свойства и определяют онтологии предметной области, которые следует использовать для значения свойств.

Например, если мы посмотрим на тип schema. org/Dataset, можно будет использовать более 100 свойств. Профиль Bioschemas над набором данных сокращает это число до более управляемого числа с 5 обязательными свойствами и 8 рекомендуемыми свойствами. Многие другие свойства не имеют большого отношения к набору данных. Свойства разметки набора данных, которые Bioschemas указывает как обязательные, также сделают их доступными для поиска с помощью инструмента Google Dataset Search.

Сообщество Bioschemas определяет профили для соответствующих существующих типов Schema.org, например DataCatalog, Course и SoftwareApplication, а также новые типы, определяемые для наук о жизни, например Ген, белок и таксон.

Финансирование

Сообщество Bioschemas получило финансирование в рамках гранта ELIXIR-EXCELERATE и исследований внедрения ELIXIR. Полная информация о финансировании может быть на нашей странице финансирования.

Наборы данных RDFa, микроданных и микроформатов

Как видно из диаграмм, большая часть веб-сайтов уже использует встроенный JSON-LD. В большинстве случаев (> 90%)
веб-сайты используют синтаксис, позволяющий Google создавать окно поиска в результатах поиска, так как
анонсирован Google
в
Сентябрь 2014 г.
Интересное обсуждение темы можно найти в Google+.
Сообщение Аарона Брэдли.>

3.8. Результаты извлечения из Common Crawl Corpus

за декабрь 2014 г.

Общий корпус сканирования за декабрь 2014 г. доступен на Amazon S3 в
то
bucket aws-publicdatasets под префиксом ключа / common-crawl / crawl-data / CC-MAIN-2014-52 /
.

Статистика экстракции

Разбивка по формату

3.

9. Результаты извлечения из Common Crawl Corpus

за ноябрь 2013 г.

Корпус Common Crawl Corpus за ноябрь 2013 г. доступен на Amazon S3 в
то
bucket aws-publicdatasets под префиксом ключа / common-crawl / crawl-data / CC-MAIN-2013-48 /
.

Статистика экстракции

Разбивка по формату

3.

10. Результаты извлечения из Common Crawl Corpus

за август 2012 г.

Корпус Common Crawl за август 2012 г. доступен на Amazon S3 в
bucket aws-publicdatasets под префиксом ключа / common-crawl / parse-output / segment /
.

Статистика экстракции

Разбивка по формату

Затраты на добычу

Затраты на разбор 40. 1 терабайт сжатых входных данных корпуса Common Crawl за август 2012 г.,
Стоимость извлечения данных RDF и хранения извлеченных данных на S3 составила 398 долларов США в виде комиссии Amazon EC2. Мы использовали 100
точечные экземпляры типа c1.xlarge для извлечения, которые в общей сложности потребовали 5636 станков
часы.

>

3,7b. Результаты извлечения из корпуса

Common Crawl за февраль 2012 г.

Common Crawl опубликовала предварительную версию своего корпуса 2012 года в феврале.Страницы, содержащиеся в
предварительная версия — это подмножество страниц, содержащихся в корпусе Common Crawl за август 2012 года. Мы также извлекли
структурированные данные из этого предварительного выпуска. Итоговая статистика находится здесь,
но заменены статистикой августа 2012 года.

3.9. Результаты извлечения из Common Crawl Corpus 2009/2010

Корпус Common Crawl Corpus 2009/2010 доступен на Amazon S3 в
bucket aws-publicdatasets под префиксом ключа / common-crawl / crawl-002/.

Статистика экстракции

Форматирование

Затраты на добычу

Затраты на разбор 28. 9 терабайт сжатых входных данных корпуса Common Crawl 2009/2010,
извлечение данных RDF и хранение извлеченных данных на S3 на общую сумму 576 евро (без НДС) в Amazon EC2
сборы. Мы использовали 100 точечных экземпляров типа c1.xlarge для извлечения, что в целом потребовало
3 537 моточасов.

4. Пример данных

Для каждого формата данных мы предоставляем небольшой набор извлеченных данных ниже в целях тестирования.Данные
закодировано как N-Quads, с четвертым элементом, используемым для представления
происхождение каждой тройки (URL страницы, с которой была извлечена тройка). Рекомендуем использовать парсер, который
может пропускать недопустимые строки, поскольку они могут присутствовать в файлах данных.

5. Примечание о файлах загрузки N-Quads

Важно отметить, что файлы загрузки N-Quads не полностью соответствуют N-Quads.
спецификация относительно пустых идентификаторов узлов. Спецификация
требует, чтобы метки отдельных пустых узлов были уникальными по отношению ко всему документу N-Quads. В нашем
N-Quads, метки пустых узлов уникальны только с
относительно HTML-страницы, с которой были извлечены данные. Это означает, что разные пустые узлы в загрузке
файл может иметь такую ​​же метку. Для различения
между этими узлами необходимо учитывать пустую метку узла вместе с URL-адресом страницы, с которой
данные были извлечены (четвертый элемент квадрата).Эта проблема связана с тем, что 100 компьютеров работают параллельно над извлечением данных из веб-корпуса без
общаются друг с другом. Мы можем исправить эту проблему
в следующих выпусках WDC путем переименования пустых узлов.

Мы предоставляем извлеченные данные для загрузки, используя вариант формата N-Quads.
Для пользователей, предпочитающих другие форматы, мы предоставляем код
для преобразования файлов загрузки в CSV
и форматы JSON, которые поддерживаются более широким спектром электронных таблиц.
приложения, реляционные базы данных — инструменты интеллектуального анализа данных.Инструмент преобразования принимает следующие параметры:

Название параметра	Описание
из	Папка, где файлы вывода записываются в
дюйм	Папка, содержащая файлы загрузки WDC в формате N-Quads
ниток	Количество ниток, использованных для преобразования
преобразовать	Указывает выходной формат.Поддерживаемые форматы: JSON, CSV
плотность	Указывает минимальную плотность свойств для включения в выходной файл. Диапазон: 0 — 1. A плотность 0,2 означает, что будут включены свойства, у которых более 20% ненулевых значений на выходе.
multiplePropValues ​​	Указывает, должен ли преобразованный результат содержать все значения свойств для определенного свойства предмет или если достаточно одного значения на свойство.Диапазон: [истина / ложь]

Ниже вы можете найти пример команды, которая преобразует файлы, найденные во входном каталоге, в файлы JSON.
с использованием 5 потоков и плотности, а также фильтрации значений свойств.

  java -cp StatsCreator-0.0.2-SNAPSHOT-jar-with-dependencies.jar org.webdatacommons.structureddata.stats.WDCQuadConverter -out "output_convert"
-in "input_convert" -threads 5 -tp "http: // www.w3.org/1999/02/22-rdf-syntax-ns#type,http://ogp.me/ns#type,http://opengraphprotocol.org/schema/type "
-конвертировать "JSON" -плотность 0,15 -multiplePropValues ​​true  

Структура файла

Формат файла CSV

Каждый файл начинается с трех фиксированных заголовков [график, тема, тип], за которыми следует набор свойств заголовков.
Каждая строка после заголовка представляет одну сущность.
Здесь вы можете найти образец файла CSV со структурой вывода преобразования.

Формат файла JSON

Каждый файл содержит список объектов JSON с тремя фиксированными свойствами [график, тема, тип], за которыми следует
набор свойств, описывающий конкретную сущность. Каждый объект JSON в файле представляет одну сущность.
Вы можете найти образец файла JSON со структурой вывода преобразования здесь.

Процесс преобразования

Далее мы документируем процесс преобразования, выполняемый инструментом: Первый шаг
процесс преобразования заключается в сортировке ввода.nq по теме и URL. Для этого временный файл
содержащий отсортированные сущности, создается и удаляется к концу преобразования. Размер
временный файл равен размеру входного файла .nq.
Затем извлеченные объекты записываются в преобразованный файл. В случае формата файла CSV все
различные предикаты сохраняются во время синтаксического анализа для заполнения строки заголовка. В случае файла JSON
формат
преобразование сущностей из объектов Java в объекты JSON с помощью Gson
библиотека.Предоставленный инструмент поддерживает параллельное выполнение на уровне каталогов, что означает, что несколько
файлы можно конвертировать одновременно. Кроме того, инструмент преобразования обеспечивает плотность, и свойство .
значение фильтрация. В случае фильтрации по плотности пользователь может установить порог плотности, чтобы
фильтровать необычные свойства. Обратите внимание, что
в среднем случае максимальная плотность собственности рассчитывается как 35%, поэтому относительно высокий порог
может привести к пустым результатам значения свойства.В случае фильтрации значения свойства пользователь может выбрать,
преобразованный файл
должен отслеживать все множественные значения определенного свойства, принадлежащего определенному предмету, или если один
стоимости достаточно для его / ее целей.

7. Процесс экстракции

Поскольку наборы данных Common Crawl хранятся в AWS Simple Storage
Сервис (S3), имело смысл производить добычу в Амазонке
облако (EC2).Главный критерий здесь — стоимость достижения определенной задачи. Вместо использования
вездесущий фреймворк Hadoop, который мы обнаружили с помощью Simple
Служба очереди (SQS) для нашего процесса извлечения повысила эффективность. SQS предоставляет очередь сообщений
реализация, которую мы используем для координации узлов извлечения. Набор данных Common Crawl легко
разделены на сжатые файлы размером около 100 МБ каждый. Мы добавляем идентификаторы каждого из этих файлов как
сообщения в очередь.Ряд узлов EC2 отслеживают эту очередь и берут из нее идентификаторы файлов. В
соответствующий файл затем загружается с S3. Использование ARC
анализатор файла из базы кода Common Crawl, файл разбивается на отдельные веб-страницы. На каждой
страницу, мы запускаем наш экстрактор RDF на основе Anything To Triples
(Any23) библиотека. Полученные тройки RDF затем записываются обратно в S3 вместе с извлечением
статистика, которая собирается позже.Преимущество этой очереди в том, что сообщения должны быть явно
помечается как обработанный, что выполняется после извлечения всего файла. В случае возникновения ошибки
сообщение повторно ставится в очередь через некоторое время и снова обрабатывается.

Any23 анализирует веб-страницы на предмет структурированных данных, создавая DOM.
дерево, а затем оценивает выражения XPath, чтобы найти
структурированные данные. Во время профилирования мы обнаружили, что это поколение дерева составляет большую часть затрат на синтаксический анализ,
Таким образом, мы искали способ уменьшить количество построений этого дерева.Наше решение —
запускать (Java) регулярные выражения
для каждой веб-страницы перед извлечением, которая обнаруживает наличие микроформата на странице HTML, и
затем запускайте экстрактор Any23 только тогда, когда регулярное выражение находит возможные совпадения. \»‘] * виды

8.Исходный код

Исходный код можно получить в нашей Subversion.
репозиторий. После этого создайте свою собственную конфигурацию, скопировав src / main / resources / ccrdf.properties.dist
по адресу src / main / resources / ccrdf.properties , затем введите свои данные аутентификации AWS и
имена ведер. Компиляция выполняется с использованием Maven, при этом меняя
в корневой каталог исходного кода и набрав mvn install , будет достаточно для создания сборки.Чтобы запустить экстрактор на более чем 10 узлах EC2, вам нужно будет запросить EC2
увеличение лимита экземпляров для вашего аккаунта AWS. Более подробная информация о запуске экстрактора есть
предоставлен в файле readme.txt .

9. Лицензия

.

Среда извлечения Web Data Commons может использоваться на условиях Apache
Лицензия на программное обеспечение.

10.Отзыв

Пожалуйста, присылайте вопросы и отзывы в Web Data
Список рассылки Commons или разместите их в нашей сети
Группа Data Commons Google.

Дополнительную информацию о Web Data Commons можно найти здесь.

11. Кредиты

Web Data Commons началось как совместная работа Freie
Берлинский университет и институт AIFB в Карлсруэ
Технологический институт в начале 2012 года.Сейчас он в основном поддерживается Исследовательским
Group Data and Web Science в Университете Мангейма.

Мы благодарим наших бывших участников за помощь и поддержку:

Также большое спасибо

• проекту Common Crawl за их отличное сканирование в Интернете и
  тем самым позволяя Web Data Commons.
• проекту Any23 за предоставление большой библиотеки
  парсеры структурированных данных.

Web Data Commons поддерживалось PlanetData и LOD2
исследовательские проекты.

Извлечение и анализ корпусов за октябрь 2016 г. и ноябрь 2017 г. проводились при поддержке ViCE
исследовательский проект и Министерство экономики,
Исследования и искусство Бадена — Вюртемберга.

12. Список литературы

• Роберт Мезель, Кристиан Бизер, Хайко Паульхейм: A
  Интернет-исследование принятия и развития схемы.org Изменение словарного запаса. 5-й
  Международная конференция по веб-аналитике, майнингу и семантике (WIMS2015), Лимассол, Кипр,
  Июль 2015.
• Роберт Мейсель и Хайко Паульхейм: эвристика
  для исправления типичных ошибок в развернутых микроданных schema.org, появится в: Proceedings of the 12th
  Конференция по расширенной семантической сети (ESWC 2015), Порторож, Словения, май 2015 г.
• Роберт Мейсель, Петар Петровски, Кристиан Бизер: серия микроданных WebDataCommons, RDFa и микроформатов.В процессе
  13-й Международной конференции по семантической паутине: репликация, эталонный тест, данные и программное обеспечение
  (ISWC2014).
• Кристиан Бизер, Кай Эккерт, Роберт Мёзель, Ханнес Мюляйзен, Михаэль Шухмахер и Йоханна
  Фёлькер: Развертывание
  RDFa, микроданных и микроформатов в Интернете — количественный анализ. В трудах
  12-я Международная конференция по семантической паутине, Часть II: Используемый трек, стр.17-32 (ISWC2013).
• Ханнес Мюляйзен, Кристиан Бизер: Интернет
  Data Commons — извлечение структурированных данных из двух больших веб-корпусов. В материалах WWW2012
  Семинар по связанным данным в сети (LDOW2012).
• Питер Мика, Тим Поттер: метаданные
  Статистика для большого веб-корпуса. В материалах семинара WWW2012 по связанным данным в Интернете
  (LDOW2012).
• Питер Мика: Микроформаты
  и развертывание RDFa в Интернете.Сообщение блога.
• Класс
  Статистика поисковой системы Sindice.

Часто задаваемые вопросы о проверке фактов —

Вопрос:
Что такое Data Commons?

DataCommons.org
это совместная общественная инициатива с миссией поддерживать
и предоставить доступ к полезным структурированным данным в Интернете в
простой в использовании способ.

Вопрос:
Что такое ClaimReview?

Схема.орг
Заявка Обзор
является
открытая стандартная схема, созданная проверкой фактов
сообщества для кодирования важной информации о проверке фактов в
структурированный формат. Он был принят многими специалистами по проверке фактов.
мир, в том числе проверенные
по IFCN .
Такое широкое распространение ClaimReview позволило основным платформам
функции проверки фактов в их продуктах, например Google
Новости , г.
Google
Поиск ,
Bing
Поиск ,
Facebook .

Вопрос:
Какие данные включены в набор данных исследования?

В
данные в наборе данных исследования включают структурированную разметку фактов
проверка статей, которые издатели связали со своими
статьи. Каждая строка представляет собой отдельную разметку, которая следует за
ClaimReview
схема
и
включает поле URL, которое указывает на исходную проверку фактов
статьи. Содержание статьи о проверке фактов не является частью
релиз.

В
выпущенный набор данных разметок ClaimReview представляет собой подмножество
из
Разметка ClaimReview доступна в Интернете и не является представителем
вся схема.разметки организаций ClaimReview доступны в Интернете. В качестве
сообщество проверки фактов растет, мы ожидаем размера выпущенных
набор данных будет расти в будущих версиях.

Вопрос:
Какие данные включены в фид данных инструмента разметки для проверки фактов?

Этот
является
а
регулярно обновляемый канал ClaimReview
разметка
создано с помощью Google Fact
Инструмент проверки разметки .
Данные в фиде также соответствуют разметке schema.org ClaimReview.
Сам фид находится в DataFeed
формат.

Вопрос:
Проверки фактов каких издателей публикуются в исследовании
набор данных?

В
первоначальный выпуск данных включает выбранные пометки для проверки фактов из
следующих издателей: FactCheck.org, Snopes, PolitiFact, The
Вашингтон Пост, Еженедельный стандарт. Мы намерены расширить перечень
издатели в будущих выпусках данных. Обратите внимание, что каждый факт
checker имеет собственные редакционные стандарты и рейтинговые системы, которые
используется для заполнения разметки ClaimReview.

Вопрос:
Как часто будут обновляться данные?

Мы
намереваются обновить набор исследовательских данных, чтобы отразить развивающиеся
базовые данные и по мере включения большего числа издателей. Однако мы
нет установленного расписания для периодических обновлений.

В
Фид данных инструмента разметки для проверки фактов обновляется ежедневно.

Вопрос:
Что я могу сделать с данными?

Быть
творческий! Этот выпуск проверок фактов — шаг к тому, чтобы
исследователям во всем мире легче проводить исследования в
это важное направление исследований.Мы надеемся, что это поможет академическим
сообщество придумывает инновационные способы борьбы с дезинформацией. Мы
надеюсь, что исследования с использованием набора данных помогут общественности понять
лучше, как проверяющие факты борются с дезинформацией и предоставляют
полезные идеи.

Вопрос:
По какой лицензии распространяются эти данные?

В
компиляция набора данных под лицензией CC
BY .
Лицензия на структурированные данные каждой разметки ClaimReview
указана в поле sdLicense .

Кроме того,
каждый издатель может иметь свои собственные условия лицензии на контент на своих
интернет сайт. См. Сайт издателя.

Вопрос:
Как мы можем добавить наши ClaimReviews к опубликованным наборам данных?

В
первоначальный выпуск включает небольшой набор выбранных пометок для проверки фактов.
Выразите интерес к включению ваших наборов данных, написав по адресу
нам по адресу [email protected] .

Вопрос:
Что, если я не согласен с проверкой фактов?

Пожалуйста
следуйте URL-адресу статьи о проверке фактов, как указано в структурированном
data и обратитесь к издателю проверки фактов.

Вопрос:
Что, если я увижу ошибки в структурированных данных ClaimReview?

Если
вы считаете, что издатель допустил ошибку, и можете определить
издатель в структурированных данных, обратитесь к издателю.
Если вы считаете, что ошибка была вызвана компиляцией данных
процесс, пожалуйста, свяжитесь с
Поддержка Factcheck.

Схема разметки наборов данных Google означает, что сниппеты отображают больше данных

Google только что объявил о развертывании поддержки схемы разметки наборов данных в результатах поиска.Это изменение означает, что в Google Snippets появятся более полные наборы данных.

Улучшенные наборы данных позволяют пользователям быстро находить нужные данные. Это также означает, что все соответствующие данные будут представлены на веб-странице непосредственно в результатах поиска Google.

Согласно их веб-сайту, это изменение позволяет Google лучше поддерживать журналистов данных, облегчая обнаружение данных в результатах поиска.

Google объяснил, что, получив отзывы от 30 ведущих журналистов данных в мире, они « обнаружили возможность улучшить отображение табличных данных… [что] упростит для всех людей поиск данных, которые они ищут. для ».

Но что на самом деле означает это изменение?

Вот пример того, как будут выглядеть фрагменты Google. после того, как было выполнено обновление:

Пример того, как будут выглядеть фрагменты Google с реализованной схемой разметки новых наборов данных. Как видите, информация представлена ​​в виде графика, а не абзаца текста. | Google. com

Вот пример того, как выглядел традиционный фрагмент кода Google до обновление:

Типичный фрагмент кода Google берет соответствующую информацию с веб-сайта и представляет ее в виде короткого абзаца текста.| Google.com

В основном это веб-сайты, которые публикуют данные и диаграммы, данные которых будут более эффективно визуализированы в Google Snippets.

Подробнее:

Контрольный список для окончательного SEO-рейтинга 2018

Что такое набор данных?

Это изменение означает, что для любого, кто хочет попасть в SERP , наборы данных стали намного более важными. Хотя мы всегда знали, что наборы данных — это эффективный способ представления фактов и цифр, их появление во фрагментах кода Google меняет правила игры.

Но что Google подразумевает под наборами данных?

Набор данных — это все, что предоставляет цифры, факты или информацию в коллективном или структурированном виде, например, таблица , список или график .

Google описывает основных форм наборов данных как:

• Таблица или файл CSV и сопутствующие данные.
• Организованный набор таблиц данных.
• Файл в собственном формате, содержащий данные.
• Набор файлов, которые вместе составляют значимый набор данных.
• Структурированный объект с данными в другом формате, который вы, возможно, захотите загрузить в специальный инструмент для обработки.
• Данные захвата изображений.
• Файлы, относящиеся к машинному обучению, такие как обученные параметры или определения структуры нейронной сети.
• Все, что вам кажется набором данных.

Вот еще несколько примеров:

Схема разметки наборов данных означает, что информация может быть представлена ​​в виде графика, подобного этому, который отображает погодные условия в Венеции.| Информация, которая появляется в сниппетах Google, также с большей вероятностью появится в такой таблице, благодаря схеме разметки наборов данных Google. | Google.com

По словам Google, наличие наборов данных в сниппетах «улучшит обнаружение наборов данных из таких областей, как науки о жизни, социальные науки, машинное обучение, гражданские и правительственные данные и многое другое».

Когда вступит в силу схема разметки наборов данных в результатах поиска Google?

Схема разметки наборов данных уже находится в пилотной фазе .

В настоящее время Google постепенно развертывает его. Некоторые новостные организации уже внедряют это изменение, и вскоре оно будет использоваться для всех веб-сайтов и результатов поиска Google.

Не существует конкретной даты выпуска схемы разметки наборов данных. Однако будьте готовы к тому, что в ближайшие месяцы в представление ваших данных в Google Snippets внесутся изменения.

Подробнее:

Полное руководство по доступному SEO

Что означает схема разметки наборов данных Google для моего веб-сайта?

Владельцы веб-сайтов должны использовать эти изменения в своих интересах. Теперь, когда вы знаете, что вас ждет, вы можете опередить игру и улучшить свой рейтинг в поисковой выдаче.

Вскоре, как никогда важно, чтобы таблицы и рисунки были как можно более четкими. Если вы работаете с большими наборами данных или если ваша статья сосредоточена на использовании таблиц или рисунков, убедитесь, что они краткие и максимально хорошо отформатированы.

Чтобы получить все рекомендации по структурированию страницы на основе данных, воспользуйтесь этими рекомендациями от Google.

Хотя мы рекомендуем потратить некоторое время на ознакомление с рекомендациями Google, вот краткое изложение того, что вам нужно знать о схеме разметки данных Google.

ключевых выводов из рекомендаций Google по схеме разметки наборов данных:

1. Будьте как можно более актуальными — если ваш заголовок — «10 способов приготовить яйцо», в вашей статье должно быть 10 способов приготовить яйцо. Не пытайтесь обманом заставить людей посетить ваш сайт с помощью кликбейта, неточностей или простой лжи. Как обычно, Google узнает об этом и накажет вашу страницу и рейтинг сайта.
2. Будьте в курсе — для любого чувствительного ко времени контента всегда будут учитываться дата публикации и информация. Убедитесь, что все ваши срочные статьи обновляются регулярно и надлежащим образом.
3. Будьте конкретны и инклюзивны — Включите каждый аспект своей страницы в заголовок и мета-описание. Убедитесь, что вы не упускаете ни одной детали — в разумных пределах. Используйте здравый смысл или спросите друга, не кажется ли вам, что вы включили слишком много или слишком мало информации.

Подробнее:

Руководство по долгосрочному планированию и созданию контента

Данные важнее, чем когда-либо

Наборы данных, уже находящиеся в центре большинства результатов поиска, сейчас как никогда важны. Наборы данных в Google Snippets также означают, что поисковая система более эффективна и точна, чем когда-либо до

Теперь, когда вы знаете, чего ожидать, нет оправдания отставанию в поисковой оптимизации. Убедитесь, что ваши статьи и страницы максимально информативны и обширны.Используйте все возможные данные и информацию для разработки высокопроизводительных и популярных страниц, которые Google будет отображать в виде фрагментов для просмотра всеми поисковиками.

Как вы думаете, обновление наборов данных повлияет на вашу стратегию SEO?

Google Dataset Search вышла из бета-версии с новыми функциями

Наташа Ной из Google заявила сегодня в своем сообщении, что Google Dataset Search «официально вышла из бета-тестирования», и подробно рассказала о ряде новых функций, которые были добавлены на основе того, что «узнали от первых пользователей Dataset Search».”

Эти новые функции кратко описаны ниже.

Поисковая фильтрация набора данных Google

«Теперь вы можете фильтровать результаты в зависимости от типа набора данных, который вам нужен (например, таблицы, изображения, текст), или от того, доступен ли набор данных бесплатно у поставщика».

Фильтр «Типы наборов данных» материализован в поиске набора данных как «Формат загрузки» с текущими доступными параметрами (в порядке их представления на рабочем столе):

• Таблица
• Документ
• Изображение
• Текст
• Другое

Фильтры формата загрузки теперь доступны в Google Dataset Search

«Бесплатно» — фильтр в один клик.

Результаты поиска Google Dataset отфильтрованы для отображения только бесплатных наборов данных

Встроенные карты

«Если набор данных касается географической области, вы можете увидеть карту».

Судя по моей ненаучной выборке, они далеко не повсеместны, но вот один пример, который мне удалось найти.

Карта отображается в результатах поиска Google Dataset Search

Доступность для мобильных устройств и улучшенные описания

«… продукт теперь доступен на мобильных устройствах, и мы значительно улучшили качество описаний наборов данных.”

Судя по снимкам экрана ниже, я могу засвидетельствовать наличие удобного для мобильных устройств интерфейса поиска по набору данных, хотя я не смог найти фильтры, которые сейчас присутствуют на рабочем столе (всплывающий экран «О» на мобильном устройстве сообщает, что «Поиск по набору данных все еще в стадии бета-тестирования », поэтому, возможно, они станут доступны в будущем обновлении).

Результаты поиска Google Dataset Search и набор данных на мобильном телефоне

Я не могу сказать, как было улучшено качество описаний, поскольку я думаю, что они будут получены на основе структурированных данных поставщиков.Возможно, теперь Google получает больше из этого или дополняет данные, предоставленные провайдером, другой информацией.

Охват Google Dataset Search и использование поиска

Сообщение содержит некоторые общие сведения об охвате поиска по набору данных и о том, как он до сих пор использовался.

• Страной с наибольшим количеством наборов данных открытого правительства являются США, их число превышает 2000000.
• Самый популярный формат данных — это (сюрприз!) Таблицы, более 6 000 000 в поиске по набору данных.
• Пользователи Dataset Search включают академических исследователей, студентов, бизнес-аналитиков и специалистов по данным.
• Популярные запросы включают «образование», «погода», «рак», «преступность», «футбол» и «собаки». Хотите знать, как назвать свою новую ездовую собаку?

Требования к поиску по набору данных остались прежними

«Однако одна вещь не изменилась, — говорит Ной, — это то, что любой, кто публикует данные, может сделать свои наборы данных доступными для поиска в Dataset Search, используя открытый стандарт (schema.org), чтобы описать свойства своего набора данных на их собственной веб-странице ».

Основным типом schema.org здесь является набор данных, и у Google есть подробная документация о том, как использовать разметку набора данных (или эквивалентные структуры DCAT) для включения наборов данных в поиск по набору данных.

Требования Google для включения в Dataset Search

Google также ведет FAQ по разметке структурированных данных для наборов данных, в котором содержатся дополнительные указания по этой теме.

.