Кулаков кластеры: Группировка запросов, разбивка ключевых слов на группы, кластеризация семантического ядра. Бесплатно онлайн.

Сравнение сервисов автоматической кластеризации ключевых слов для SEO / Хабр

В небольшом SEO-отделе большого контентного проекта, где я работаю, решили увеличить штат. Набирать планировалось людей с небольшим опытом или совсем без опыта. По этой причине было решено создать некий гайд, который бы служил исчерпывающим руководством по написанию новых статей. Руководство получилось действительно подробным и полным, один из его важных блоков – это кластеризация запросов.

Зачем нужны сервисы кластеризации?

В один кластер должны быть объединены только такие запросы, которые имеют хорошие шансы выйти в топ-10 поисковых систем с общей релевантной страницей. То есть, если по двум запросам в выдаче все страницы сайтов разные и нет пересечений, то следует относить их к разным кластерам. Также и наоборот: если два запроса возможно продвинуть на одной статье, то не следует разносить их на разные кластеры, чтобы не писать лишнего – бюджет на контент не резиновый.

Общая схема составления ТЗ на написание SEO-статьи следующая:

1. Сбор семантики – статистика поисковых систем, базы семантики, внутренняя статистика проекта;
2. Кластеризация автоматическая – сервис или программа для кластеризации по подобию топов;
3. «Посткластеризация» ручная – обработка того что не удалось кластеризовать автоматически;
4. Приоритезация – определение важности полученных запросов в каждом кластере;
5. Оформление ТЗ для копирайтера – лемматизация, LSI и различные указания для написания статей, по статье на каждый кластер.

Вот именно для второго пункта нужно было выбрать самый подходящий сервис автоматической кластеризации. Для этой цели я провел сравнительный анализ самых известных, на мой взгляд, сервисов.

Способы кластеризации

Из способов, которые автоматизированы в каких-то известных сервисах или программах, можно выделить два:

Исходя из задачи – написание SEO-статей, был выбран метод по подобию топов. Поисковая система на трафик с которой мы ориентируемся – Яндекс, поэтому для кластеризации использовался топ-10 Яндекса. У данного метода есть два вида:

• Soft – когда все запросы кластера связаны хотя бы с одним общим (маркерным) запросом;
• Hard – когда каждый запрос связан со всеми запросами в своем кластере;

а также такой параметр как «сила связи» – количество общих URL в поисковой выдаче по запросам.

По рекомендациям создателей сервисов кластеризации для нашего случая был выбран вариант Soft с силой связи 4. Это важный момент, потому что для интернет-магазина, например, следовало бы выбирать другие опции.

Методика сравнения

Суть сравнения сервисов в следующем: выбрать идеально кластеризованный список запросов – эталонное ядро. Сравнить результаты кластеризации каждого сервиса с эталонным.

Важно было хорошо составить такое эталонное ядро. Поскольку у нас контентный проект и большая часть контента – это вопросы и ответы пользователей, то материала для сбора статистики по проекту предостаточно.

Было взято ядро на 2500+ ключевых фраз, которое отслеживается уже много месяцев. Из него выбраны только запросы вышедшие в топ-5 Яндекса. И из них взяты только те которые имеют релевантной страницу одного из широких разделов (категория вопроса, тема вопроса, категория документа, страница с формой «задать вопрос»), а не узкую страницу вопроса с ответами. Запросы были сгруппированы по релевантной странице. Оставлены только группы в которых более чем 4 запроса. В итоге получилось 292 запроса разбитых на 22 кластера.

Забегая вперед скажу, что сравнивались результаты кластеризации по Московской выдаче Яндекса и без геопривязки. Региональная московская выдача показала себя лучше, поэтому далее будем говорить про нее.

Сравнение сервисов

В поиске самых популярных сервисов очень помог доклад Александра Ожгибесова на BDD-2017, к тем, что у него было добавлено еще несколько сервисов, получился такой список:

1. Топвизор
2. Pixelplus
3. Serpstat
4. Rush Analytics
5. Just Magic
6. Key Collector
7. MindSerp
8. Semparser
9. KeyAssort
10. coolakov.ru

Первое на что проверялись полученные в результате кластеризации эталонного ядра по этим сервисам группы – это не делает ли сервис слишком широкие группы. А именно не попали ли запросы из разных групп эталонного ядра в один кластер по версии сервиса.

Но только такого сравнения не достаточно. Сервисы делятся на два подхода к некластеризованному остатку фраз:

• сделать для них общую группу «Некластеризованные»;
• сделать для каждой некластеризованной фразы группу из нее одной.

По причине п.2 появилась необходимость смотреть на количество фраз, которые находятся в одной группе эталонного ядра и попали в разные по сервисам.

В сравнении я использовал оба этих параметра в виде соотношения – какой процент фраз от общего количества попал не в свою группу.

Результаты сравнения:

• Топвизор
  • разные группы эталона в одной по сервису – 4%
  • одна группа эталона в разных по сервису – 7%

• Pixelplus
  • разные группы эталона в одной по сервису – 0%
  • одна группа эталона в разных по сервису – 7%

• Serpstat
  • разные группы эталона в одной по сервису – 0%
  • одна группа эталона в разных по сервису – 3%

• Rush Analytics (132 фразы, demo)
  • разные группы эталона в одной по сервису – 11%
  • одна группа эталона в разных по сервису – 8%

• Just Magic
  • разные группы эталона в одной по сервису – 0%
  • одна группа эталона в разных по сервису – 9%

• Key Collector
  • разные группы эталона в одной по сервису – 12%
  • одна группа эталона в разных по сервису – 16%

• MindSerp – не удалось получить демо, не выходят на связь
• Semparser
  • разные группы эталона в одной по сервису – 1%
  • одна группа эталона в разных по сервису – 3%

• KeyAssort
  • разные группы эталона в одной по сервису – 1%
  • одна группа эталона в разных по сервису – 1%

• coolakov. ru
  • разные группы эталона в одной по сервису – 0%
  • одна группа эталона в разных по сервису – 18%

Итоги

В качестве оптимального решения для нашего проекта была выбрана программа KeyAssort – это именно программа, а не онлайн-сервис, лицензия покупается однократно, привязывается к железу.

Неплохие результаты показал популярный онлайн сервис Serpstat, но для нашего случая чуть хуже, а также значительно дороже. Если брать большие объемы запросов в месяц и использовать его только для кластеризации – он не рентабелен. Возможно, если использовать кластеризатор вместе с другими его инструментами, то он и окажется приемлемым по цене.

Самые худшие показатели у программы Key Collector, что все равно не отменяет необходимость ее иметь в своем арсенале для любого сеошника.

Очень удивил сервис MindSerp, через сайт которого я так и не смог получить никакой обратной связи по поводу демо. Если представители этого сервиса прочитают статью, может быть я добавлю в сравнение и его)

введение, обзор инструментов и Волосяные Шары / Блог компании DCA (Data-Centric Alliance) / Хабр

Привет, Хабр! В нашей работе часто возникает потребность в выделении сообществ (кластеров) разных объектов: пользователей, сайтов, продуктовых страниц интернет-магазинов. Польза от такой информации весьма многогранна – вот лишь несколько областей практического применения качественных кластеров:

1. Выделение сегментов пользователей для проведения таргетированных рекламных кампаний.
2. Использование кластеров в качестве предикторов («фичей») в персональных рекомендациях (в content-based методах или как дополнительная информация в коллаборативной фильтрации).
3. Снижение размерности в любой задаче машинного обучения, где в качестве фичей выступают страницы или домены, посещенные пользователем.
4. Сличение товарных URL между различными интернет-магазинами с целью выявления среди них групп, соответствующих одному и тому же товару.
5. Компактная визуализация — человеку будет проще воспринимать структуру данных.

С точки зрения машинного обучения получение подобных связанных групп выглядит как типичная задача кластеризации. Однако не всегда нам бывают легко доступны фичи наблюдений, в пространстве которых можно было бы искать кластеры. Контентые или семантические фичи достаточно трудоемки в получении, как и интеграция разных источников данных, откуда эти фичи можно было бы достать. Зато у нас есть DMP под названием Facetz.DCA, где на поверхности лежат факты посещений пользователями страниц. Из них легко получить количество посещений сайтов, как каждого в отдельности, так и совместных посещений для каждой пары сайтов. Этой информации уже достаточно для построения графов веб-доменов или продуктовых страниц. Теперь задачу кластеризации можно сформулировать как задачу выделения сообществ в полученных графах.

Забегая вперед, скажу, что сообщества веб-доменов нам уже удалось применить с большой пользой в рекламных RTB-кампаниях. Классическая проблема, с которой сталкиваются трейдеры — это необходимость лавировать между точностью таргетирования и объемом сегмента. С одной стороны, грубый таргетинг по социально-демографическим признакам слишком широк и неэффективен. С другой стороны, хитрые тематические сегменты зачастую слишком узки, и изменения порогов вероятности в классификаторах не способны расширить сегмент до необходимого объема (скажем, до нескольких десятков миллионов кук). В то же время, люди, часто посещающие домены из одного кластера, образуют хорошие сегменты как раз для таких широкоохватных кампаний.

В данной серии постов я попробую остановиться больше на алгоритмической стороне задачи, чем на бизнесовой, и сделать следующее. Во-первых, описать наши эксперименты и показать картинки, которые у нас получились. Во-вторых, подробно остановиться на методах: что мы применили / хотели применить, но передумали / всё ещё хотим применить в перспективе.

Многим из вас, вероятно, приходилось кластеризовать данные, но, вероятно, большинство, как и мы, никогда не кластеризовали граф. Главная особенность кластеризации графов — это отсутствие фичей наблюдений. У нас нет расстояния между двумя произвольными точками в пространстве, потому что нет самого пространства, нет нормы, и невозможно определить расстояние. Вместо этого, у нас есть метаданные рёбер (в идеале, для каждой пары вершин). Если имеется «вес» ребра, то его можно интерпретировать как расстояние (или, наоборот, как схожесть), и тогда у нас определены расстояния для каждой пары вершин.

Многие из алгоритмов кластеризации в евклидовом пространстве подходят и для графов, так как для этих алгоритмов требуется лишь знать расстояние между наблюдениями, а не между произвольными «точками в пространстве». Некоторые требуют именно пространство фичей и для графов не годятся (например, k-means). С другой стороны, у графов есть много своих уникальных свойств, которые тоже можно использовать: компоненты связности, локальные скопления рёбер, места зацикливания информационных потоков и др.

Обзор инструментов

К настоящему моменту люди изобрели огромное количество методов кластеризации графов — каждый со своими преимуществами и косяками. В одном из следующих постов разберем подробнее некоторые алгоритмы и их свойства. А пока считаем полезным поделиться ссылками на открытые инструменты для анализа графов, где уже реализовано что-то для кластеризации и нахождения сообществ.

1. Очень модный и развивающийся нынче GraphX. Его нужно было написать первым элементом в списке, но как таковых готовых алгоритмов кластеризации там пока нет (версия 1. 4.1). Есть подсчет треугольников и связных компонент, что, вкупе с стандартными операциями над Spark RDD, можно использовать для написания своих алгоритмов. Пока что у GraphX есть апи только для scala, что также может усложнить его использование.
2. Библиотека для Apache Giraph под названием Okapi использует несколько алгоритмов, в том числе достаточно новый алгоритм собственной разработки под названием Spinner, основанный на label propagation. Giraph — это надстройка над Hadoop, предназначенная для обработки графов. В ней почти нет машинного обучения, и для компенсации этого в компании Telefonica и был создан Okapi. Вероятно, сейчас Giraph выглядит уже не так перспективно на фоне GraphX, но сам алгоритм Spinner хорошо ложится и на парадигму Spark. Про Spinner можно прочитать здесь.
3. Библиотека graph-tool для питона содержит несколько новейших алгоритмов кластеризации и очень быстро работает. Мы использовали её для сличения URL, соответствующих одному и тому же товару. Все, что можно, распараллелено по ядрам процессора, и для локальных вычислений (графы размером до пары сотен тысяч узлов) это самый быстрый вариант.
4. Gephi — известный инструмент, который мы обошли вниманием, возможно, незаслуженно. Долгое время Gephi практически не развивался, зато у него появились хорошие плагины, в том числе для выделения сообществ. В последнее время проект вновь ожил и ожидается версия 0.9
5. GraphLab Create. Это питоновская обертка над C++, позволяющая прогонять машинное обучение как локально, так и распределенно (на Yarn). Кластеризации графов там все ещё нет, только нахождение k-ядер.
6. Хваленый networkX, несмотря на обилие алгоритмов, не умеет кластеризовать графы, но только анализировать связные компоненты и клики. Вдобавок он намного медленнее graph-tool, и по части визуализации уступает тому же graph-tool и gephi.
7. Реализация алгоритма марковской кластеризации (MCL) от его изобретателя. Автор снизил сложность обычного MCL в худшем случае с до , где — число узлов, а — максимальная степень узла, и обижается, когда алгоритм MCL называют немасштабируемым. Также он добавил фишки для регулировки числа кластеров. Однако у MCL было несколько других серьезных проблем, и непонятно, решены ли они. Например, проблема нестабильности размера кластеров (наш небольшой эксперимент выдал одну гигантскую связную компоненту и много маленьких кластерочков по 2-3 узла, но, возможно, мы не нашли нужную ручку). Последняя новость на сайте датируется 2012 годом, что не очень хорошо.
8. Разные реализации одного из самых популярных алгоритмов Louvain: для C, для Python, ещё для Python. Классическая статья про этот алгоритм: ссылка.
9. Сайт, посвященный алгоритму Infomap и его модификациям, от авторов метода. Как и везде, есть открытый код. Помимо хорошей поддержки и документации, есть изумительные демки, иллюстрирующие работу алгоритма: вот и вот. Узнать, как работает алгоритм, можно здесь.
10. Пакет для R под названием igraph. В нем реализовано довольно много алгоритмов кластеризации, но мы не можем сказать ничего конкретного о них, поскольку не изучали пакет.

Если цель — провести воспроизводимый эксперимент на небольших данных, а не выкатывать в продакшн готовый продукт, то среди всего вышеперечисленного лучшими вариантами являются, на наш взгляд, graph-tool (пункт 3), Gephi (пункт 4) или Infomap (пункт 9).

Наши эксперименты

А теперь мы расскажем, как мы формировали графы доменов Рунета и окрестностей, и покажем картинки с результатами их кластеризации. В следующей части нашего цикла статей будет описан алгоритм, с помощью которого были получены приведенные ниже картинки. Это модифицированный k-medoids, который мы в лучших традициях велосипедирования написали на корневом питоне, и с помощью которого удалось на удивление хорошо решить некоторые задачи. Часть информации из этого и следующего поста, а также описание некоторых других алгоритмов, есть в презентации, которую я рассказывал на newprolab в digital october этой весной:

Данные

Первая задача — кластеризация веб-доменов. Из DMP мы берем данные о посещениях пользователями различных доменов, и на их основе строим граф, где в качестве узлов выступают домены, а в качестве рёбер — аффинити между доменами. Аффинити (он же лифт) между доменами и — это выборочная оценка того, насколько события «посещение юзером домена » и «посещение юзером домена » близки к независимости. Если — общее количество рассматриваемых юзеров, а — количество юзеров, посетивших , то:
Чтобы избавиться от шумов, нужно отфильтровать домены со слишком маленьким числом посещений, а также рёбра с низким аффинити. Практика показывает, что достаточно порога в 15-20 по посещениям и 20-25 по аффинити. При более высоком пороге по аффинити в результате появляется слишком много изолированных вершин.

Подобный способ построения графа позволяет увидеть в данных довольно четкую структуру «сообществ» доменов. Одна из интересных его особенностей состоит в том, что самые крупные домены (поисковики, социальные сети, некоторые крупные магазины и новостные сайты), как правило, не имеют очень «толстых» рёбер ни с одной другой вершиной. Это приводит к тому, что эти домены находятся на отшибе и часто остаются изолированными вершинами, не попадая ни в один из кластеров. Мы считаем это плюсом, так как совместное посещение vk.com и какого-нибудь узкоспециализированного сайта действительно мало что говорит о их связи друг с другом.

Надо сказать, что получить и отфильтровать данные, построить граф и посчитать по нему разные матрицы — задача намного более ресурсоемкая, чем получение самих кластеров. Некоторые этапы (в частности, вычисление попарной схожести) удалось распараллелить с помощью пакета pathos (pathos.multiprocessing). В отличие от стандартного питоновского пакета multiprocessing, он не испытывает проблем с сериализацией, поскольку использует dill вместо pickle. Синтаксис у него абсолютно идентичен стандартному multiprocessing. Здесь можно почитать про dill.

Визуализация

Пришло время показать немного картинок с графами (как они получились, мы расскажем в следующей части). Известно, что networkX не предназначен для визуализации графов, и что для этой цели лучше обращаться к d3.js, gephi или graph-tool. Мы слишком поздно узнали об этом, и вопреки здравому смыслу, все равно продолжили мужественно рисовать картинки в networkX. Получился не то чтобы чистый мёд (в частности, не удалось настроить взаимное отталкивание узлов и неперекрывающиеся надписи), но мы как могли старались и выжали все что можно из возможностей networkX. Во всех картинках диаметр кружочка (домена) соответствует его посещаемости, толщина ребра соответствует аффинити, цвет кружочка означает принадлежность домена кластеру. Цвет ребра означает принадлежность обеих вершин данному кластеру, серый цвет соответствует рёбрам, соединяющим вершины из разных кластеров.

Комментарии к кластерам на примере одного из графов

Не очень большой граф из 1285 доменов:

На картинке нарисован его разреженный вариант: большая часть рёбер удалена по методу local sparsification (он будет описан в следующей части), из-за чего группировка в сообщества выглядит более отчетливо, и смягчается эффект «Большого Волосяного Шара». Кластеров всего 18. Полный размер картинки (в png).

На каждой вершине написано название домена и номер кластера, которому он принадлежит. Обратите внимание на изолированные вершины по внешней окружности — это, как правило, крупные домены без сильных связей с кем-либо. Нижнюю часть графа можно охарактеризовать как более «женскую» (вернее, «семейную»). Она довольно беспорядочная, вероятно, потому что с одного браузера (с одной куки) страницы просматривали несколько членов семьи в разное время. С выделением сообществ в этой части графа алгоритм справился не очень хорошо.

В один огромный кластер под номером 17 (розовый) попало много чего — от сайтов по ведению беременности внизу и медицинских сайтов в центре, до мешанины из прогнозов погоды, женских форумов и журналов в верхней части кластера. К «юго-западу» от него расположен кулинарный кластер (номер 4):

К «юго-востоку» от семейного кластера — недвижимость + поиск работы (объединились в один кластер номер 2):

К «югу» от кластера 17 расположилась очень плохо размеченная область. Так, алгоритму не удалось выделить сообщество туристических доменов (они разбросаны по разным сообществам), а в кластер кулинарии попал сайт про оружие.

В небольшой кластер 15 (красный) попали, в основном, юридические сайты:

К «северо-западу» от «семейной» части расположены наиболее четкие кластеры. По всей видимости, браузерами посетителей этих сайтов никто больше не пользуется (и это логично, исходя из тематик кластеров). Во-первых, бросаются в глаза два плотных кластера: российские (номер 16, кирпичный) и украинские (номер 12, синий) новостные сайты, причем последний намного плотнее, хоть и меньше по размеру. Можно заметить также, что меняется ангажированность сайтов вдоль российского кластера:

К «северо-востоку» от новостных сайтов располагаются фильмы, сериалы и онлайн-кинотеатры (серый и желтый кластеры под номерами 3 и 8). Между кластерами фильмов и кластером украинских новостей как переходная зона расположен кластер порнографии.

Ещё восточнее расположен кластер номер 1 — весь казахский интернет. Рядом с ним — автомобильные сайты (кластер 6, сиреневый) и российские спортивные сайты (они влились к остальным новостям в кластер 16).

Далее к югу расположен кластер мультфильмов и детских игр (номер 10, болотный), а также тесно связанные с ним школьные кластера словарей, онлайн-решебников и рефератов: крупный российский (номер 5, персиковый) и совсем небольшой украинский (номер 0, зеленый). В кластер номер 0 также попали украинские сайты всех тематик, кроме новостей (их оказалось совсем немного). Школьные кластеры на «юге» плавно переходят в главный женский кластер номер 17.

Последнее, что можно тут отметить — кластер книг, расположенный на отшибе в «восточной» части картинки:

Изменения за год

Вот так выглядит тот же самый граф, только нарисованный без прореживания:

Полный размер.

А вот так выглядит приблизительно аналогичный граф, построенный за почти год до предыдущего. В нем 12 кластеров:

Полный размер.

Как можно заметить, за это время структура в целом осталась прежней (новостные сайты, крупный женский кластер, крупная разреженная область развлекательных сайтов разной направленности). Из различий можно отметить окончательное исчезновения кластера с музыкой за это время. Вероятно, за это время люди для нахождения музыки почти перестали пользоваться специализированными сайтами, чаще обращаясь к соцсетям и набирающим обороты сервисам вроде Spotify. Разделяемость всего графа на сообщества в целом возросла, и количество осмысленных кластеров удалось довести с 12 до 18. Причины этого, скорее всего, кроются не в изменении поведения пользователей, а просто в изменении наших источников данных и механизма сбора данных.

Если мы увеличим выборку пользователей и оставим на прежнем уровне фильтры на минимальное количество посещений домена и пары доменов, а также минимальное аффинити для формирования ребра, мы получим более крупный граф. Ниже представлен такой граф из 10121 вершины и 30 кластеров. Как видно, силовой алгоритм рисования из networkx уже не очень-то справляется и выдает довольно путаную картинку. Тем не менее, некоторые паттерны можно проследить и в таком виде. Количество рёбер уменьшено с полутора миллионов до 40000 с помощью такого же метода разрежения (local sparsification). PNG-файл занимает 80 Мб, поэтому просьба смотреть в полном размере здесь.

На визуализации не удалось как следует выделить структуру сообществ (мешанина в центре), но в действительности кластера получились не менее осмысленными, чем в случае 1285 доменов.

С увеличением количества данных наблюдаются интересные закономерности. С одной стороны, начинают выделяться маленькие периферийные кластера, которые были неразличимы на малых данных. С другой стороны, то, что плохо кластеризовалось на малых данных, плохо кластеризуется и на больших (например, смешиваются сайты про недвижимость и про поиск работы, часто к ним примыкает эзотерика и астрология).

Вот несколько примеров новых сообществ. На самом отшибе выделился испанский кластер, так как мы что-то видим оттуда:

Недалеко от него, ближе к основному скоплению точек, располагается азербайджанский кластер (номер 2) и грузинский (номер 4):

Появился узбекско-таджикский кластер, а также белорусский (номер 16) — внутри основной массы доменов, рядом с «российским новостным» и «украинским неновостным» сообществами:

В следующем посте будет описание алгоритма:

– как были получены сами кластера, чтобы можно было так раскрашивать граф;

– как удалялись избыточные рёбра.

Готовы ответить на ваши вопросы в комментариях. Stay tuned!

что это такое, зачем ее делать

Яндекс.Директ, Яндекс Маркет, Google Adwords, Google Merchant, Ремаркетинг

Получи нашу книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Подпишись на рассылку и получи книгу в подарок!

Кластеризация семантического ядра — это разделение множества разнородных запросов на группы по смыслу.

Больше видео на нашем канале — изучайте интернет-маркетинг с SEMANTICA

Чтобы лучше понять, что такое кластеризация семантического ядра, можно представить подготовку белья перед стиркой. Чтобы стирка прошла быстро и продуктивно, вещи разделяют на несколько групп по цветам. А опытные хозяйки проводят сортировку белья с более подробной детализацией. В каждой цветовой группе найдутся вещи, которые нуждаются в особом температурном режиме. Их выделяют в отдельные группы. Нечто подобное происходит и при кластеризации ключевых слов. Это процесс, который превращает сотни и тысячи пользовательских запросов в упорядоченную структуру.

В идеале кластеризация ключей должна осуществляться на базе перечня свойств объектов, которые характеризуют данные ключи, а также контекста их применения. Однако на данный момент не существует открытых баз, хранящих такие сведения. По этой причине группировка ключевых слов проводится на основе поисковой выдачи.

Этапы кластеризации:

1. Получение выборки объектов для группировки.
2. Задание перечня критериев оценки объектов в выборке.
3. Определение степени сходства между анализируемыми объектами.
4. Проведение кластерного анализа для формирования групп объектов.
5. Представление результатов кластеризации.

Зачем нужно проводить кластеризацию СЯ

С помощью грамотных инструментов можно в минимальные сроки и группировать большие семантические ядра. Если в прошлом на создание ядра уходили целые месяцы, то сейчас эта работа занимает всего пару часов. Одним из преимуществ кластеризации является распределение поисковых запросов по страницам таким образом, чтобы их продвижение происходило одновременно.

Кластеризация семантического ядра позволяет получить:

• Существенную экономию времени за счет сокращения рутинной работы.
• Информационный гид по темам, популярным среди пользователей.
• План продвижения.
• Представление структуры разрабатываемого сайта.
• Объективную оценку популярности продукцию в указанной нише.
• Перечень ключей для оптимизации ресурса.
• Осуществление корректной переадресации веб-страниц.
• Создание большого хвоста поисковых запросов.

Что происходит, если не проводить кластеризацию

Если пренебречь разбиением семантического ядра сайта на кластеры, то его владелец не получит полной картины продвижения своего ресурса. Подобный результат можно получить и вследствие неправильного распределения поисковых фраз.

Вот перечень проблем, которые возникнут после некорректной группировки ключей:

• Теряется позиция в ТОПе поисковой выдачи;
• Происходит каннибализация и, как следствие, в индексах поисковиков возникает множество дублей;
• Происходит дезориентация поведенческих факторов, мешающая продвижению ресурса;
• Расходуются большие средства на создание «лишнего» контента.

Устранение и предупреждение подобных проблем — это главный ответ на вопрос: «зачем делать кластеризацию ся».

Алгоритмы кластеризации

SEO-специалисты выделяют два типа классификации алгоритмов кластеризации:

Иерархические и плоские

Иерархические алгоритмы (еще их называют алгоритмами-таксонами) формируют не одно разделение множества на пересекающиеся кластеры, а многоуровневую структуру вложенных разбиений. В результате формируется дерево кластеров. В качестве его корня выступает общая выборка, а в качестве листьев — самые мелкие группы.

Плоские алгоритмы формируют одно разделение объектов на группы.

Четкие и нечеткие

Четкие алгоритмы связывают каждый элемент выборки с номером кластера. Нечеткие алгоритмы связывают каждый элемент выборки с комбинацией вещественных значений, отражающих меру принадлежности элемента к кластерам. Таким образом каждый элемент выборки относится к каждой группе с определенной долей вероятности.

Как провести кластеризацию запросов вручную

Для ручной кластеризации семантического ядра сайта достаточно самостоятельно проанализировать ключевики и разделить их на группы. Эту работу можно облегчить с помощью инструментов Excel, LibreOffice, OpenOffice. Эти приложения позволяют работать с таблицами данных, выполнять сортировку и фильтрование по определенным параметрам.

Представленные инструменты имеют ряд достоинств:

• Универсальность — производят группировку с учетом множества разных критериев;
• Высокая точность обработки;
• LibreOffice, OpenOffice — бесплатные.

В числе их недостатков:

• Необходимость периодических бекапов;
• Низкая скорость обработки;
• Лицензионный Excel — платный.

Ручная кластеризация семантического ядра сайта более сложная и длительная по сравнению с автоматизированной. Зато можно лично проконтролировать весь процесс. Если этому уделить должное внимание, то результат качественно превзойдет автоматическую кластеризацию ся.

Автоматизированная кластеризация ся

Разделение семантического ядра на группы происходит автоматически.

Вебмастеру достаточно оценить полученные результаты. Единственным минусом такого подхода является периодически возникающее несоответствие машинной логики представлениям пользователя.

Обойти эту проблему может полуавтоматический способ группировки поисковых запросов. Для этого специалисту необходимо самостоятельно подобрать группы по полученным запросам. А автоматизированная система сама разделит запросы по указанным пользователем группам. Такой подход позволяет существенно минимизировать ошибки машинного алгоритма.

Как провести кластеризацию запросов с помощью Key Collector

Одним из лучших приложений для проведения кластеризации считается Key Collector. Программа позволяет быстро получить ключи, на основании которых будет сформировано семантическое ядро. Система может оценить конкурентность, эффективность и стоимость ключей, а также проанализировать ресурс на соответствие его контента полученному ядру.

Схема работы Key Collector достаточно проста. Чтобы разделить все полученные запросы, необходимо воспользоваться опцией «Анализ групп». При этом системе нужно указать режим кластеризации («по отдельным словам», «по составу фраз», «по поисковой выдаче», «по составу фраз и поисковой выдаче»). Режим «по отдельным словам» группирует поисковые запросы, у которых присутствует совпадение даже по одному слову. Режим «по составу фраз» ориентируется на строение ключевых фраз. Это наиболее подходящий способ разбиения большого количества запросов. Режим «по поисковой выдаче» группирует ключевые фразы по количеству совпавших ссылок в результатах поиска. Режим «по составу фраз и поисковой выдаче» сочетает в себе два предыдущих критерия.

Далее системой производится группировка запросов.

Пример кластеризации семантического ядра в системе Key Collector:

Чтобы оценить группы, которые получились, их можно выгрузить в табличный редактор (например в Excel).

Как провести кластеризацию запросов семантического ядра: используем онлайн-сервис

Разбираем, какие есть методы кластеризации семантики, и как пользоваться LINE — инструментом для группировки запросов онлайн.

Кластеризация — второй шаг в создании сайта. Первый — сбор семантики. Обе этих задачи нужно сделать еще до заказа сайта у веб-мастера, иначе будет на чем строить его структуру.

Когда у веб-мастера есть семантическое ядро, разбитое на группы-кластеры, он может проектировать структуру сайта и страницы: определять, какие разделы будут на сайте, как их перелинковать, из чего собрать каталог и какое направление выбрать для блога.

О сборе семантического ядра у нас есть отдельные материалы:
Семантическое ядро: как составить и зачем это нужно?
Как пользоваться Яндекс Вордстат: операторы, расширения и секреты

В этой статье разберем, почему бы не использовать семантику без кластеров, какие методы группировки есть и как кластеризовать запросы в онлайне, не скачивая дополнительный софт.

Семантическая кластеризация: что это и каким сайтам нужна

Кластеризация — это объединение ключевых фраз в группы (кластеры), по контексту и признакам объектов, к которым они относятся.

Как сортируют ключи

По группам ключи разделяют на основе анализа выдачи поисковиков. Например, проверяем топовую выдачу по запросам «купить гироскутер» и «купить сегвей». Если она разная, значит поисковик считает эти запросы отличающимися, стоит распределить ключи по разным группам. Ключи с коммерческими и информационными интентами также лучше разделить — «купить блютуз наушники» и «как выбрать блютуз наушники» будут в разных группах.

Правда, такое разделение служит скорее рекомендацией. Иногда ключи попадают в разные группы, потому что при разбивке специалист ориентировался на релевантные результаты топа, а сайты в выдаче недостаточно полно раскрыли фразы на странице или топ поменялся.

Группировку запросов семантического ядра используют

• Оптимизаторы:
  они разделяют ключевые слова, чтобы определить целевые страницы, понимать, как делить и продвигать категории товаров, какие статьи писать для продвижения услуг.
• Специалисты по контекстной рекламе:
  например, чтобы тестировать разные объявления в рамках одной группы слов или настраивать объявления с разными посылами.

После сортировки запросов по группам каждому кластеру обычно назначают страницу сайта, на которой нужно реализовать эти ключи. Создают рекламные объявления в рамках группы, если кластеризацию проводили для контекстной рекламы.

К примеру, если в результате образовались кластеры с запросами про ботулотоксин для губ и в отдельной группе про ботокс для моделирования лица, или про эстетическую ринопластику и отдельно лечебную, этим услугам создают разные посадочные.

В чем поможет кластеризация:

• улучшить оптимизацию ресурса;
• составить структуру сайта;
• выделить целевые страницы для продвижения;
• оценить популярность продуктов и услуг у пользователей;
• разделить ключи по страницам для составления ТЗ копирайтерам.

Каким сайтам она нужна

Группировку ключей лучше проводить даже для небольшого количества, а для семантики от 3000 запросов рекомендуем ее обязательно. Трудность может возникнуть с распределением запросов в нише с низкой конкуренцией, где мало релевантных ответов и не на что опираться при анализе выдачи.

Самостоятельная кластеризация запросов

Разберем, как провести ее самостоятельно без установки отдельного софта.

По каким параметрам делить ключи

Некоторые веб-мастеры объединяют ключи в группы по признаку семантического построения фраз. Тогда в одной группе сосредотачиваются ключи типа «снять ресторан на праздник», «снять ресторан», «снять ресторан на юбилей», потому что они похожи.

Но у ключей есть и другие признаки, кроме формы образования. В эту же группу подойдут ключи по типу «аренда ресторана» — интент тот же, а семантической схожести нет.

Параметры кластеризации:

• Смысловая близость — похожее построение фраз, синонимы;
  «монтаж двери», «установка двери».
• Морфологическая близость — однокоренные слова;
  «заказ ресторана», «заказать ресторан».
• Намерение пользователя (интент) — ключи, с которыми пользователи могут искать одно и то же;
  «страхование авто», «ОСАГО», «автострахование цена», «калькулятор страховки», «застраховать машину».
• Этап воронки продаж — обычно используют для настройки контекстной рекламы, группируют ключи по этапам, на которых находятся пользователи.
  Решение проблемы — «боли в спине», группа товаров «ортопедические матрасы», конкретный товар — «матрасы Аскона Ковров».

На скриншоте фрагмент сбора семантического ядра для сайта туристической компании, которая продает путевки в детские лагеря по всей России. Для ключей определили намерение пользователя и подходящую страницу, на которую должен вести запрос, в соответствие с этим можно составлять группы запросов.

Фрагмент семантического ядра туристического сайта

В зависимости от тематики сайта, его структуры и целей можно комбинировать несколько параметров. К примеру, сначала строят группы по интенту, а потом по этапам воронки продаж. Можно добавить принцип важности услуги или товара для компании — объединить сопутствующие позиции, выделить товары-локомотивы.

Способы кластеризации

Некоторые веб-мастеры ориентируются на выдачу поисковиков. Как проходит группировка по выдаче:

1. Веб-мастер обращается в выдачу поисковика по нужным запросам: смотрит релевантные страницы в выдаче и сравнивает результаты по разным ключам. Нужно проанализировать, какие ключи успешные конкуренты сочетают на страницах.
2. Для каждого ключевого слова он находит в выдаче определенное количество страниц, где оно употребляется. Устанавливает минимальное количество совпадений — например, четыре — и объединяет ключи в пары, если по этим запросам находится четыре общие страницы.

Минус системы в том, что результаты поисковиков меняются, готовая кластеризованная семантика через неделю может отличаться из-за смены сайтов в выдаче.

Простую кластеризацию для маленького семантического ядра можно сделать вручную, используя таблицу Excel. Но ручная кластеризация — это кропотливые манипуляции с данными, где нужна постоянная внимательность. С большим количеством данных лучше не работать руками, а использовать сервисы автоматической кластеризации.

Как провести кластеризацию онлайн

Есть разные сервисы для группировки запросов онлайн, мы рассмотрим автоматическую кластеризацию на примере сервиса LINE. В нем можно следить за позициями сайта по ключевым фразам и разбить семантику на группы.

1. Начало работы

Перейдите в раздел «Кластеризация» и нажмите «Новая задача»:

Интерфейс сервиса

Настройте кластеризацию для вашей семантики: выберите регион, поисковик, укажите, нужна ли частотность, и выберите метод кластеризации и порог.

2. Выбор типа кластеризации: «мягкий» и «жесткий» методы

Объединять запросы в группы можно двумя методами:

• «Soft» — мягкий метод объединения ключей
  Метод подходит для статей, информационных, трафиковых проектов, поскольку так получается больше ключей.

  За основу берут один из запросов с сравнивают с ним остальные ключи: смотрят, сколько у этого ключа общих URL у с основным запросом. Ключ попадает в группу, если набирает больше установленного числа общих URL. Получается, все запросы должны иметь совпадения URL с главным ключевым словом, а между собой не обязательно.

• «Hard» — жесткий метод
  Получается меньше ключей, метод подходит для конкурентных тематик, коммерческих проектов.

  В этом методе сравнивают общие URL у всех ключей. Запросы помещают в одну группу, только если набирается определенное количество общих URL для всех запросов группы. То есть в мягком методе ключи имеют общие URL с контрольным запросом, а в жестком все ключи в группе должны иметь общие URL.

3. Установка порога кластеризации

Порог определяет, сколько нужно общих URL — чем он выше, тем больше нужно общих URL чтобы объединить ключи в группу. При низком пороге в группе будет слишком много лишних запросов, при слишком высоком группы могут не сформироваться. 

Обычно устанавливают порог в четыре URL для мягкой кластеризации и три для жесткой, но можно настроить другие показатели.

4. Запуск группировки и обработка

Запустите систему и через несколько минут сервис выдаст готовый отчет с группами ключевых слов. Его можно смотреть на экране или скачать в файле Excel.

Фрагмент демонстрационной кластеризации запросов в Line

Если вы нашли запросы, которые не входят в кластеры, не торопитесь их удалять. Проверьте, если они подходят теме вашего сайта, их все равно можно использовать: внедрите ключи на другие страницы — в статью блога или отзывы, добавьте в один из кластеров, куда они подходят по смыслу.

Попробовать кластеризацию в Line

Что делать потом

Используйте полученные кластеры в работе:

• настраивайте рекламные кампании на разные группы;
• отслеживайте эффект РК по тематическим группам запросов;
• пишите контент, используя ключи из кластеров;
• заполняйте Title, Description, h2 и другие мета-теги страницы согласно запросам из одной группы;
• создавайте структуру сайта согласно разделению ключей.

Кластеризация делает работу с ключами точнее и проще — позволяет рассортировать массив ключей по группам, страницам и объявлениям. Используйте для этого сервисы, чтобы экономить свое время.

Кластеризация запросов — SEO на vc.ru

Следующим шагом после сбора семантического ядра является кластеризация. По своей сути это процесс разбиения ключевых запросов на группы для определения будущих целевых страниц для продвижения.

Принципы кластеризации

Правильная группировка запросов позволит занять высокие позиции и хорошо ранжироваться поисковыми системами по всем подобранным запросам. Для этого нужно придерживаться определенных правил.

Каждая группа содержит свой интент. Допустим, у вас есть ряд запросов и нужно их объединить по одной потребности:

• доставка грузов из Китая;
• доставка грузов из Китая на самолете;
• доставить груз из Китая;
• доставка товаров из Китая авиа.

В данном примере логично 1 и 3 запрос объединить вместе, а также 2 и 4.

Важно понимать, что запросы «Доставка грузов из Китая» и «Доставка грузов из Китая на самолете» не удастся продвинуть на одной целевой странице.

Сложность кластеризации может возникнуть для таких запросов, как слова-синонимы вида «грузоперевозки из Китая» и «доставка из китая», или же «таможенное оформление грузов» и «растаможка товаров из китая». В таком случае ориентироваться лучше на результаты поисковой выдачи.

Каждая группа ведется на отдельную ключевую страницу. Она вытекает из пункта выше, и необходимо это для успешного продвижения.

В процессе кластеризации может возникнуть вопрос, а можно ли объединить два кластера в один, если их логично продвигать на одну страницу?

Ответ — да. Это нормальная ситуация, когда логично объединить группы запросов, имеющие одинаковый смысл и вылезающие страницы. Например, «искусственные елки 2 метра купить» и «новогодние елки 2 м цена».

Но не стоит объединять информационные и коммерческие запросы на одну страницу.

Методы кластеризации ключевых запросов

В зависимости от объема семантического ядра можно применять ручной, автоматический и смешанный способы группировки.

Ручной метод удобен для неболь

Что такое кластеризация или кластерный анализ — Маркетинг на vc.ru

Примеры кластеризации в маркетинге.

Если у вас есть большой массив данных, то наиболее эффективный способ понять, что с ними делать — рассортировать их в группы для первичного анализа. Группировать можно при помощи — сегментации (вы сами задаете критерии, например, возрастные и ценовые группы) или кластеризации (математический алгоритм сам выявляет “связующий” критерий или признак, который объединяет данные). Ценность data-driven подхода и основное отличие кластеризации заключается в том, что алгоритмы выявляют и объединяют параметры с похожими чертами из первичного массива данных.

Маркетинг и продажи — одно из направлений применения кластерного анализа. В частности для прогнозирования будущего поведения покупателя — персонализации и таргетирования. Кластерный анализ использует математические модели для обнаружения групп схожих клиентов, основываясь на наименьших различиях среди покупателей в каждой группе.

Кластерный анализ (англ. cluster analysis) — многомерная статистическая процедура, выполняющая сбор данных, содержащих информацию о выборке объектов, и затем упорядочивающая объекты в сравнительно однородные группы.

Боль: кампании, как маркетинговая инвестиция, должны быть направлены на конкретную целевую группу.

Стандартный пул данных в датасете:

• Основная информация о клиенте — профиль / идентификатор клиента, местоположение и цена покупок
• Информация о продукте — сегмент, бренд, иерархия продуктов, размер, и тд.
• Информация о транзакции — проданный объем, детали счета, дата, время и идентификатор продукта

Пример 3D визуализации результатов кластерного анализа​

Более глубокое понимание клиентских сегментов достигается путем разработки 3D-модели кластеров на основе ключевых бизнес-показателей, таких как размещенные заказы (покупки), частота заказов, заказанные товары или изменение цен. Актуальность результатов кластеризации для бизнеса позволяет лицам, принимающим решения, выявлять проблемные кластеры, которые вынуждают продавца использовать больше ресурсов для достижения целевого результата. Затем можно сосредоточить свои маркетинговые и операционные усилия на правильных кластерах, чтобы обеспечить оптимальное использование ресурсов, включая:

• Анализ цен: кластеризация является отправной точкой для более глубокого анализа цен, чтобы получить инсайты и улучшить объемы продаж на основе прогнозируемых изменений в структуре (паттерне) закупок по отношению к изменениям цен внутри каждого идентифицированного кластера.
• Анализ аномалий: можно выявить неочевидные закономерности и аномалии в поведении покупателей.
• Анализ частоты покупок: позволяет сформировать кластеры покупателей, которые стали покупать реже или наоборот чаще в конкретном промежутке времени.
• Анализ времени покупок:

scipy.cluster.hierarchy.fcluster — Справочное руководство SciPy v0.13.0

Z : ndarray

Иерархическая кластеризация, закодированная с возвращенной матрицей
функцией связи.

т : поплавок

Порог, применяемый при формировании плоских кластеров.

критерий : ул, опционально

Критерий, используемый при формировании плоских кластеров. Это может
может быть любым из следующих значений:

несовместимо: если узел кластера и все его

потомков имеют несогласованное значение, меньшее или равное
к t , то все его листовые потомки принадлежат к
такой же плоский кластер.Когда не встречается не одноэлементный кластер
по этому критерию каждому узлу назначается собственный
кластер. (По умолчанию)

Расстояние

: образует плоские кластеры, так что исходный

наблюдений в каждом плоском скоплении не имеют большего
коенетическое расстояние, чем т .

maxclust: Находит минимальный порог r, чтобы

копенетическое расстояние между любыми двумя оригиналами
наблюдений в одном плоском скоплении не более
r и не более т. плоских кластеров.

монокрит: формирует плоский кластер из узла кластера c

с индексом i, когда монокрит [j] <= t.

Например, до порога максимального среднего расстояния
как вычислено в матрице несогласованности R с
порог 0,8 до:

MR = maxRstat (Z, R, 3)

кластер (Z, t = 0,8, критерий = ’монокрит’, монокрит = MR)

maxclust_monocrit: формирует плоский кластер из

не одноэлементный узел кластера c, когда monocrit [i] <= r для всех кластерных индексов i ниже, включая c.r минимизируется таким образом, чтобы не более t образуются плоские кластеры. монокрит должен быть монотонный. Например, чтобы минимизировать порог t на максимальные значения несогласованности так, чтобы не более 3 плоских кластеры образуются, до:

MI = maxinconsts (Z, R)

кластер (Z, t = 3, критерий = ’maxclust_monocrit’, монокрит = MI)

глубина : int, опционально

Максимальная глубина для выполнения вычисления несогласованности.Для других критериев это не имеет значения. По умолчанию 2.

R : ndarray, опционально

Матрица несогласованности, используемая для «несогласованных»
критерий. Эта матрица вычисляется, если не предоставлена.

monocrit : ndarray, опционально

Массив длины n-1. монокрит [i] — это
статистика, на которой установлен порог не-singleton i. В
вектор монокрита должен быть монотонным, т. е. задан узел c с
index i, для всех узловых индексов j, соответствующих узлам
ниже c, монокрит [i]> = монокрит [j] .

Кластер

(США) — Hopslist

Кластер

(США) считается одной из старейших и наиболее устойчивых культур хмеля в США. Благодаря сбалансированному аромату, профилю горечи и выдающейся стабильности при хранении, он давно стал популярным среди крупных коммерческих пивоварен США.

Использование Cluster было настолько плодотворным, что в начале 20-го века на Cluster приходилось 96% всех площадей под хмелем, выращиваемых в Соединенных Штатах. Кластер оставался вверху справа до 1970-х годов.

Точное происхождение Cluster неизвестно, считается, что он имеет чистый, нейтральный и слегка цветочный аромат.

Вы продаете этот хмель? Свяжитесь с нами.

^{Источники
http://beerlegends.com/cluster-hops
https://ychhops.com/varumes/cluster
http://www.agraria.com.br/extranet/arquivos/agromalte_arquivo/producao_de_lupulo_emys_v -_ing.pdf
http://beervana.blogspot.com.au/2011/06/taste-of-past-cluster-hops.html}

Объявление

Quick-R: кластерный анализ

R обладает удивительным разнообразием функций для кластерного анализа.В этом разделе я опишу три из множества подходов: иерархический агломеративный, секционированный и основанный на модели. Хотя не существует лучших решений проблемы определения количества извлекаемых кластеров, ниже приводится несколько подходов.

Подготовка данных

Перед кластеризацией данных вы можете удалить или оценить недостающие данные и изменить масштаб переменных для сопоставимости.

# Подготовить данные
mydata <- na.omit (mydata) # удаление по списку отсутствующих
mydata <- scale (mydata) # стандартизация переменных

Разбиение на разделы

Кластеризация K-means - самый популярный метод разделения. Аналитик должен указать количество кластеров для извлечения. График суммы квадратов внутри групп по количеству извлеченных кластеров может помочь определить подходящее количество кластеров. Аналитик ищет изгиб на графике, аналогичный тесту на осыпях в факторном анализе.См. Everitt & Hothorn (стр. 251).

# Определить количество кластеров
wss <- (nrow (mydata) -1) * sum (apply (mydata, 2, var))
for (i in 2:15) wss [i] <- sum (kmeans ( mydata,
center = i) $ insidess)
plot (1:15, wss, type = "b", xlab = "Число кластеров",
ylab = "Сумма квадратов внутри групп")

# Кластерный анализ K-средних
fit <- kmeans (mydata, 5) # 5 cluster solution
# get cluster means
aggregate (mydata, by = list (fit $ cluster), FUN = mean)
# append cluster assignment
mydata <- данные.frame (mydata, fit $ cluster)

Надежная версия K-means , основанная на mediods, может быть вызвана с использованием pam () вместо kmeans () . Функция pamk () в пакете fpc - это оболочка для pam, которая также печатает предлагаемое количество кластеров на основе оптимальной средней ширины силуэта.

Иерархическая агломерация

Существует широкий спектр подходов к иерархической кластеризации.Мне повезло с методом Варда, описанным ниже.

# Иерархическая кластеризация Уорда
d <- dist (mydata, method = "euclidean") # матрица расстояний
fit <- hclust (d, method = "ward")
plot (fit) # отобразить дендограмму
groups <- cutree (fit, k = 5) # разрезать дерево на 5 кластеров
# нарисовать дендограмму с красными границами вокруг 5 кластеров
rect.hclust (fit, k = 5, border = "красный")


нажмите для просмотра

Функция pvclust () в пакете pvclust предоставляет p-значения для иерархической кластеризации на основе многомасштабной передискретизации начальной загрузки.Кластеры, которые сильно поддерживаются данными, будут иметь большие значения p. Подробности интерпретации предоставлены Suzuki. Имейте в виду, что pvclust кластеризует столбцы, а не строки. Перед использованием перенесите свои данные.

# Иерархическая кластеризация Уорда с загрузкой значений p Библиотека
(pvclust)
fit <- pvclust (mydata, method.hclust = "ward",
method.dist = "euclidean")
plot (fit) # дендограмма со значениями p
# добавляем прямоугольники вокруг групп, сильно поддерживаемых данными
pvrect (fit, alpha =.95)

нажмите для просмотра

На основе модели

Подходы, основанные на моделях, предполагают наличие множества моделей данных и применяют оценку максимального правдоподобия и критерии Байеса для определения наиболее вероятной модели и количества кластеров. В частности, функция Mclust () в пакете mclust выбирает оптимальную модель в соответствии с BIC для EM, инициализированного иерархической кластеризацией для параметризованных моделей гауссовой смеси. (уф!). Выбирается модель и количество кластеров с наибольшим BIC.См. Справку (mclustModelNames) для получения подробной информации о выбранной модели.

# Кластеризация на основе модели
библиотека (mclust)
fit <- Mclust (mydata)
plot (fit) # plot results

сводка (подходит) # отображать лучшую модель

нажмите для просмотра

Построение кластерных решений

Всегда полезно посмотреть на результаты кластера.

# Кластеризация K-средних с 5 кластерами
fit <- kmeans (mydata, 5)

# График кластера против первых двух основных компонентов

# варьировать параметры для наиболее читаемого графика
библиотека (кластер)

clusterplot (mydata, fit $ cluster, color = TRUE, shade = TRUE,
labels = 2, lines = 0)

# Centroid Plot в зависимости от первых двух дискриминантных функций Библиотека
(fpc) ​​
plotcluster (mydata, fit $ cluster)

нажмите для просмотра

Проверка кластерных решений

Функция кластер.stats () в пакете fpc предоставляет механизм для сравнения схожести двух кластерных решений с использованием различных критериев проверки (гамма-коэффициент Гильберта, индекс Данна и скорректированный индекс ранда)

# сравнение 2 кластерных решений
библиотека (fpc) ​​
cluster.stats (d, fit1 $ cluster, fit2 $ cluster)


, где d - это матрица расстояний между объектами, а fit1 $ cluster и fit $ cluster r - целочисленные векторы, содержащие результаты классификации из двух различных кластеров одних и тех же данных.

к практике

Попробуйте выполнить упражнение по кластеризации из этого введения в курс машинного обучения.

Наночастицы и кластеры - документация ASE

Существуют модули для создания наночастиц (кластеров) с заданным кристаллом.
структура, указав либо количество слоев в разных направлениях,
или построив конструкцию Вульфа.

Примеры

Спецификация слоя

В этом примере создается наночастица меди в кристаллической структуре FCC,
указав 6 слоев в направлениях (100), 9 в направлениях (110) и
5 по (111) направлениям:

 import ase
от ас.cluster.cubic импорт FaceCenteredCubic

поверхности = [(1, 0, 0), (1, 1, 0), (1, 1, 1)]
Layers = [6, 9, 5]
lc = 3,61000
атомы = FaceCenteredCubic ('Cu', поверхности, слои, постоянная решетки = lc)
 

Конструкция Wulff

Чтобы создать конструкцию Вульфа, поверхностные энергии должны быть
указано в единицах энергии на единицу площади (, а не энергии на атом). В
Фактическая используемая единица измерения не имеет значения, так как только соотношение между поверхностью
энергия важна. Кроме того, примерный размер
наночастица должна быть дана.Поскольку конструкция Вульфа построена из
целые слои, невозможно достичь желаемого размера частиц
ровно:

 из ase.cluster import wulff_construction

поверхности = [(1, 0, 0), (1, 1, 0), (1, 1, 1)]
esurf = [1.0, 1.1, 0.9] # Поверхностные энергии.
lc = 3,61000
size = 1000 # Количество атомов
atom = wulff_construction ('Cu', поверхности, esurf,
                           размер, 'fcc',
                           округление = 'выше', постоянная решетки = lc)
 

Обратите внимание, что конструкция Вульфа в настоящее время работает только с кубическими
решетки.

Создание наночастиц

Модуль ase.cluster содержит ряд подмодулей для
определяя кластеры, по одному для каждой кристаллической структуры. Они все
вызывается так же, указав элемент, количество слоев
в разных направлениях и, возможно, постоянную решетки.

Спецификация уровня - единственная часть, которая может быть не интуитивно понятной.
Он представлен в виде двух массивов, один из которых определяет индексы Миллера
поверхностей, а один определяет количество слоев от центра
кластер на соответствующие поверхности.

Спецификация поверхности допускает одну или несколько поверхностей заданного
семейство поверхностей, чтобы отличаться от других поверхностей. Это может
использоваться, например, для создания кластера, в котором одна часть была усечена
субстрат. Это делается первым , указав количество слоев
для семейства поверхностей, а позже с указанием количества
слои для данной поверхности. Учитывайте спецификацию поверхности

Рецепт кластерных самоцветов, Список выдающихся кластерных самоцветов PoE, Руководство по изготовлению, пассивные умения

.

Кластеры в Австрии - объединение компетенций

На протяжении многих лет в Австрии придается большое значение стратегическому партнерству между компаниями и исследовательскими центрами.

По этой причине были установлены стратегические партнерства с упором на инновации в форме центров компетенции и отраслевых кластеров.Австрия превратилась в настоящий кластер.

47 центров компетенций, включенных в австрийскую финансовую инициативу COMET (Центры компетенции по передовым технологиям), целенаправленно содействуют сотрудничеству между промышленностью и наукой в ​​отношении передовых технологий. Соответственно, компании Big Pharma полагаются на ноу-хау «Исследовательского центра фармацевтической инженерии» (RCPE) из Граца при разработке фармацевтических процессов и продуктов. В Oncotyrol, известном специализированном центре лечения рака в Инсбруке, новые результаты исследований в области геномики, протеомики и метаболомики будут перенесены в клиническую медицину рака.

Австрийский центр медицинских инноваций и технологий (Acmit), компетентный центр в Винер-Нойштадте, специализирующийся на разработке медицинской робототехники, открывает новые перспективы для хирургии петлиц (минимально инвазивная хирургия), тогда как «Bioenergy 2020+» может похвастаться несколько исследовательских центров в Австрии и успешные инновации в области экологически чистого производства энергии из биомассы.

Дополнительную информацию о Clusterland Austria, изменениях, касающихся местоположения бизнеса в целом, а также кластера пластмасс, кластера мехатроники, автомобильного кластера и других конкретных кластеров, можно найти на веб-сайте Cluster Platform Austria.

Подробную информацию о исследованиях и разработках в Австрии можно найти в нашей зоне загрузки

Исследования и разработки

> перейдите в зону загрузки

.