Лекции воронцов: Воронцов. Курс «Машинное обучение» 2019 (Школа анализа данных)

Воронцов. Курс «Машинное обучение» 2019 (Школа анализа данных)

На YouTube опубликован цикл из 22 лекций курса «Машинное обучение» К.В.Воронцова, прочитанных в 2019 году в Школе анализа данных (Яндекс).

Воронцов Константин Вячеславович — профессор кафедры интеллектуальных систем факультета управления и прикладной математики МФТИ, доктор физико-математических наук, доцент кафедры математических методов прогнозирования факультета ВМиК МГУ, преподаватель Школы анализа данных Яндекса, профессор ВШЭ.

Школа анализа данных (ШАД) — это бесплатная двухгодичная программа для тех, кто хочет стать продвинутым датасаентистом или архитектором систем хранения и обработки больших данных. Лекции и семинары в ШАДе проводят сотрудники Яндекса, преподаватели ведущих университетов.

Вводная лекция

В первой половине лекции вводятся обозначения и понятия, которые будут использоваться на протяжении всего курса: объекты, признаки, функция потерь, предсказательная модель, минимизация эмпирического риска, обучающая выборка, тестовая выборка, переобучение, скользящий контроль. Во второй половине лекции приводятся примеры прикладных задач классификации, регрессии, ранжирования. В конце кратко обсуждаются некоторые вопросы методологии машинного обучения: особенности реальных данных, межотраслевой стандарт CRISP-DM, организация вычислительных экспериментов.

2. Линейные методы

Линейная модель играет фундаментальную роль в теории машинного обучения. Это простейшая модель нейрона и основной строительный блок для нейронных сетей. Обучать её можно с помощью метода стохастического градиента. На практике он нуждается в различных эвристических усовершенствованиях. Одно из важнейших – регуляризация. Она делает решение устойчивым в случае мультиколлинеарных признаков и уменьшает переобучение. Постановка задачи построения разделяющей поверхности в терминах теории вероятности приводит к пониманию регуляризатора через априорное распределение параметров модели. В конце рассматривается логистическая регрессия – метод классификации, способный не только классифицировать объекты, но и давать оценки вероятностей классов.

3. Метрические методы

Метод ближайшего соседа является, пожалуй, самым простым методом классификации. Разбирая один за другим его недостатки, мы приходим к методам взвешенных ближайших соседей, парзеновского окна, потенциальных функций… и осознаём, что снова пришли к линейному классификатору. Отбор эталонных объектов в ленивом обучении в некоторых задачах позволяет радикально уменьшить объём хранимых данных, а, если повезёт, то и улучшить качество классификации. Идея, что схожим объектам должны соответствовать схожие ответы, в регрессии приводит к непараметрическим методам типа ядерного сглаживания. Выводы на удивление те же, что и для классификации: подбор ширины окна принципиально важен для оптимизации качества модели, а выбор ядра сглаживания отвечает лишь за её гладкость. В конце рассматривается проблема обнаружения и отсева выбросов.

4. Метод опорных векторов

Снова линейный классификатор. Принцип максимума ширины зазора между классами приводит к выпуклой задаче квадратичного программирования, которая имеет массу замечательных свойств. Во-первых, её решение единственно. Во-вторых, оно зависит не от всей выборки, а только от горстки объектов на границе между классами, которые и называются опорными векторами. В-третьих, заменяя скалярное произведение между объектами (не совсем) произвольной функцией от пары объектов, можно из линейной модели классификации получить нелинейную. Это один из самых красивых математических трюков во всём машинном обучении. Наконец, заменяя общепринятую L2 регуляризацию более экзотическими регуляризаторами, можно наделить SVM свойством отбора признаков. Интересный общий вывод: в линейных моделях негладкость функции потерь приводит к отбору объектов.

5. Многомерная линейная регрессия (А.Ю.Фонарев)

Классический способ обучения линейной модели регрессии – это метод наименьших квадратов. Сингулярное разложение матрицы признаковых описаний объектов позволяет изящно записать классическое решение МНК. Мультиколлинеарность или скрытые линейные зависимости между признаками приводит к неустойчивости решения и переобучению. Гребневая регрессия с помощью L2-регуляризации делает решение немного смещённым, но намного более устойчивым. Сингулярное разложение и в этом случае позволяет записать решение. Более того, оно позволяет эффективно оптимизировать параметр регуляризации. Метод LASSO или L1-регуляризация решает проблему мультиколлинеарности по-другому – отбрасывая лишние признаки. Третье решение – линейный переход от большого числа исходных признаков к малому числу новых признаков, но так, чтобы исходные по новым можно было восстановить как можно точнее. Это приводит к методу главных компонент, который оказывается обобщением всё того же сингулярного разложения.

6. Нелинейная регрессия

Что делать, если модель регрессии не линейная или функция потерь не квадратичная? Общий рецепт такой: применение метода Ньютона-Рафсона приводит к итерационному процессу, на каждом шаге которого решается задача линейной регрессии. Смысл её сводится к тому, чтобы поточнее настроиться на тех объектах, на которых модель в текущем её приближении работает недостаточно хорошо. В этот общий сценарий неплохо вписывается серия важных частных случаев. Нелинейная регрессия с квадратичной функцией потерь. Логистическая регрессия. Обобщённая линейная модель (GLM), в которой прогнозируемая величина описывается экспоненциальным семейством распределений. Логистическая регрессия является частным случаем GLM, и, благодаря этому факту, мы теперь понимаем, почему вероятность классов выражается через сигмоиду от дискриминантной функции. В конце немного про неквадратичные функции потерь: метод наименьших модулей, квантильная регрессия, робастная регрессия и SVM-регрессия.

7. Прогнозирование временных рядов

Прогнозирование временных рядов – это специальный случай задачи регрессии, в которой объекты выборки линейно упорядочены по времени. Обучающая выборка находится в прошлом, тестовая – в будущем. В простых задачах из области эконометрики поведение временного ряда складывается из медленно меняющегося тренда, сезонной квазипериодичности и различных календарных эффектов. В этих случаях неплохо работают адаптивные методы краткосрочного прогнозирования. Они основаны на рекуррентных формулах, которые выводятся методом наименьших квадратов. Если модель временного ряда не известна, а временных рядов много, используются методы адаптивной селекции и адаптивного комбинирования моделей. Их точности вполне хватает для решения многих практических задач, а неоспоримым преимуществом является вычислительная эффективность.

8. Критерии выбора моделей

Лекция состоит из двух слабо связанных частей. В первой части рассматриваются критерии качества классификации, от простейшего «числа ошибок» до правдоподобия, AUC и PR-AUC. Каждый из них имеет свои границы применимости и противопоказания. От них мы переходим к критериям, характеризующим обобщающую способность моделей. От скользящего контроля до разного рода штрафов за сложность модели: AIC, BIC, VC-bound и прочие. Во второй части рассматривается задача отбора признаков, имеющая экспоненциальную вычислительную сложность, и эвристические методы сокращения полного перебора. Жадные алгоритмы. Поиск в глубину и в ширину. Эволюционные алгоритмы. Случайный поиск с адаптацией.

9. Логические методы классификации

Логическая закономерность в задаче классификации – это предикат с простой интерпретируемой формулой, выделяющий много объектов одного класса и мало объектов всех остальных классов. Самый распространённый вид предикатов – конъюнкции небольшого числа пороговых условий на признаки. Алгоритмы поиска информативных конъюнкций очень похожи на алгоритмы отбора признаков из предыдущей лекции. Специальный вариант – методы индукции решающих деревьев. Недостаток деревьев в том, что они не устойчивы к составу обучающей выборки и ошибкам в данных. Справиться с переобучением деревьев помогает процедура усечения (pruning) либо ансамблирование – разного рода решающие леса, в том числе очень известный метод случайного леса.

10. Поиск ассоциативных правил

Специальный случай поиска логических закономерностей в форме правил «если выполняется конъюнкция признаков X, то выполняется также конъюнкция признаков Y». Это обучение без учителя, поскольку целевой признак-класс изначально не задан для объектов. Задача пришла из анализа рыночных корзин в конце 90х годов, но быстро нашла массу применений в других областях. Есть простой классический алгоритм APriori, но на больших данных он не эффективен. Большая часть лекции посвящена алгоритму FP-growth, основанному на построении очень эффективной структуры данных – префиксного дерева, позволяющего сохранить в оперативной памяти полную информацию о всех часто встречающихся наборах признаков за один линейный проход по всем объектам выборки.

11. Байесовская классификация

Восстановление плотности распределения по выборке – важный класс задач машинного обучения. В частности, к ним сводится построение байесовского классификатора. Рассматриваются три подхода к восстановлению плотности. Самый простой – непараметрический, это оценка плотности Парзена-Розенблатта. Классическим считается параметрический подход, и мы рассматриваем его подробно на примере восстановления плотности многомерного нормального распределения. Третий подход – восстановление смеси вероятностных распределений. Познакомимся с ЕМ-алгоритмом в общем виде и в одном частном случае, когда компонентами смеси являются сферические гауссианы. В байесовском классификаторе это приводит к конструкции, одновременно похожей на метод потенциальных функций, SVM с гауссовским ядром и двухслойную нейронную сеть с радиальными базисными функциями.

12. Кластеризация и частичное обучение

Задача кластеризации – это обучение без учителя. Требуется разбить конечное множество объектов на кластеры по их взаимной близости. Если для части объектов, обычно очень небольшой, классификации всё же известны, то это задача с частичным обучением. Самый известный метод кластеризации – k-средних, если внимательно присмотреться, является сильно упрощённым вариантом ЕМ-алгоритма для разделения смеси сферических гауссиан. Метод DBSCAN более удобен в тех задачах, где нельзя делать предположение о сферичности кластеров. Если требуется иерархически объединять мелкие кластеры в более крупные, используется алгоритм Ланса-Уильямса. Все методы кластеризации очень легко приспосабливаются для частичного обучения. Есть и противоположный подход – приспосабливать методы классификации с учителем. Кроме простых эвристических методов, существует трансдуктивный SVM и различные подходы на основе регуляризаторов.

13. Нейронные сети и градиентные методы

Любую непрерывную функцию можно приблизить многослойной нейронной сетью с любой заданной точностью. Теоретически, двух слоёв для этого достаточно. На практике для обучения искусственных нейронных сетей чаще всего используется метод BackPropagation – обратное распространение ошибок. Он позволяет эффективно вычислять градиент функции потерь по вектору параметров сети. Чтобы этот метод действительно работал, приходится использовать совокупность эвристик для ускорения сходимости, выбора начального приближения, градиентного шага и регуляризации. Методы разреживания сети позволяют радикально сокращать число нейронов и связей.

14. Нейронные сети глубокого обучения

Современный бум искусственных нейронных сетей обязан своим появлением конкурсу по классификации изображений ImageNet. Свёрточные нейронные сети осуществили прорыв в компьютерном зрении, впервые обеспечив высокое качество распознавания при обучении по большим данным. Свёрточные слои осуществляют обучаемое преобразование сырого представления объекта в векторное представление фиксированной размерности, с которым далее работает полносвязная сеть, как правило, из небольшого числа слоёв. Для обработки сигналов и текстов используются рекуррентные нейронные сети, для которых есть свой вариант метода BackPropagation. Одна из самых известных рекуррентных сетей – LSTM, а также её упрощённый вариант GRU. Вкратце рассматриваются важнейшие нейросетевые техники – автокодировщики, перенос обучения, самостоятельное обучение, генеративные состязательные сети.

15. Линейные композиции, бустинг

Композиционные методы машинного обучения дают положительный конструктивный ответ на вопрос, возможно ли из большого числа ненадёжных алгоритмов построить один надёжный. Алгоритм AdaBoost строит последовательность алгоритмов так, чтобы каждый следующий стремился исправлять ошибки предыдущих. В AdaBoost используется экспоненциальная аппроксимация пороговой функции потерь и дискретно-значные базовые классификаторы. Градиентный бустинг обобщает эту идею и позволяет использовать произвольную функцию потерь и вещественно-значные базовые алгоритмы. С помощью градиентного бустинга можно решать задачи регрессии и ранжирования. Алгоритмы MatrixNet и CatBoost, разработанные в Яндексе, представляют собой градиентный бустинг над решающими деревьями специального вида.

16. Композиции классификаторов, часть 2

Бэггинг похож на бустинг, но использует простое голосование вместо взвешенного, бутстрепинг объектов обучающей выборки вместо их перевзвешивания, независимое параллельное построение базовых алгоритмов вместо строго последовательного. По критерию качества бустинг, бэггинг и случайные леса, как правило, сопоставимы. Во многих приложениях базовые алгоритмы проще обучать на отдельных частях признакового пространства, называемых областями компетенции. Такие методы похожи на восстановление смеси распределений и используют ЕМ-подобные алгоритмы для поочерёдной оптимизации базовых алгоритмов и их областей компетенции.

17. Обучение ранжированию

Задача ранжирования отличается от классификации и регрессии тем, что вместо правильных ответов на объектах обучающей выборке задаётся отношение частичного порядка. Модель ранжирования – это функция от объекта (как и в задаче регрессии), с помощью которой можно отранжировать произвольное множество объектов. Задачи ранжирования решаются в информационно-поисковых, рекламных и рекомендательных системах. Критерии качества ранжирования весьма разнообразны, наиболее важные из них рассматриваются в лекции. Методы обучения ранжированию делятся на три большие группы: поточеченые, попарные и списочные. Поточечные являются незначительными модификациями методов классификации или регрессии. Попарные оптимизируют критерии, представляющие собой сумму по парам объектов, а не по отдельным объектам. Для оптимизации часто используется метод стохастического градиента. Списочные методы приближённо оптимизируют качество ранжирования в списках поисковой выдачи.

18. Рекомендательные системы

Имеются транзакционные данные о предпочтениях объектов клиентами. Требуется для заданного клиента спрогнозировать, какие объекты для него наиболее предпочтительны. Простые и уже устаревшие методы коллаборативной фильтрации основаны на поиске схожих клиентов, которые предпочитают схожие множества объектов. Более современные методы основаны на поиске латентных векторов интересов клиентов и объектов. Для этого используются методы матричных разложений. Качество рекомендаций измеряется многими критериями: это не только точность предсказания известных предпочтений, но и разнообразие, новизна, покрытие, догадливость. Кроме того, рекомендательная система должна обеспечивать адекватность рекомендаций даже в условиях «холодного старта», когда по объекту или по клиенту не хватает информации о предпочтениях.

19. Тематическое моделирование

Имеется коллекция текстовых документов. Требуется выявить тематическую кластерную структуру коллекции и оценить, к каким темам относится каждый документ, и какими словами описывается каждая тема. Как и в рекомендательных системах, задача сводится к построению низкорангового неотрицательного матричного разложения. Данная задача является многокритериальной и некорректно поставленной, поскольку имеет бесконечное множество решений. Для нахождения устойчивого решения вводятся дополнительные критерии-регуляризаторы и используется регуляризованный ЕМ-алгоритм. В лекции рассматриваются регуляризаторы для учёта дополнительной информации, ограничений и требований к тематической модели.

20. Обучение с подкреплением

Процесс обучения представляется в виде игры агента со средой, в которой агент совершает действия, среда в ответ даёт премии, и агент должен корректировать свою стратегию принятия решений таким образом, чтобы максимизировать суммарную будущую премию. Задача имеет черты классификации и прогнозирования. В простейшем случае это задача выбора действия по накопленной статистике премий, называемая задачей о многоруком бандите. В более сложном случае на каждом шаге известно, в каком из состояний находится среда. Если состояние среды описывается вектором признаков, то для принятия решений возможно приспособить инкрементные методы классификации, а для оптимизации стратегии агента применять градиентные методы. Во всех случаях основным вопросом обучения с подкреплением остаётся компромисс «exploration-exploitation» между изучающими действиями и действиями, непосредственно нацеленными на получение премий.

21. Активное обучение

Активное обучение используется в тех случаях, когда получение ответа от учителя стоит дорого, но есть возможность выбирать, какой объект предъявить учителю следующим. Активное обучение позволяет сокращать объём обучающей выборки по сравнению с пассивным случайным выбором. Для сэмплирования объектов используются различные стратегии: по неуверенности, по ожидаемому изменению модели, по ожидаемому сокращению ошибки, по уменьшению дисперсии параметров модели. Как и в обучении с подкреплением, здесь также имеется компромисс «exploration-exploitation» и методы для введения изучающих действий.

22. Заключительная лекция

В заключительной лекции даётся беглый обзор курса, выделяются многочисленные сходства и взаимосвязи между различными методами машинного обучения, обсуждаются идеи разнообразных гибридных подходов.

Машинное обучение Лекция 3. Метрические алгоритмы.

Метрические методы классификации

Метрические методы классификации К. В. Воронцов [email protected] Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» 20 февраля

Подробнее

Метрические методы классификации

Метрические методы классификации К. В. Воронцов [email protected] Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» март 2011

Подробнее

Метрические методы классификации

Метрические методы классификации К. В. Воронцов [email protected] Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» март 2011

Подробнее

Метрические методы классификации

Метрические методы классификации К. В. Воронцов [email protected] Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» март 2013

Подробнее

Машинное обучение (Machine Learning)

Машинное обучение (Machine Learning) Уткин Л. В. Содержание 1 Наивный байесовский классификатор 2 1 Метод k ближайших соседей 2 Метод окна Парзена 3 Метод потенциальных функций Презентация является компиляцией

Подробнее

Метрические методы — продолжение

1/22 Виктор Владимирович Китов МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 2/22 Метод парзеновского окна Метод парзеновского окна: Выбор h(x): f(x) = arg max y Y N ( ) ρ(x, xn ) I[y n =

Подробнее

Метод ближайших соседей

1/25 Метод ближайших соседей Виктор Владимирович Китов 1/25 Простейший вариант Содержание 1 Простейший вариант 2 Выбор метрики 3 Взвешенный учет ближайших соседей Случай K = 1: алгоритм ближайшего соседа

Подробнее

Лекции по методу опорных векторов

Лекции по методу опорных векторов черновик) К. В. Воронцов 9 апреля 2006 г. Содержание 1 Метод опорных векторов SVM) 2 1.1 Метод опорных векторов в задачах классификации………… 2 1.1.1 Понятие оптимальной

Подробнее

Лекция Типы множеств

Лекция 4.1 1 Типы множеств Множество всевозможных упорядоченных последовательностей n действительных чисел (x 1, x 2,…, x n ) называется n-мерным точечным арифметическим пространством R n. Елементы множества

Подробнее

Выявление аномальных значений [M.077]

Выявление аномальных значений [M.77] Часто в больших наборах данных встречаются значения, которые не укладываются в общую модель поведения анализируемого процесса. Такие значения, которые сильно отличаются

Подробнее

ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ

Глава ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ Лекция 9 Введение В этой главе мы будем рассматривать задачи отыскания экстремумов (максимумов или минимумов) функционалов Сразу отметим, что такие задачи относятся к числу

Подробнее

SVM и kernel methods

Академический Университет, 2012 Outline 1 SVM и задача линейной классификации 2 Схема работы SVM Функциональный анализ. Ядра Резюме Постановка задачи Метод опорных векторов решает задачу классификации.

Подробнее

Computer Graphics. Распознавание. by Daniel Drizhuk

Computer Graphics Распознавание Распознавание Задача классификации Самообучающийся алгоритм Контроль правильности Оценка качества Алгоритм обучен Как оценить качество обучения? Предсказательная способность

Подробнее

Функционал ошибки для классификации

Функционал ошибки для классификации Ошибка классификации Доля неправильных ответов: l Q a, X = 1 l L a x M y M MN$ Нотация Айверсона: истина = 1 ложь = 0 Ошибка классификации a(x) y 1 1 +1 +1 Доля неправильных

Подробнее

Семинары по композиционным методам

Семинары по композиционным методам Евгений Соколов [email protected] 30 марта 2014 г. 3 Композиционные методы машинного обучения Ранее мы изучили различные вариации бустинга, которые жадно строили линейную

Подробнее

Кластеризация и алгоритм EM

Академический Университет, 2012 Outline Иерархическая кластеризация методами теории графов 1 Иерархическая кластеризация методами теории графов 2 Суть лекции Иерархическая кластеризация методами теории

Подробнее

Линейные методы классификации II

1/40 Виктор Китов [email protected] МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 2/40 Линейный дискриминант Фишера Содержание 1 Линейный дискриминант Фишера 2 Логистическая регрессия 3

Подробнее

20. Топологические пространства и пределы

20. Топологические пространства и пределы В конце прошлой лекции мы определили метрические пространства. На каждом метрическом пространстве можно естественным способом ввести топологию. Обозначение 20.1.

Подробнее

1.3 Случай евклидова пространства

1.3. Случай евклидова пространства 10 1.3 Случай евклидова пространства В качестве наглядной иллюстрации мы опишем некоторые свойства функции d H в случае, наиболее интересном для приложений, а именно,

Подробнее

1 / 22

Классификация текстов Лекция N 6 курса Современные задачи теоретической информатики Юрий Лифшиц [email protected] ИТМО Осень 2005 1 / 22 План лекции 1 Постановка задачи, подходы и применения Постановка

Подробнее

Машинное обучение: вводная лекция

Машинное обучение: вводная лекция К. В. Воронцов [email protected] Этот курс доступен на странице вики-ресурса http://www. machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» февраль

Подробнее

w j g j (x i ) + ε i.

В. В. Стрижов. «Информационное моделирование». Конспект лекций. Введение, метод наименьших квадратов Введение Термин регрессия был введен Фрэнсисом Гальтоном в конце 19-го века. Гальтон обнаружил, что

Подробнее

Меры на сигма-алгебрах.

Тема 2 Меры на сигма-алгебрах. Идея меры является далеко идущим обобщением первоначального представления о площади и объеме подмножеств R n. Естественные требования, предъявляемые к объему, таковы: объем

Подробнее

Свойства фейеровских отображений 1

Еремин ИИ ИММ УРО РАН Рудаков СА Рудакова ТН Челябинский государственный университет Введение Операция проектирования элемента на выпуклое замкнутое множество часто используется в математике особенно в

Подробнее

Искусственные нейронные сети

Искусственные нейронные сети К. В. Воронцов [email protected] Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» 6 мая 2010 Содержание

Подробнее

Глава 1. ИНТЕГРАЛЬНЫЕ УРАВНЕНИЯ

Глава 1 ИНТЕГРАЛЬНЫЕ УРАВНЕНИЯ Лекция 1 1 Введение Уравнение называется интегральным, если неизвестная функция входит в уравнение под знаком интеграла Разумеется, мы не будем рассматривать интегральные

Подробнее

Семинар 9. ММП, осень ноября

Семинар 9. ММП, осень 22 23 27 ноября Илья Толстихин [email protected] Темы семинара: Линейные методы классификации; SVM; Ядровая функция, ядровой переход. Решения домашнего задания Задача. Покажите,

Подробнее

Г. Н. Яковлев. Функциональные пространства

Г. Н. Яковлев Функциональные пространства УДК 517 Я47 Пособие содержит краткое введение в теорию метрических, нормированных и евклидовых пространств, а также в теорию обобщённых функций, и является заключительной

Подробнее

Machine Learning. Курс от Яндекса для тех, кто хочет провести новогодние каникулы с пользой

Новогодние каникулы – хорошее время не только для отдыха, но и для самообразования. Можно отвлечься от повседневных задач и посвятить несколько дней тому, чтобы научиться чему-нибудь новому, что будет помогать вам весь год (а может и не один). Поэтому мы решили в эти выходные опубликовать серию постов с лекциями курсов первого семестра Школы анализа данных.

Сегодня — о самом важном. Современный анализ данных без него представить невозможно. В рамках курса рассматриваются основные задачи обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на глубокое понимание математических основ, взаимосвязей, достоинств и ограничений рассматриваемых методов. Отдельные теоремы приводятся с доказательствами.

Читает курс лекций Константин Вячеславович Воронцов, старший научный сотрудник Вычислительного центра РАН. Заместитель директора по науке ЗАО «Форексис». Заместитель заведующего кафедрой «Интеллектуальные системы» ФУПМ МФТИ. Доцент кафедры «Математические методы прогнозирования» ВМиК МГУ. Эксперт компании «Яндекс». Доктор физико-математических наук.

Лекция 1. Основные понятия и примеры прикладных задач

• Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные.
• Типы задач: классификация, регрессия, прогнозирование, кластеризация.
• Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.
• Примеры прикладных задач.

Лекция 2. Байесовские алгоритмы классификации, непараметрические методы

• Вероятностная постановка задачи классификации. Основные понятия: априорная вероятность, апостериорная вероятность, функция правдоподобия класса.
• Функционал среднего риска. Ошибки I и II рода.
• Оптимальный байесовский классификатор.
• Оценивание плотности распределения: три основных подхода.
• Наивный байесовский классификатор.
• Непараметрическое оценивание плотности распределения по Парзену-Розенблатту. Выбор функции ядра. Выбор ширины окна, переменная ширина окна. Метод парзеновского окна.
• Непараметрический наивный байесовский классификатор.
• Робастное оценивание плотности. Цензурирование выборки (отсев объектов-выбросов).

Лекция 3. Параметрические методы, нормальный дискриминантный анализ

• Многомерное нормальное распределение: геометрическая интерпретация, выборочные оценки параметров: вектора математического ожидания и ковариационной матрицы.
• Квадратичный дискриминант. Вид разделяющей поверхности. Подстановочный алгоритм, его недостатки и способы их устранения.
• Линейный дискриминант Фишера.
• Проблемы мультиколлинеарности и переобучения. Регуляризация ковариационной матрицы.
• Метод редукции размерности.
• Модель смеси распределений.
• EM-алгоритм: основная идея, понятие скрытых переменных, Е-шаг, М-шаг. Конструктивный вывод формул М-шага (без обоснования сходимости).

Лекция 4. EM-алгоритм и сеть радиальных базисных функций

• Критерий останова, выбор начального приближения, выбор числа компонент.
• Стохастический EM-алгоритм.
• Смесь многомерных нормальных распределений. Сеть радиальных базисных функций (RBF) и применение EM-алгоритма для её настройки.
• Метод ближайших соседей (kNN) и его обобщения.
• Подбор числа k по критерию скользящего контроля.

Лекция 5. Метрические алгоритмы классификации

• Обобщённый метрический классификатор, понятие отступа.
• Метод потенциальных функций, градиентный алгоритм.
• Отбор эталонных объектов. Псевдокод: алгоритм СТОЛП.
• Функция конкурентного сходства, алгоритм FRiS-СТОЛП.
• Биологический нейрон, модель МакКаллока-Питтса.
• Линейный классификатор, понятие отступа, непрерывные аппроксимации пороговой функции потерь.

Лекция 6. Линейные алгоритмы классификации

• Квадратичная функция потерь, метод наименьших квадратов, связь с линейным дискриминантом Фишера.
• Метод стохастического градиента и частные случаи: адаптивный линейный элемент ADALINE, перcептрон Розенблатта, правило Хэбба.
• Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).
• Гипотеза экспоненциальности функций правдоподобия классов.
• Теорема о линейности байесовского оптимального классификатора.
• Оценивание апостериорных вероятностей классов с помощью сигмоидной функции активации.
• Логистическая регрессия. Принцип максимума правдоподобия и логарифмическая функция потерь.
• Метод стохастического градиента, аналогия с правилом Хэбба.

Лекция 7. Метод опорных векторов (SVM)

• Оптимальная разделяющая гиперплоскость. Понятие зазора между классами (margin). Случаи линейной разделимости и отсутствия линейной разделимости.
• Связь с минимизацией регуляризованного эмпирического риска. Кусочно-линейная функция потерь.
• Задача квадратичного программирования и двойственная задача. Понятие опорных векторов.
• Рекомендации по выбору константы C.
• Функция ядра (kernel functions), спрямляющее пространство, теорема Мерсера.
• Способы конструктивного построения ядер. Примеры ядер.
• Сопоставление SVM с гауссовским ядром и RBF-сети.

Лекция 8. Линейные методы классификации: обобщения и обзор

• Теоретические обоснования различных непрерывных функций потерь и различных регуляризаторов.
• Байесовский подход. Принцип максимума совместного правдоподобия данных и модели.
• Некоторые разновидности регуляризаторов, применяемые на практике. Квадратичный (L2) регуляризатор. L1- и L0- регуляризаторы и их связь с отбором признаков.
• Метод релевантных векторов.
• Сложностный подход. Радемахеровская сложность и некоторые её свойства. Верхняя оценка вероятности ошибки для линейных классификаторов.

Лекция 9. Методы восстановления регрессии

• Задача восстановления регрессии, метод наименьших квадратов.
• Одномерная непараметрическая регрессия (сглаживание): оценка Надарая-Ватсона, выбор ядра и ширины окна сглаживания.
• Многомерная линейная регрессия. Сингулярное разложение.
• Регуляризация: гребневая регрессия и лассо Тибширани.
• Метод главных компонент и декоррелирующее преобразование Карунена-Лоэва.
• Робастная регрессия: простой алгоритм отсева выбросов LOWESS.

Лекция 10. Прогнозирование временных рядов

• Аддитивная и мультипликативная модели временного ряда. Тренд, сезонность, календарные эффекты.
• Адаптивные модели: экспоненциальное сглаживание, модели Хольта-Уинтерса и Тейла-Вейджа.
• Скользящий контрольный сигнал и модель Тригга-Лича.
• Адаптивная селекция и композиция моделей прогнозирования.
• Примеры прикладных задач: прогнозирование трафика, числа посещений, объёмов продаж.

Лекция 11. Нейронные сети

• Структура многослойной нейронной сети. Функции активации.
• Проблема полноты. Задача исключающего или. Полнота двухслойных сетей в пространстве булевских функций.
• Алгоритм обратного распространения ошибок. Формирование начального приближения. Проблема паралича сети.
• Методы оптимизации структуры сети. Выбор числа слоёв и числа нейронов в скрытом слое. Постепенное усложнение сети. Оптимальное прореживание сети (optimal brain damage).

Лекция 12. Алгоритмы кластеризации

• Постановка задачи кластеризации. Типы кластерных структур.
• Графовые методы кластеризации: алгоритм выделения связных компонент, алгоритм ФОРЭЛ, функционалы качества кластеризации.
• Иерархическая кластеризация (таксономия): агломеративная иерархическая кластеризация, дендрограмма и свойство монотонности, свойства сжатия, растяжения и редуктивности.
• Статистические методы кластеризации: EM-алгоритм, метод k-средних.

Лекция 13. Методы частичного обучения

• Простые эвристические методы: особенности задачи SSL, метод self-training, композиции алгоритмов классификации.
• Модификация методов кластеризации: оптимизационный подход, кластеризация с ограничениями.
• Модификация методов классификации: трансдуктивный SVM, логистическая регрессия, Expectation Regularization.

Лекции 14-15. Композиции классификаторов. Бустинг (часть 1, часть 2)

• Композиция классификаторов: задачи обучения композиций, классический алгоритм AdaBoost, градиентный бустинг.
• Бэггинг и комитетные методы: бэггинг и метод случайных подпространств, простое и взвешенное голосование, голосование по старшинству.
• Смеси алгоритмов: идея областей компетентности, итерационный метод обучения смеси, последовательное наращивание смеси.

Лекция 16. Оценки обобщающей способности

• Задачи и критерии выбора метода обучения: задачи выбора модели или метода обучения, эмпирические оценки скользящего контроля, аналитические оценки и критерии регуляризации.
• Теория обобщающей способности: вероятность переобучения и VC-теория, бритва Оккама, комбинаторная теория переобучения.
• Методы отбора признаков: полный перебор и жадные алгоритмы, поиск в глубину и в ширину, стохастический поиск.

Лекция 17. Методы отбора признаков. Отбор признаков

• Сложность задачи отбора признаков. Полный перебор.
• Метод добавления и удаления, шаговая регрессия.
• Поиск в глубину, метод ветвей и границ.
• Усечённый поиск в ширину, многорядный итерационный алгоритм МГУА.
• Генетический алгоритм, его сходство с МГУА.
• Случайный поиск и Случайный поиск с адаптацией (СПА).

Лекция 18. Логические алгоритмы классификации

• Понятие закономерности и информативности: определения и обозначения, интерпретируемость, информативность.
• Методы поиска информативных закономерностей: жадный алгоритм, алгоритм на основе отбора признаков, бинаризация данных.
• Композиции закономерностей: решающий список, решающие деревья, голосование закономерносей, решающие леса.

Лекция 19. Логические алгоритмы классификации. Решающие деревья

• Решающий список. Жадный алгоритм синтеза списка.
• Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения.
• Редукция решающих деревьев: предредукция и постредукция.
• Преобразование решающего дерева в решающий список.
• Алгоритм LISTBB.
• Чередующиеся решающие деревья (alternating decision tree).
• Невнимательные решающие деревья (oblivious decision tree).
• Решающий лес и бустинг над решающими деревьями. Алгоритм TreeNet.

Лекция 20. Логические алгоритмы классификации. Взвешенное голосование

• Методы синтеза конъюнктивных закономерностей. Псевдокод: алгоритм КОРА, алгоритм ТЭМП.
• Эвристики, обеспечивающие различность и полезность закономерностей. Построение Парето-оптимальных закономерностей. Выравнивание распределения отступов.
• Применение алгоритма бустинга AdaBoost к закономерностям. Критерий информативности в бустинге.
• Примеры прикладных задач: кредитный скоринг, прогнозирование ухода клиентов.

Лекция 21. Поиск ассоциативных правил

• Методы синтеза конъюнктивных закономерностей. Псевдокод: алгоритм КОРА, алгоритм ТЭМП.
• Эвристики, обеспечивающие различность и полезность закономерностей. Построение Парето-оптимальных закономерностей. Выравнивание распределения отступов.
• Применение алгоритма бустинга AdaBoost к закономерностям. Критерий информативности в бустинге.
• Примеры прикладных задач: кредитный скоринг, прогнозирование ухода клиентов.

Лекция 22. Коллаборативные итерации

• Постановка задачи и приложения.
• Корреляционные модели, основанные на хранении данных, задача восстановления пропущенных значений функция близости.
• Латентные модели: бикластеризация и матричные разложения, вероятностные латентные модели, эксперименты из данных Яндекса.

Лекции 23-24. Тематическое моделирование (часть 1, часть 2)

• Задача тематического моделирования: вероятностная тематическая модель, униграммная модель.
• Тематические модели PLSA и LDA: вероятностная латентная семантическая модель, латентное размещения Дирихле, эмпирические оценки качества тематических моделей.
• Робастная вероятностная тематическая модель: модель с фоновой и шумовой компонентами, EM-алгоритм для робастной модели, разреженность робастной модели.

Лекция 25. Обучение с подкреплением

• Многорукий бандит: простая постановка задачи, жадные и полужадные стратегии, адаптивные стратегии.
• Динамическое программирование: полная постановка задачи, уравнение Беллмана.
• Метод временных разностей.

Update: все лекции курса «Машинное обучение» в виде открытой папки на Яндекс.Диске.

8 лекций, которые помогут разобраться в машинном обучении и нейросетях

Мы собрали интересные лекции, которые помогут понять, как работает машинное обучение, какие задачи решает и что нам в ближайшем будущем ждать от машин, умеющих учиться. Первая лекция рассчитана скорее на тех, кто вообще не понимает, как работает machine learning, в остальных много интересных кейсов.

Машинное обучение

Вводная лекция от кандидата физико-математических наук Дмитрия Ветрова. Ученый объясняет, как работает машинное обучение, что такое глубинное обучение и как устроены нейросети.

Математические методы прогнозирования объемов продаж

Другая лекция от ПостНауки — член Российской академии наук Константин Воронцов показывает частный пример применения методов машинного обучения в бизнесе. Математик объясняет, как его команда построила модель прогнозирования объемов продаж для крупной розничной сети.

Прекрасные и ужасные последствия самообучения компьютеров

Спикер TED, специалист по машинному обучению и CEO компании Enlitic Джереми Говард делает свои прогнозы о том, что произойдет, когда мы научим компьютеры учиться.

Как мы учим компьютеры понимать изображения

Еще одна лекция в рамках TED. Эксперт по компьютерному зрению Фей-Фей Ли описывает последние достижения машинного обучения, включая базу данных, содержащую 15 миллионов фотографий, которую создала её команда, чтобы научить компьютер понимать изображения.

Как мы обучаем технику не смотреть и слушать, а видеть и слышать?

Несмотря на первые 20 минут тишины, довольно бодрая лекция по глубинному обучению от теххаба KL10CH и инженера в области машинного обучения, компьютерного зрения и обработки сигналов в Исследовательского центра Samsung Дмитрия Коробченко. Для самых стойких и продвинутых.

И бонус для тех, кто настроен серьезно:

Recent Developments in Deep Learning

Лекция известного специалиста по искусственным нейросетям Джеффри Хинтона, прочитанная в Торонтском университете. Профессор Хинтон рассказывает об основных достижениях в области глубинного обучения.

Deep Learning, Self-Taught Learning and Unsupervised Feature Learning

Один из основателей Coursera, доцент Стэнфорда и специалист в области машинного обучения и робототехники Эндрю Ын объясняет тонкости обучения «с учителем» и без.

Machine Learning for Video Games

За пять минут на примере Марио вам расскажут, как машинное обучение применяется в разработке видеоигр.

Машинное обучение 1 — Wiki

Материал из Wiki — Факультет компьютерных наук

О курсе

Курс читается для студентов 3-го курса ПМИ ФКН ВШЭ в 1-2 модулях.

Проводится с 2016 года.

Лектор: Соколов Евгений Андреевич

Лекции проходят по пятницам, 11:10 — 12:30, в zoom (https://zoom.us/j/99855378374).

Полезные ссылки

Карточка курса и программа

Репозиторий с материалами на GitHub

Видеозаписи лекций 18/19 года

Почта для сдачи домашних заданий (на самом деле задания сдаются в AnyTask, но если он не работает, то присылайте на почту): hse.cs.ml+<номер группы>@gmail.com (например, [email protected])

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAFfULjTHLkANF7_vXQ

Чат в telegram для обсуждений (предназначение чата до конца не ясно, вопросы может быть правильнее задавать в чатах групп): https://t.me/joinchat/A5rlQBPIKyQ__z33y7hL9g

Ссылка на курс в Anytask: https://anytask. org/course/740

Таблица с оценками

Оставить отзыв на курс: форма

Вопросы по курсу можно задавать на почту курса, а также в телеграм лектору (esokolov@) или семинаристу.
Вопросы по материалам лекций/семинаров и по заданиям лучше всего оформлять в виде Issue в github-репозитории курса.

Семинары

Консультации

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

• Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций и семинаров
• Практические домашние работы на Python
• Письменная контрольная работа
• Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

Итог = Округление(0.15 * ПР + 0.4 * ДЗ + 0.15 * КР + 0.3 * Э)

ПР — средняя оценка за самостоятельные работы на семинарах

ДЗ — средняя оценка за практические домашние работы на Python

КР — оценка за контрольную работу

Э — оценка за экзамен

Округление арифметическое.

Правила сдачи заданий

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются. Даже при опоздании на одну секунду. Сдавайте заранее. Есть исключение: в течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён. Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Лекции

Ко всем конспектам на GitHub есть исходники. Исправления и дополнения всячески приветствуются!

Лекция 1 (4 сентября). Введение в машинное обучение. Основные термины, постановки задач и примеры применения. [Конспект] [Запись лекции]

Лекция 2 (11 сентября). Линейная регрессия. Метрики качества регрессии. Переобучение. [Конспект] [Запись лекции]

Лекция 3 (18 сентября). Регуляризация. Градиентное обучение. Оценивание градиента. [Конспект] [Запись лекции]

Лекция 4 (25 сентября). Линейная классификация. Отступ и верхние оценки на пороговую функцию потерь. Метрики качества классификации. [Конспект] [Запись лекции]

Лекция 5 (2 октября). Метрики качества классификации. [Конспект] [Запись лекции] [Ещё одна попытка объяснить площади под кривыми]

Лекция 6 (9 октября). Линейная классификация. Логистическая регрессия и оценки вероятности классов. [Конспект] [Запись лекции] [Дополнительная лекция]

Лекция 7 (16 октября). Многоклассовая классификация, сведение к бинарным задачам. Многоклассовая логистическая регрессия. Метрики качества многоклассовой классификации. [Конспект] [Запись лекции]

Лекция 8 (30 октября). Решающие деревья. Жадный алгоритм построения. Выбор лучшего разбиения с помощью критерия информативности. Критерии информативности для регрессии и классификации. Учёт пропусков в деревьях. Решающие деревья и категориальные признаки. [Конспект] [Запись лекции]

Лекция 9 (6 ноября). Бутстрап и бэггинг. Разложение ошибки на смещение и разброс (bias-variance decomposition). Случайный лес. Вычисление расстояний с помощью лесов. [Конспект] [Запись лекции]

Лекция 10 (13 ноября). Градиентный бустинг. Регуляризация. Особенности бустинга над деревьями. Взвешивание объектов в градиентном бустинге. [Конспект] [Запись лекции]

Лекция 11 (20 ноября). Оптимизация второго порядка в градиентном бустинге. Регуляризация деревьев. XGBoost. Стекинг. [Конспект]

Лекция 12 (27 ноября). Обучение без учителя. Кластеризация: метрики качества, K-Means, иерархический и графовый подходы. Визуализация, t-SNE. Обучение представлений. word2vec. [Конспект]

Лекция 13 (4 декабря). Метод главных компонент, его связь с матричными разложениями. Рекомендательные системы: постановка задачи, коллаборативные методы, матричные разложения, контентные методы. [Конспект]

Семинары

Семинар 1. Разведочный анализ данных в Python. [Ноутбук]

Семинар 2. sklearn и особенности подготовки данных для линейных моделей. [Ноутбук]

Семинар 3. Основы матрично-векторного дифференцирования. Градиентный спуск. [Справочная информация по NumPy] [Ноутбук по градиентному спуску] [Задачи на векторное дифференцирование]

Семинар 4. Работа с пропусками и выбросами. Методы кодирования категориальных признаков. Основы работы с текстовыми данными. [Конспект] [Ноутбук]

Семинар 5. AUC-ROC: алгоритм построения, интерпретации. Прямая оптимизация AUC-ROC. [Конспект]

Семинар 6. Оценивание вероятностей. Калибровка вероятностей. Квантильная регрессия. [Конспект]

Семинар 7. Решающие деревья. Критерии информативности, их особенности и интерпретации. [Конспект] [Ноутбук]

Семинар 8. Разложение ошибки на смещение и разброс. [Конспект]

Практические задания

За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются, но есть исключение. В течение семестра каждый студент может не более 2 раз сдать задание после жёсткого дедлайна — в этом случае за каждый день просрочки продолжает вычитаться по одному баллу (если не оговорено иное).

Задание 1. Pandas и распределение студентов ПМИ по элективам.

Мягкий дедлайн: 21.09.2020 04:59.

Жесткий дедлайн: 24.09.2020 23:59.

[Ноутбук с заданием]

Задание 2. Разведочный анализ данных, линейная регрессия и разработка признаков.

Мягкий дедлайн: 05.10.2020 02:59.

Жесткий дедлайн: 08.10.2020 23:59.

[Ноутбук с заданием]

Задание 3. Градиентный спуск и линейная регрессия своими руками.

Мягкий дедлайн: 19.10.2020 01:59.

Жесткий дедлайн: 22.10.2020 01:59.

[Файлы к заданию]

Задание 4. Линейная классификация.

Мягкий дедлайн: 02.11.2020 01:59.

Жесткий дедлайн: 05.11.2020 02:59.

[Ноутбук с заданием]

Задание 5. Решающие деревья своими руками.

Мягкий дедлайн: 18.11.2020 01:59.

Жесткий дедлайн: 22.11.2020 01:59.

[Файлы к заданию]

Теоретические домашние задания

Теоретические ДЗ не проверяются, но задачи из них могут войти в проверочные работы на семинарах.

Задание 1. Матрично-векторное дифференцирование [Условие]

Задание 2. Линейная регрессия [Условие]

Задание 3. Линейная классификация [Условие]

Соревнования

Правила участия и оценивания

В соревновании по анализу данных вам предлагается по имеющимся данным решить некоторую задачу, оптимизируя указанную метрику, и отправить ответы для заданного тестового множества. Максимальное количество посылок в сутки ограничено (как правило, разрешается сделать 2 посылки), ближе к концу соревнования вам будем необходимо выбрать 2 посылки, которые вы считаете лучшими. Тестовые данные делятся на публичные и приватные в некотором соотношении, на основе которых строятся публичный и приватный лидерборды соответственно, при этом публичный лидерборд доступен в течение всего соревнования, а приватный строится после его окончания для выбранных вами посылок.

В лидербордах каждого из соревнований присутствуют несколько базовых решений (бейзлайнов), каждое из которых соответствует определённой оценке. Например, для получения оценки не ниже 8 баллов необходимо, чтобы ваше решение на приватном лидерборде оказалось лучше соответствующего бейзлайна. Далее для студента, преодолевшего бейзлайн на N_1 баллов, но не преодолевшего бейзлайн на N_2 балла, итоговая оценка за соревнование рассчитывается по равномерной сетке среди всех таких студентов в зависимости от места в приватном лидерборде среди них; если быть точными, то по следующей формуле:

N_2 — (N_2 — N_1) * i / M,

где M — количество студентов (из всех студентов, изучающих курс), преодолевших бейзлайн на N_1 баллов, но не преодолевших бейзлайн на N_2 балла;

i — место (начиная с 1) студента в приватном лидерборде среди всех таких студентов.

Единственное исключение из формулы — студенты, преодолевшие самый сильный бейзлайн, получают прибавку 1/M к своей оценке.

Чтобы вас не пропустили при проверке решений соревнования, необходимо использовать следующий формат для имени команды (вкладка Team):

«Имя Фамилия номер_группы»

В течение 3 суток после окончания соревнования в соответствующее задание на anytask необходимо прислать код, воспроизводящий ответы для посылки, фигурирующей в приватном лидерборде. При оформлении кода предполагайте, что данные лежат рядом с ним в папке data, а в результате выполнения кода ответы должны быть записаны в файл solution-N-Username.csv, где N — номер соревнования, Username — ваша фамилия. У нас должна быть возможность запустить код и получить те же ответы, что и в вашей посылке, — в частности, это означает, что:

1. Если вы отправляете файл *.py, мы будем запускать его при помощи команды python *.py в вышеуказанном предположении о местонахождении данных.

2. Если вы отправляете ноутбук *.ipynb, мы последовательно запустим все ячейки ноутбука и будем ожидать в результате его работы формирование файла с ответами.

3. Если вы отправляете код с использованием другого языка программирования, в том же письме направьте нам инструкцию по его запуску с тем, чтобы получить тот же файл с ответами.

В случае отсутствия кода, воспроизводящего результат, в установленный срок студенту выставляется 0 в качестве оценки за соревнование. Студенты, попавшие в топ-5 согласно приватному лидерборду, смогут получить бонусные баллы, если в течение недели после окончания соревнования пришлют на почту курса отчет о получении решения, фигурирующего в приватном лидерборде. Если не оговорено иное, использовать любые внешние данные в соревнованиях запрещено. Под внешними данными понимаются размеченные данные, где разметка имеет прямое отношение к решаемой задаче. Грубо говоря, сборник текстов с википедии не считается внешними данными.

Бонусы за соревнования

За успешное участие в соревнованиях по анализу данных могут быть выставлены бонусные баллы, которые можно прибавить к оценке за любое практическое или теоретическое домашнее задание, а также за самостоятельную работу. Под успешным участием понимается попадание в топ-10% мест; если соревнование особо сложное и крупное, может рассматриваться и попадание в топ-20% мест. Конкретное число баллов определяется преподавателями и зависит от сложности соревнования и занятого места. За одно соревнование можно получить не более 5 баллов. Для получения оценки необходимо предоставить краткий отчёт о решении задачи.

Контрольная работа

Вопросы для подготовки с прошлого года

Экзамен

[Вопросы для подготовки с прошлого года]

Полезные материалы

Книги

• Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
• Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
• Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
• Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
• Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
• Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

Курсы по машинному обучению и анализу данных

Страницы предыдущих лет

2019/2020 учебный год

2018/2019 учебный год

2017/2018 учебный год

2016/2017 учебный год

Константин Вячеславович Воронцов. О науке о данных и машинном обучении

– Чем вы занимаетесь?
– Я занимаюсь наукой о данных, по-английски Data Science. Это раздел информатики, изучающий способы переработки данных, собираемых и накапливаемых с помощью компьютеров, в полезные людям знания, прогнозы, решения. Науки о данных охватывают как относительно старые дисциплины — прикладную статистику, анализ сигналов, прогнозирование, распознавание образов, так и более новые — компьютерное зрение, машинное обучение, глубокое обучение, data mining (добыча знаний из данных), business intelligence (интеллектуальные системы для бизнеса).

– Всё чаще приходится слышать слова «машинное обучение» и «глубокое обучение». Это одно и то же, и если нет, то в чём отличия?
– Машинное обучение (machine learning) — это обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться по данным. Глубокое обучение (deep learning) — это узкая подобласть машинного обучения, в которой изучаются и применяются недавно открытые новые методы обучения искусственных нейронных сетей. Искусственные нейронные сети основаны на принципе работы человеческого мозга. Процессы обработки информации в нашем мозге похожи на параллельные вычисления. Еще в пятидесятые годы были созданы достаточно успешные математические модели, имитирующие работу нейронов головного мозга. Долгое время ученые считали, что двух-трёх слоёв нейронов достаточно, чтобы воспроизвести вычисления любой сложности, и даже работу биологической нейросети. Однако по скорости реакции человека можно оценить, что в обработке сигналов участвуют в среднем 10–15 слоев. Видимо, природа не спроста так распорядилась. С развитием технических возможностей модель усовершенствовали, и оказалось, что многослойные сети действительно работают лучше. Это открытие и привело к появлению глубокого обучения.

– Где применяют машинное и глубокое обучение?
– Глубокое обучение применяют для решения задач, в которых изначальные данные обладают сложной структурой. Это могут быть изображения, тексты, сигналы, которые нужно преобразовать в удобный для машины вид. Появление глубоких сетей улучшило качество распознавания зрительных образов скачком на 10–15% и сделало его сопоставимым с человеческим зрением. До этого компьютерное зрение улучшалось на доли процента в год ценой огромных усилий всего научного сообщества. Теперь технические устройства могут распознавать надписи, номерные знаки, окружающие предметы, лица людей. Летательные аппараты, наделенные компьютерным зрением, могут распознавать, что за объекты расположены внизу.

В то же время остаётся огромное число приложений, где не требуется сложной предварительной обработки данных и вполне можно обойтись обычными методами машинного обучения. Они работают с четко формализованной информацией, когда каждый объект реального мира описывается набором признаков — мы его называем вектором признаков. Машинное обучение используется в самых разных областях: для постановки медицинских диагнозов, принятия решений о выдаче кредита, поиска месторождений полезных ископаемых, прогнозирования момента выхода оборудования из строя. Поисковые, рекомендательные и рекламные системы в Интернете работают на машинном обучении. Огромное множество бизнес-задач у торговых сетей, банков, сотовых операторов решается с помощью машинного обучения. Анализ накопленных данных о всех действиях клиентов позволяет привлекать новых клиентов, формировать индивидуальные предложения, предсказывать уход клиентов.

– Как вы пришли в профессию?
– Мне всегда хотелось заниматься математическим моделированием и программированием. Вуз и кафедру я выбирал таким образом, чтобы совместить эти два увлечения и в дальнейшем иметь возможность заниматься чем угодно, где применяется математика. Поэтому я поступил в МФТИ на факультет управления прикладной математики. После второго курса, когда надо было выбирать кафедру, я выбрал ту, на которой, как мне показалось, самый широкий спектр прикладных задач, и попал в Вычислительный центр Российской академии наук.

Позже я узнал, что этот принцип — оставлять себе максимальную свободу выбора для принятия последующих решений — в философии называется принципом неокончательных решений Габора. Любопытно, что он также применяется в некоторых алгоритмах машинного обучения.

Вообще, это очень красивая и заманчивая идея, что одна и та же математика может использоваться в медицине, биологии, геологии, социологии, бизнесе. Никогда не знаешь, чем будешь заниматься через три года. Можно менять вид деятельности, оставаясь компетентным специалистом с большим опытом работы. Например, сейчас я занимаюсь анализом текстов, компьютерной лингвистикой. Если бы мне пять лет назад об этом сказали, я бы не поверил.

– Какое образование нужно получить, чтобы стать специалистом в машинном обучении?
– Главное — любить математику, программирование и компьютерные технологии. Ещё очень важно быть в душе исследователем, то есть интересоваться, как устроен мир. Любая задача машинного обучения — это прежде всего математическое моделирование какой-то конкретной предметной области, в которой вам должно быть не противно разбираться, причём делать это надо быстро и глубоко.

Машинное обучение, и в особенности глубокое обучение, сейчас на пике популярности. Но я бы не рекомендовал ограничиваться только этим. Популярность приходит и уходит, да и не каждую задачу удобно решать с помощью глубокого обучения. Важно уметь подобрать метод под задачу, а не подходить к любой задаче со своим универсальным молотком. Можно увлекаться последними научными трендами, но широта кругозора важнее.Чтобы стать специалистом по Data Science, нужно хорошо знать такие разделы математики, как теория вероятностей, математическая статистика, методы оптимизации, линейная алгебра, структуры данных и алгоритмы. Из информатики понадобятся технологии баз данных, параллельные и распределенные вычисления, язык программирования Python. Для работы в области нейронных сетей пригодятся базовые знания нейрофизиологии.Из московских вузов я бы порекомендовал МФТИ, факультет вычислительной математики и кибернетики МГУ, в частности, кафедру математических методов прогнозирования, которая давно занимается машинным обучением. Хорошее высшее образование можно получить и на факультете компьютерных наук в НИУ ВШЭ, созданном совместно со Школой анализа данных «Яндекса». Из учебных заведений Санкт-Петербурга я бы выделил ИТМО и СПбГУ.

– Какие компетенции необходимы специалисту по машинному обучению?
– Быть «универсальным солдатом» анализа данных означает уметь многое: формализовать требования заказчика, разобраться в специальной литературе, найти и применить стандартные методы, при необходимости изобрести свои, более «заточенные» под задачу, внедрить, протестировать, найти ошибки, вернуться в самое начало, чтобы их исправить, и так несколько раз по кругу. Это сценарий типичного проекта по анализу данных. Если ты умеешь что-то одно из этого, то ты простой исполнитель. Если ты прошёл весь круг много раз и умеешь работать с людьми, то ты готов управлять такими проектами.

Мне кажется, что главное не в компетенциях. Анализ данных — это творческая работа, способная доставлять удовольствие. Меня в свое время заворожила возможность заставить компьютер делать то, что я хочу, и так я увлёкся программированием. Когда профессия совпадает с хобби, компетенции нарабатываются очень быстро.

– Будут ли специалисты по Data Science востребованы в ближайшем будущем?
– Сегодня мы видим настоящий «бум» Data Science. Это связано с тем, что уже пару десятилетий компьютеры повсеместно собирают данные. Закономерно встал вопрос, что с этими данными можно сделать. Как из них извлечь пользу для бизнеса, производства, науки? Неудивительно, что специалисты по молодой дисциплине Data Science, умеющие использовать данные для получения полезных знаний и создания автоматических систем, сейчас очень востребованы. Чем более «компьютеризированной» будет наша жизнь, тем больше людей будут заниматься анализом данных. Это профессия будущего.

Кроме того, мы ещё не знаем всех возможностей искусственного интеллекта. Нас наверняка ожидают новые прорывы, похожие на тот, что уже случился в компьютерном зрении. Например, в 2016 году произошёл взрыв интереса к чат-ботам (виртуальным собеседникам — прим. сайта). На мой взгляд, это перегретые ожидания, и вместо разговорного интеллекта мы пока видим его имитацию. Однако, когда сотни тысяч умных людей по всему миру с энтузиазмом берутся разрабатывать модное научное направление, из этого иногда выходит толк.

– Если специалисту по машинному обучению захочется попробовать себя в другой области, куда он может пойти работать?
– Специалист по анализу данных всегда работает на стыке с какой-нибудь другой областью. Это может быть медицина, геология, финансы, связь, транспорт, промышленное производство, социология, маркетинг, да что угодно! Можно проработать несколько лет в одной области и там остаться. Иногда я наблюдаю противоположную картину. Люди других профессий начинают увлекаться анализом данных и машинным обучением, когда видят, какие огромные возможности оно открывает.

– Существуют ли кружки, где школьники могут получить практические знания по машинному обучению?
– С каждым годом у подростков появляется все больше возможностей «попробовать» будущую профессию. Этим летом я преподавал в проектной смене Образовательного центра Сириус. Центр принимает детей 10–17 лет. Мы со школьниками занимались анализом электрокардиограмм (записей биоэлектрической активности сердца — прим. сайта) для медицинской диагностики. Многие реальные задачи анализа данных возможно упростить до доступного детям уровня математики и программирования. У ребят появляется огромный энтузиазм, когда они видят, что это настоящее дело, что оно нужно людям. Мы ставили задачу в виде конкурса, соревновательной игры, и это тоже понижало входной барьер. Конкурс по анализу данных становится точкой входа в предметную область, например, в медицину. Это какой-то совершенно новый элемент в школьном образовании. Тут есть над чем вместе подумать учёным и педагогам.

В Москве школьники могут присоединиться к малому ШАДу — школе анализа данных для старшеклассников, организованной компанией «Яндекс». Кроме того, школьник может принять участие в различных конкурсах по анализу данных.

– Что представляют собой конкурсы по анализу данных?
– Различные компании выкладывают свои наборы данных и ставят задачу, например, повысить точность прогнозов, а любой желающий может предложить свое решение. Такие конкурсы существуют уже более 10 лет, большинство из них проводится на платформе Kaggle (kaggle.com). Практически всегда победителю конкурса полагается денежный приз. Помимо вознаграждения, победы в соревнованиях дают важную строчку в резюме. Для начала не обязательно глубоко разбираться в машинном обучении, достаточно овладеть несколькими приёмами. Опыт и знания придут со временем.Один из первых конкурсов в 2006 году организовала американская компания Netflix, занимающаяся прокатом видео через интернет. На тот момент 70% ее выручки приходилось на персональные предложения фильмов через сайт. Предложения формировались с помощью машинного обучения, и компания хотела повысить качество своих рекомендаций на 10%. Они назначили приз в один миллион долларов — это был первый конкурс со столь крупной суммой. В течение трех лет на Netflixprize.com соревновались лучшие специалисты со всего мира. Это оказалась весьма выгодно для компании, ведь за миллион она не смогла бы нанять такую армию профессионалов. Успешный опыт Netflix потянул за собой череду конкурсов, с тех пор их популярность постоянно растёт.

Конкурсы по анализу данных могут служить не только для поиска новых бизнес-решений, но и способствовать популяризации науки среди школьников и студентов. Мы уже работаем над созданием ресурса, на котором компании и университеты могли бы выкладывать свои задачи в форме конкурсов анализа данных, сопровождая их просветительскими и обучающими материалами. Компания Kaggle выкладывает довольно скупые описания задач, рассчитанные на профессионалов. Нам хотелось бы сместить этот акцент, чтобы любой желающий мог разобраться в задаче и поучаствовать в её решении. Это даст школьникам и студентам шанс позаниматься реальным делом, порешать проблемы на переднем крае науки и технологий и получить входной билет в интересную профессию.

– Есть ли у вас какая-либо ролевая модель? Про кого школьникам было бы полезно узнать?
– Какой-то одной модели нет. Было много людей, которые воодушевляли. Одним из первых был Учитель моего Учителя, академик Юрий Иванович Журавлёв. Когда я был студентом Физтеха, он рассказывал нам, как в 60-е годы ему досталась задача о прогнозировании месторождений золота на территории СССР. Задача выглядела совершенно «гиблой» с точки зрения математической статистики тех лет — построить функцию в 150-мерном пространстве по 17 точкам. Тогда было придумано оригинальное решение, используемое в машинном обучении по сей день. И были найдены два месторождения, ровно там, где указал алгоритм. Когда я попал к Журавлёву в отдел, он нам «по секрету» рассказал, что для геологов не менее важным оказался способ табличного представления данных, который привнесли математики. Когда данные были упорядочены и систематизированы, геологи стали замечать в них закономерности без всяких компьютерных вычислений. Мы привыкли к банальной истине, что математика — это универсальный язык, способный навести порядок в любой сложной области. Но когда тебе показывают, как это происходит в каждом конкретном случае, это всегда ярко и неожиданно. Открытия часто происходят не там, где их ожидают.

Очень рекомендую найти мемуарную литературу про научные школы Михаила Моисеевича Бонгарда в ИППИ АН СССР и Марка Ароновича Айзермана в ИПУ АН СССР. Это были выдающиеся учёные и организаторы, увлечённые идеями кибернетики и создания искусственного интеллекта. Удивительна атмосфера искреннего научного поиска, которую им удавалось поддерживать в своих коллективах. Вряд ли я смогу передать это в двух словах — надо читать воспоминания людей, которые работали вместе с ними.

Из современных зарубежных учёных рекомендую обратить внимание на работы Джеффри Хинтона — специалиста по нейронным сетям и глубокому обучению. Это ученый с мировым именем, один из создателей этого направления. Также я рекомендую школьникам обратить внимание на выступления и лекции гуру машинного обучения, главы кембриджского департамента Microsoft Research Кристофера Бишопа. По его учебникам учатся в ведущих университетах мира. Его научно-популярные лекции — это настоящие шоу. Он иллюстрирует многие концепции компьютерных наук столь же наглядно, как физические или химические опыты. У него есть короткие видеолекции, предназначенные для школьников.

– Что вы могли бы посоветовать почитать или посмотреть школьникам, заинтересовавшимся машинным обучением?
– Я бы порекомендовал посмотреть видеолекции малого ШАДа. У них замечательный материал, который будет полезен школьникам.

Недавно в издательстве «Манн, Иванов и Фербер» вышла популярная книга довольно известного учёного Педро Домингоса «Верховный алгоритм». В ней нет формул, но есть огромное количество примеров того, как машинное обучение входит в нашу жизнь. Кажется, ему удалось сделать невозможное — книга будет интересна и школьнику, и бизнесмену, и профессионалу в области анализа данных.

К.Воронцов: главная

Машинное обучение, интеллектуальный анализ данных, прикладная статистика, комбинаторика.

Внутреннее машинное обучение: теория вычислительного обучения, ансамбли, совместная фильтрация.

Использует / Борис Воронцов

Кто вы и чем занимаетесь?

Меня зовут Борис Воронцов. Я программист графики и разработчик модов, в основном занимаюсь улучшением игр, добавлением новых функций и т. Д. Моя текущая работа включает графику, оптимизацию и небольшое программирование для тактической RTS-игры TBA. В качестве хобби я модифицирую игровую графику с помощью проекта ENBSeries.

Какое оборудование вы используете?

Мое оборудование — трехъядерный процессор Athlon (2,9 ГГц) с оперативной памятью DDR2 3 Гбайт; Видеокарта GeForce 9600 GT; Звуковая карта X-FI Xtreme Music; 6 жестких дисков Hitachi по 1 ТБ каждый (для резервного копирования и хранения файлов), два диска Samsung и один WD Caviar Black для ОС, подкачки и программного обеспечения. Блок питания Corsair HW620 и модифицированный корпус Thermaltake M9 для снижения шума и улучшения воздушного потока. Шумоподавляющие устройства и кулеры от Scythe.

Мой дисплей — профессиональный ЭЛТ высокого разрешения, потому что я ненавижу качество изображения и различные артефакты современных мониторов.У меня их два, но второй почти не пользуюсь.

Моя мышь — A4 WOP-35, которая значительно помогает уменьшить количество движений с помощью дополнительного колеса прокрутки и двух очень больших кнопок. Я попытался приобрести еще несколько, даже более дорогую игровую модель, но они мне не лучше. Моя клавиатура — это классический Mitsumi, а для игр я использую геймпад Xbox 360. Для создания текстур или рисования я использую дешевый планшет Wacom. Для звука наушники Philips SHP8500.

А софт какой?

Моя ОС — Windows XP.При моих текущих настройках мне не нужна новейшая операционная система, и я предпочитаю XP, потому что могу работать с закрытыми глазами. Мне было больно переходить с Win98 на WinXP — все мое программное обеспечение — это старые версии с их классическими интерфейсами, так как все они имеют необходимые для меня функции.

MS Visual C ++ для программирования. Adobe Photoshop и Corel Painter для рисования и редактирования изображений. 3DS Max, 3D Coat и Mudbox для моделирования и рендеринга. Для музыки и звука используйте Cakewalk Sonar и Sound Forge с множеством плагинов.Программное обеспечение для редактирования видео — VirtualDub — я редко использую Adobe Premiere и функции 3DS Max. Другими полезными инструментами являются Beyond Compare, EmEditor и несколько от NVidia.

Моя программа просмотра изображений — ACDSee. Видеоплееры — это KMPlayer, Media Player Classic и CrystalPlayer. И Windows Media Player для прослушивания музыки.

Для Интернета я использую Virtual PC с образом WinXP. Браузеры — это FireFox и Chrome. Мессенджер — ICQ.

О чем вы мечтаете?

Однозначно андроид — человек, а не гугловский.Или компьютер, управляемый разумом, был бы прекрасен. Очень надеюсь увидеть это, прежде чем я умру.

Меня интересуют устройства слежения со шлемом виртуальной реальности, и я хочу создать некоторые дополнения для программного обеспечения для 3D-моделирования, которые позволят мне создавать модели в виртуальном 3D-пространстве с помощью моих рук. К сожалению, такое оборудование стоит неоправданно — проще нанять 100 моделистов.

Профессиональная цифровая камера, такая как Canon EOS. Я люблю фотографировать, но лучше подождать, когда у меня будет достаточно свободного времени, и купить новейшую модель, верно? Может быть, на рынке появится модель захвата HDR — терпеливо жду.

консолей PS3 и Xbox 360 для эксклюзивных игр. Но у меня нет времени играть, так что покупать их вообще нет смысла, что печально.

У меня старое оборудование, и я пока не хочу его обновлять, потому что разница в производительности слишком мала. Мне нужен достаточно быстрый процессор для эмуляции игр PS2 с измененной графикой. У некоторых из них очень красивые модели и текстуры, но шедевры с плохим качеством изображения консоли PS2 на телевизоре не разыграть. Даже новейшие разогнанные процессоры Intel не достаточно быстры — мне просто нужно немного подождать.

Xbox 360, PS3 или набор разработчика Wii для разработки игр для консолей.

Лекция 9. Мировоззрение

Статья о Воронцовых из The Free Dictionary

— русский дворянский род, многие представители которого занимали высокие государственные и дипломатические должности.

Роман Илларионович Воронцов . Родился 17 (28) июля 1707 г .; умер 30 ноября (12 декабря) 1783 г. Государственный деятель; сенатором с 1760 г. Он выступал за политику шляхетской монополии на владение землей и крепостных и развитие дворянского предпринимательства. Его репутация вымогателя принесла ему прозвище «Римский большой карман».

Воронцов Михаил Илларионович . Родился 12 (23) июля 1714 г .; умер 15 (26) февраля 1767 года. Государственный деятель и дипломат; брат Романа Илларионовича Воронцова.Он сыграл активную роль в дворцовой революции 25 ноября 1741 г., которая привела на престол Елизавету Петровну. В 1744 году он стал графом и вице-канцлером. Он выступал за союз с Францией. Будучи канцлером с 1758 по 1762 год, Воронцов был вынужден уйти в отставку в 1763 году, потому что он был сторонником свергнутого Петра III.

Воронцов Александр Романович . Родился 4 (15) сентября 1741 г .; умер 2 (14) декабря 1805 г. государственный деятель и дипломат; сын Романа Илларионовича Воронцова.В 1761 году он был поверенным в делах в Вене; в 1762-64 гг. он был полномочным представителем в Англии, а с 1764 по 1768 г. — в Голландии. С 1773 по 1794 год Воронцов был президентом Торгово-промышленной коллегии и членом Торгово-промышленной комиссии. Он проводил протекционистскую политику, благоприятную для российской экспортной торговли. В 1779 г. он стал сенатором и участвовал в заключении очень важных договоров с Францией (1786 г.) и Швецией (1790 г.), а также Ясского мира с Турцией (1791 г.). Воронцов ушел в отставку с государственной службы во время правления Павла I, но вернулся в качестве канцлера с 1802 по 1804 год.Он выступал за разрыв с Наполеоном I и создание антифранцузской коалиции, за сближение с Англией. Друг А. Н. Радищева, Воронцов помогал семье последнего после ареста.

Семен Романович Воронцов . Родился 15 (26) июня 1744 г .; умер 1832. Граф, дипломат, государственный деятель; сын Романа Илларионовича Воронцова и брат А.Р. Воронцова. В 1782 году он стал послом в Венеции, а в 1784 году — в Лондоне. Он проводил политику укрепления экономических и политических связей с Англией.В 1800 году ухудшение отношений с Англией вынудило Воронцова временно уйти в отставку; однако вернулся на государственную службу в 1801 году при Александре I. Воронцов вышел на пенсию в 1806 году.

СПИСОК ЛИТЕРАТУРЫ

Архив князя Воронцова , тт. 1-40. Москва, 1870-95. (См. Роспис томов . СПб, 1897.)
Бантыш-Каменский, Д. Н. Словарь достопамятных людей русской земли , часть 1. Москва, 1836.
Рябинин, Д. Д. Гр. Воронцов С.Р. [Биография]. Русский архив , 1879, №№. 1-4.
Заозерский, А.И. «А. Р. Воронцов: К истории быта и нравов XVIII в. » В Исторические записки , т. 23. [Москва] 1947.

Большая Советская Энциклопедия, 3-е издание (1970-1979). © 2010 The Gale Group, Inc. Все права защищены.

Тема 6. Основные концепции и направления неклассического и постнеклассического этапов истории и философии науки (2 часа)

Цель лекции: критический анализ основных концепций неклассического и постнеклассический этап развития науки.

План:

1. Эпистемология неокантианства: школы Бадена и Марбурга.

2. Позитивистская традиция в философии науки.

3. Постмодернизм и наука.

Основные понятия: эпистемология неокантианства, социогуманитарное знание, позитивизм, постмодернизм.

Эпистемология неокантианства: школы Бадена и Марбурга. Неокантианство — направление немецкой философии второй половины XIX — начала XX веков.Центральным лозунгом неокантианцев было «Назад к Канту!» Сформулирован Отто Либманом в «Канте и подражателях» (1865) в условиях кризиса философии и моды на материализм.

Неокантианство отличает баденскую школу (Фрайбург, юго-запад), сосредоточенную на вопросах ценностей и методологии гуманитарных наук, и марбургскую школу, в первую очередь занимающуюся логическими и методологическими вопросами естественных наук.

Баденская школа неокантианства связана с именами Вильгельма Виндельбанда (1948-1915) и Риккерта (1863-1939), которые разрабатывали в основном вопросы, связанные с методологией гуманитарных наук.

Идеи Риккерта и Виндельбанда оказали большое влияние на формирование понимания социологии Макса Вебера, на развитие современной американской социологической мысли, на общую эволюцию методологии исторических наук.

Знаменитая неокантианская марбургская школа, на протяжении десятилетий ставшая центром притяжения философов разных стран, создана профессором Германом Коэном из Марбургского университета. Ключевой тезис марбургской школы заключался в том, что все новейшие открытия в науке и характер современной исследовательской деятельности являются неопровержимым свидетельством активной созидательной роли человеческого разума во всех сферах жизни.Разум, которым наделен человек, не отражает мир, а, наоборот, создает его. Он создает связь и порядок в доселе бессвязном и хаотическом существовании. Без его упорядочивания творческой деятельности мир превращается в ничто, в темное и безмолвное забвение. Разум — это врожденный человеческий свет, который, как прожектор, освещает вещи и процессы в мире, придавая им логику и смысл. «Само по себе мышление, — писал основатель марбургской школы Герман Коэн, — может произвести то, что можно назвать бытием».

Историческая и актуальная ценность эвристики неокантианства состоит в том, что он внес значительный вклад в современную эпистемологию, философию науки, методологию социогуманитарного знания, философию языка, миф, философию культуры.

Позитивистская традиция в философии науки. Позитивизм — философское направление XIX-XX веков, которое подчеркивает надежность и ценность положительного научного знания по сравнению с другими формами духовной деятельности, предпочитает эмпирические методы познания и указывает на ненадежность и ненадежность теоретических построений.В своем развитии позитивизм сделал четыре шага, сохранив при этом некоторые из основных черт, которые позволяют говорить о нем как о едином направлении философской мысли.

Основоположником позитивизма был Огюст Конт (1798-1857), сформулировавший в своей программе «Курс позитивной философии» и «Дух позитивной философии» основные положения позитивизма. Идеологическое кредо первой формы позитивизма — прогресс и порядок.

Эти черты сохранились во втором позитивизме, получившем широкую популярность в научном сообществе в конце XIX — начале XX веков.Лидерами позитивизма в этот период являются австрийский физик и философ Эрнст Мах и швейцарский философ Рихард Авенариус, давшие новую форму позитивизма, названную «махизмом» или «эмпириокритицизмом». Разница между этими этапами состоит в том, что основная задача философии состоит не в построении целостной системы научного знания, а в создании теории научного познания.

Третий всплеск интереса к позитивизму проявился в начале XX века, когда сформировался и быстро завоевал широкую популярность нео, или логический позитивизм.Его отличительная особенность состоит в том, что при базовой установке позитивистской философии широко используется аппарат математической логики для постановки и решения философских проблем. Наиболее известные представители логического позитивизма: Бертран Рассел (1872-1970) — английский философ, логик, математик, считавший, что к любой философской проблеме нужно подходить с точки зрения ее анализа с помощью математической логики и Людвиг Витгенштейн (1889-1951) ) — автор «Логико-философского трактата» и других.

На смену методологии нео пришло новое направление в философии — постпозитивизм. Постпозитивизм в развитии научного познания методологии был представлен трудами таких философов, как Карл Поппер (1902–1994), Томас Кун (1922–1996), Имре Лакатос (1922–1974) и др. Разнообразие концепций философии науки, разработанных в рамках постпозитивизма, вызвало множество новых проблем. Это привело к осознанию безнадежности общепринятой теории, описывающей структуру и развитие науки.Это обстоятельство повлияло на завершение следующего этапа философии позитивизма — постпозитивизма.

Сегодня пост-позитивизм во многом утратил свое былое значение. Это связано с тем, что создание общепринятой теории развития науки застопорилось. Проведя дискуссии, содержащие в себе постпозитивизм множество противоречивых точек зрения, он еще раз показал плюралистический характер философского знания.

Постмодернизм и наука. С 70-х годов ХХ века на смену постнеклассической науке пришла неклассическая наука. Это новый тип знания, который принципиально отличается от классической науки и современной науки. Для него характерно рост субъективизма, гуманизма, самокритики и пересмотр его классических черт, таких как объективность и правдивость.

В классическом стиле научного познания внимание исследователя сосредотачивается на характеристиках объекта при устранении всего, что имеет отношение к предмету.Неклассическая рациональность учитывает соотношение характеристик объекта познания и средств, используемых субъектом. Постнеклассический тип соотносит знания об объекте не только со средствами, но и с целевыми настройками познающего субъекта.

Соотношение постмодернизма и современной науки было установлено Лиотаром (1979). Сегодня очевидны параллели между постнеклассической наукой с ее неопределенностью, неполнотой, непроверяемостью и фундаментальными методологическими принципами постмодернизма.«Современный» мир, включая социальный мир, организован категориями детерминизма, универсальности, определенности и направленности развития. Постмодернистская социальная теория использует категорию неопределенности, нелинейности, многовариантности. Это примирение с плюралистической природой мира и его неизбежными последствиями, а также случайной амбивалентностью человеческого существования.

Synergy дает вам своего рода «естествознание», узаконивает идеи постмодернизма. Их ответ способствует установлению нового мира, новой методологии познания, ускорению краха классических этапно-линейных моделей истории, развитию новых подходов к ней как принципу открытости, изменчивости, альтернативных процессов, необходимых для принятия «выбор».

Лекция 3. Основы артикуляции

Изучение идентичных звуков в разных языках показывает, что они произносятся по разным приемам, характерным только для этих языков. Другими словами, в каждом языке есть некоторые характерные артикуляционные тенденции, которые определяют положение и движение артикуляторов. Эти тенденции составляют артикуляционной основы языка.

Термин основание артикуляции был впервые введен в 1906 году выдающимся британским фонетиком Х.А. Сладкий и позже послужил толчком к развитию преподавания иностранного языка в связи с преподаванием иностранного произношения. В самом широком смысле артикуляционная основа рассматривается как единица общего, традиционно установленная в языковых тенденциях в положении и движении артикуляторов в момент разговора и в состоянии покоя. Эти тенденции характерны для всех носителей языка и являются основой всех или большей части артикуляционных жестов.

В истории языкознания был период, когда основой артикуляции считалось наследуемое имущество человека в зависимости от его национальности. Однако антропологи доказали, что принципиальной разницы в механизме артикуляторов у людей разных национальностей нет. Более того, они заявили, что мужчина владеет языком социальной среды, в которой его учили говорить, независимо от его происхождения. В более поздние периоды артикуляционная основа была связана не с механизмами артикуляторов, а с особенностями фонологической системы языка.

Артикуляционные основы несестринских языков, как правило, сильно различаются, поэтому всем изучающим иностранные языки необходимо знать особенности артикуляционных основ не только родного, но и изучаемого языка, чтобы научиться их речь больше соответствует принятым стандартам произношения.

Как известно, интерференция родного языка проявляется на всех уровнях фонетической системы и затрагивает такие составляющие, как слог, ударение и интонация.Поэтому некоторые лингвисты вводят более широкий термин фонетическая основа , который включает просодическую основу вместе с артикуляционную основу . Фонетическая основа понимается как комплекс тенденций произношения, наиболее часто встречающихся в речи и воспринимаемых как общая окраска. Артикуляционная основа в этом случае является частью фонетической основы. Различают два аспекта артикуляционной основы: статический и динамический .

Статический аспект артикуляционной основы представляет рабочее положение основных органов речи; это артикуляционная установка , т.е. привычное и постоянное положение артикуляторов, сохраняемое в момент разговора и в состоянии покоя. Артикуляционная позиция представляет собой позицию речевых органов, которая обеспечивает наиболее быстрое и естественное выполнение определенных артикуляционных жестов.

Динамический аспект артикуляционной основы проявляется в специфическом характере смены звуков в пределах одного слога и на стыках слогов (слов).

:

.