Презентация нейронные сети: Презентация по биологии на тему «Нейронные сети»

2905 0 объект
>
endobj
3364 0 объект
>
ручей
HU} Lg  \ ~ x9 * ӂ3NAtl
utΏ`I2t1Ą, ̸Yc9ЕiW, h * X1fv) Iy {

% PDF-1.7
%
723 0 объект
>
endobj

xref
723 118
0000000016 00000 н.
0000003917 00000 н.
0000004214 00000 н.
0000004241 00000 п.
0000004294 00000 н.
0000004330 00000 н.
0000005025 00000 н.
0000005195 00000 н.
0000005353 00000 п.
0000005515 00000 н.
0000005647 00000 н.
0000005779 00000 н.
0000005912 00000 н.
0000006045 00000 н.
0000006178 00000 н.
0000006311 00000 н.
0000006436 00000 н.
0000006577 00000 н.
0000006725 00000 н.
0000006851 00000 н.
0000006991 00000 п.
0000007133 00000 п.
0000007286 00000 н.
0000007442 00000 н.
0000007596 00000 н.
0000007764 00000 н.
0000007899 00000 н.
0000007978 00000 н.
0000008055 00000 н.
0000008135 00000 н.
0000008214 00000 н.
0000008293 00000 п.
0000008372 00000 п.
0000008451 00000 п.
0000008530 00000 н.
0000008609 00000 н.
0000008687 00000 н.
0000008765 00000 н.
0000008843 00000 н.
0000008921 00000 н.
0000008999 00000 н.
0000009077 00000 н.
0000010236 00000 п.
0000010578 00000 п.
0000010928 00000 п.
0000011170 00000 п.
0000011628 00000 п.
0000011731 00000 п.
0000019265 00000 п.
0000019844 00000 п.
0000020240 00000 п.
0000020347 00000 п.
0000023726 00000 п.
0000027460 00000 п.
0000027861 00000 п.
0000028877 00000 п.
0000029125 00000 п.
0000032054 00000 п.
0000032426 00000 п.
0000032808 00000 п.
0000033561 00000 п.
0000033847 00000 п.
0000040529 00000 п.
0000040963 00000 п.
0000041337 00000 п.
0000041687 00000 п.
0000043582 00000 п.
0000044043 00000 п.
0000044446 00000 п.
0000044662 00000 п.
0000047413 00000 п.
0000049751 00000 п.
0000049913 00000 н.
0000050385 00000 п.
0000050586 00000 п.
0000054762 00000 п.
0000055110 00000 п.
0000055478 00000 п.
0000057680 00000 п.
0000059774 00000 п.
0000061975 00000 п.
0000064389 00000 п.
0000065422 00000 п.
0000067392 00000 п.
0000067663 00000 п.
0000067759 00000 п.
0000069254 00000 п.
0000069501 00000 п.
0000069835 00000 п.
0000069901 00000 н.
0000070334 00000 п.
0000070549 00000 п.
0000070835 00000 п.
0000071371 00000 п.
0000071493 00000 п.
0000119529 00000 н.
0000152408 00000 н.
0000152520 00000 н.
0000152578 00000 н.
0000152813 00000 н.
0000152929 00000 н.
0000153038 00000 н.
0000153172 00000 н.
0000153298 00000 н.
0000153463 00000 н.
0000153665 00000 н.
0000153827 00000 н.
0000153947 00000 н.
0000154183 00000 н.
0000154322 00000 н.
0000154464 00000 н.
0000154652 00000 н.
0000154785 00000 н.
0000154926 00000 н.
0000155094 00000 н.
0000155264 00000 н.
0000003729 00000 н.
0000002712 00000 н.
трейлер
] / Назад 3468512 / XRefStm 3729 >>
startxref
0
%% EOF

840 0 объект
> поток
hb«d`e`g`P ʀ

Neural Network Ppt Presentation

NEURAL NETWORKBY SIDDHARTH PATEL CLASS: IT-B (SEM: V) ENR.NO: 100530116032

СОДЕРЖАНИЕ Введение

:

Архитектура Человек

и искусственные нейроны Приложения Преимущества Недостатки Нейронная сеть в будущем Заключение

1. ВВЕДЕНИЕ.

1.1 ЧТО ТАКОЕ НЕЙРОННАЯ СЕТЬ? NN — это парадигма обработки информации. Ключевым элементом этой парадигмы является новая структура.

1.2 ПОЧЕМУ НЕЙРОСЕТИ? Адаптивное обучение. Самоорганизация. Операция в реальном времени.

2.АРХИТЕКТУРА.

2.1 СЕТЬ ПЕРЕДАЧИ ВПЕРЕД (АССОЦИАТИВНАЯ) Разрешить сигналы двигаться только в одну сторону; от входа к выходу. Отзывов нет. Обычно это прямые сети.

2.2 ОБРАТНАЯ СВЯЗЬ (АВТОМАТИЧЕСКАЯ АССОЦИАЦИЯ) СЕТЬ Сигналы, передающиеся в обоих направлениях. Это динамично. Их «состояние» постоянно меняется. Это очень мощно.

2.3 СЕТЕВЫЕ СЛОИ I.

II.

III.

Ввод: представляет необработанную информацию. Скрытый: определяется активностью входных единиц.Вывод: зависит от активности скрытых юнитов.

3. ЧЕЛОВЕЧЕСКИЕ И ИСКУССТВЕННЫЕ НЕЙРОНЫ

3.1 КАК ОБУЧАЕТ ЧЕЛОВЕЧЕСКИЙ МОЗГ Нейрон собирает сигналы от других через хост, называемый дендритами. Нейрон посылает импульсы электрической активности через длинную тонкую стойку, известную как аксон. Синапс преобразует активность аксона в электрические эффекты, которые возбуждают активность аксона в связанных нейронах.

Компоненты нейрона

Синапс

4.ПРИЛОЖЕНИЯ

4.1 НЕЙРОННЫЕ СЕТИ В БИЗНЕСЕ

Прогнозирование продаж Управление производственными процессами Исследование клиентов Проверка данных Управление рисками Целевой маркетинг

4. 2 НЕЙРОННЫЕ СЕТИ В МЕДИЦИНЕ

кардиограммы CAT сканирует ультразвуковое сканирование и т. Д.

4.3 NEURAL BUSINESS NETWORKS Кредитование

ДРУГИЕ ПРИМЕНЕНИЯ Сжатие изображений с распознаванием символов Обработка пищевых продуктов Мониторинг сигнатур

5.ПРЕИМУЩЕСТВА: Адаптация к незнакомой ситуации. Автономное обучение и обобщение. Надежность: отказоустойчивость за счет резервирования сети. Шумостойкость Простота обслуживания

6. НЕДОСТАТКИ: Нет точных. Большая сложность сетевой структуры. NN необходимо обучение для работы. Требуется много времени на обработку для больших NN. NN иногда становятся нестабильными.

7.NEURAL NETWORK

В БУДУЩЕМ

Роботы, которые могут видеть, чувствовать и предсказывать мир вокруг себя. Составление музыки.Рукописные документы для автоматического преобразования в форматированные текстовые документы. Самостоятельная диагностика медицинских проблем с помощью нейронных сетей.

8. ЗАКЛЮЧЕНИЕ:

Их способность учиться на примере делает их очень гибкими и мощными. Нет необходимости разрабатывать алгоритм для выполнения конкретной задачи. Нет необходимости разбираться во внутренних механизмах этой задачи. Они также очень хорошо подходят для систем реального времени.

СПАСИБО

Распознавание объектов с использованием сверточных нейронных сетей

1.Введение

С компьютерным зрением связаны интересные проблемы, такие как классификация изображений и обнаружение объектов, которые являются частью области, называемой распознаванием объектов. В отношении этих типов проблем в последние годы наблюдается серьезная научная разработка, в основном из-за достижений сверточных нейронных сетей, методов глубокого обучения и увеличения вычислительной мощности параллелизма, предлагаемой графическими процессорами (ГП). Проблема классификации изображений — это задача присвоения входному изображению одной метки из фиксированного набора категорий.Эта проблема классификации является центральной в компьютерном зрении, потому что, несмотря на ее простоту, существует множество практических применений и множество применений, таких как маркировка изображений рака кожи [1], использование изображений с высоким разрешением для обнаружения стихийных бедствий, таких как наводнения. , вулканы и сильные засухи, отмечая воздействия и нанесенный ущерб [2, 3, 4].

Эффективность алгоритмов классификации изображений в значительной степени зависит от функций, используемых для их подачи [5]. Это означает, что развитие методов классификации изображений с использованием машинного обучения в значительной степени зависело от инженерного подхода к выбору основных характеристик изображений, составляющих базу данных.Таким образом, получение этих ресурсов стало сложной задачей, что привело к увеличению сложности и вычислительных затрат. Обычно для классификации изображений, извлечения признаков и выбора алгоритма обучения требуются два независимых шага, которые были широко разработаны и усовершенствованы с использованием машин поддержки векторов (SVM).

Алгоритм SVM, рассматриваемый как часть подхода к обучению с учителем, часто используется для таких задач, как классификация, регрессия и обнаружение выбросов [6].Наиболее привлекательной особенностью этого алгоритма является то, что его механизм обучения для множества объектов проще поддается математическому анализу, чем традиционная архитектура нейронной сети, что позволяет вносить сложные изменения с известными эффектами на основные функции алгоритма [7]. По сути, SVM отображает обучающие данные в пространство признаков более высокого измерения и создает гиперплоскость разделения с максимальным запасом, создавая нелинейную границу разделения во входном пространстве [8].

Сегодня самые надежные алгоритмы классификации и обнаружения объектов используют архитектуры глубокого обучения со множеством специализированных уровней для автоматизации процесса фильтрации и извлечения признаков.Алгоритмы машинного обучения, такие как линейная регрессия, опорные векторные машины и деревья решений, имеют свои особенности в процессе обучения, но по сути все они применяют одинаковые шаги: сделать прогноз, получить корректировку и настроить механизм прогнозирования на основе исправления, на высоком уровне, что делает его очень похожим на то, как учится человек. Появилось глубокое обучение, приносящее новый подход к проблеме, который пытался преодолеть предыдущие недостатки путем изучения абстракции в данных в соответствии с парадигмой стратифицированного описания, основанной на нелинейном преобразовании [9]. Ключевым преимуществом глубокого обучения является его способность выполнять полууправляемое или неконтролируемое извлечение функций из массивных наборов данных.

Способность изучать этап извлечения признаков, присутствующий в алгоритмах на основе глубокого обучения, достигается благодаря широкому использованию сверточных нейронных сетей (ConvNet или CNN). В этом контексте свертка является специализированным типом линейной операции и может рассматриваться как простое применение фильтра к определенному входу [10]. Повторное применение одного и того же фильтра к входу приводит к созданию карты активаций, называемой картой характеристик, которая указывает расположение и силу обнаруженного элемента на входе путем настройки параметров свертки.Сеть может настраиваться, чтобы уменьшить ошибку и, следовательно, изучить лучшие параметры для извлечения соответствующей информации в базе данных.

В последние несколько лет было предложено много детекторов объектов на основе глубоких нейронных сетей (DNN) [11, 12]. Это исследование исследует производительность современных моделей DNN SSD и Faster RCNN, примененных к классической задаче обнаружения, когда алгоритмы были обучены идентифицировать несколько животных на изображениях; Кроме того, чтобы проиллюстрировать применение в научных исследованиях, сеть YOLO была обучена решать проблему слежения за мышами.Текущие разделы описывают модели DNN, упомянутые ранее, более подробно [13, 14, 15].

2. Методы обнаружения объектов

2.1 Одноразовый многоблочный детектор

Одноканальный многоканальный детектор [13] — один из лучших детекторов с точки зрения скорости и точности, состоящий из двух основных этапов: извлечения карты признаков и приложений сверточного фильтра. обнаруживать объекты.

Архитектура SSD построена на сети VGG-16 [16], и этот выбор был сделан на основе высокой производительности в задачах классификации изображений высокого качества и популярности сети в задачах, где задействовано трансферное обучение.Вместо исходных полносвязных слоев VGG, набор вспомогательных сверточных слоев изменяет модель, что позволяет извлекать элементы в нескольких масштабах и постепенно уменьшать размер входных данных для каждого последующего слоя.

Генерация ограничивающей рамки рассматривает применение сопоставления предварительно вычисленных ограничивающих прямоугольников фиксированного размера, называемых априори , с исходным распределением наземных блоков истинности. Эти априорные числа выбраны для сохранения отношения пересечения к объединению (IoU) равным или большим 0.5.

Общая функция потерь, определенная в формуле. (1) представляет собой линейную комбинацию потери уверенности, которая измеряет, насколько сеть уверена в вычисленном ограничивающем прямоугольнике с использованием категориальной кросс-энтропии и потери местоположения, которая измеряет, насколько далеко предсказанные сетью ограничивающие прямоугольники находятся от наземных ограничивающих прямоугольников с использованием L2 норма.

Lxclg = 1NLconfxc + αLlocxlgE1

, где N — количество согласованных блоков по умолчанию, а Lconfand Lloc — достоверность и потеря местоположения, соответственно, как определено в [13]. На рисунке 1 показано, как применить сверточные ядра к входному изображению в архитектуре SSD.

Рисунок 1.

Сеть SSD имеет несколько слоев объектов до конца базовой сети, которые прогнозируют смещения к стандартным прямоугольникам с различными масштабами, соотношениями сторон и их соответствующими достоверностями. Рисунок основан на [13].

2.2 Вы смотрите только один раз

Вы смотрите только один раз [14] — это современный алгоритм обнаружения объектов, предназначенный для приложений реального времени, и, в отличие от некоторых конкурентов, это не традиционный классификатор, предназначенный для детектор объекта.

YOLO работает, разделяя входное изображение на сетку ячеек S × S, где каждая из этих ячеек отвечает за пять предсказаний ограничивающих прямоугольников, которые описывают прямоугольник вокруг объекта. Он также выводит показатель достоверности, который является мерой уверенности в том, что объект был заключен. Следовательно, оценка не имеет никакого отношения к типу объекта, присутствующему в коробке, только к форме коробки.

Для каждого прогнозируемого ограничивающего прямоугольника прогнозируемый класс работает точно так же, как обычный классификатор, давая в результате распределение вероятностей по всем возможным классам.Оценка достоверности для ограничивающего прямоугольника и предсказания класса объединяется в одну окончательную оценку, которая указывает вероятность того, что каждый прямоугольник включает определенный тип объекта. При таком выборе дизайна большинство блоков будут иметь низкие оценки достоверности, поэтому сохраняются только блоки, окончательная оценка которых превышает пороговое значение.

Ур. (2) устанавливает функцию потерь, минимизированную на этапе обучения в алгоритме YOLO.

λcoord∑i = 0s2∑j = 0B1ijobjxi − x̂i2 + yi − ŷi2 + λcoord∑i = 0s2∑j = 0B1ijobjwi − ŵi2 + hi − ĥi2

+ ∑i = 0s2∑j = 0B1ordiiC = 0s2∑j = 0B1ijobjCi − Ĉi2 + ∑i = 0s2∑c∈classespic − p̂ic2E2

, где 1iobj указывает, появляется ли объект в ячейке i, а 1ijobj обозначает предиктор j-го ограничивающего прямоугольника в ячейке, ответственной за этот прогноз; x, y, w, h и C обозначают координаты, которые представляют центр прямоугольника относительно границ ячейки сетки. Прогнозы ширины и высоты относятся ко всему изображению. Наконец, C обозначает предсказание достоверности, то есть IoU между предсказанным блоком и любым наземным блоком истинности.

Рисунок 2 описывает процесс обработки сети YOLO в виде образа. Первоначально входные данные проходят через CNN, создавая ограничивающие прямоугольники с ее оценками уверенности перспектив и генерируя карту вероятностей классов. Наконец, результаты предыдущих шагов объединяются для формирования окончательных прогнозов.

Рисунок 2.

Обнаружение модели YOLO как проблема регрессии [17]. Таким образом, входное изображение делится на сетку S × S, и для каждой ячейки сетки прогнозируются ограничивающие прямоугольники B, достоверность для этих полей и вероятности класса C. Эти закодированные прогнозы представляют собой тензор S × S × B ∗ 5 + C. Рисунок основан на [17].

2.3 Сверточная нейронная сеть с более быстрой областью

Сверточная нейронная сеть с более быстрой областью [15] — это еще один современный подход к обнаружению объектов глубокого обучения на основе CNN. В этой архитектуре сеть переносит предоставленное входное изображение в сверточную сеть, которая обеспечивает сверточную карту признаков. Вместо использования алгоритма выборочного поиска для идентификации предложений по регионам, сделанных в предыдущих итерациях [18, 19], используется отдельная сеть для изучения и прогнозирования этих регионов. Затем предложения прогнозируемой области изменяются с использованием слоя объединения интересующей области (ROI), который затем используется для классификации изображения в предложенной области и прогнозирования значений смещения для ограничивающих прямоугольников.

Стратегия, лежащая в основе обучения сети предложения региона (RPN), заключается в использовании двоичной метки для каждого якоря, так что цифра один будет представлять присутствие объекта, а цифра ноль — отсутствие; с этой стратегией любое значение IoU больше 0,7 определяет присутствие объекта, а значение меньше 0,3 указывает на его отсутствие.

Таким образом, функция потери многозадачности, показанная в формуле. (3) сводится к минимуму на этапе обучения.

Lpiti = 1Ncls∑iLclspipi ∗ + λ1Nreg∑ipi ∗ Lregtiti ∗ E3

, где i — индекс якоря в пакете, pi — прогнозируемая вероятность того, что он является объектом, pi ∗ — истинная вероятность якоря, tiis прогнозируемая координата ограничивающего прямоугольника, ti ∗ — координата ограничивающего прямоугольника на основании истинных данных, а Lcls и Lreg — потери классификации и регрессии соответственно.

На рисунке 3 изображена объединенная сеть для обнаружения объектов, реализованная в архитектуре Faster RCNN. Используя популярную в последнее время терминологию нейронных сетей с механизмами «внимания» [20], сетевой модуль предложения региона сообщает модулю Fast RCNN, где искать [15].

Рисунок 3.

Faster RCNN действует как единая унифицированная сеть для обнаружения объектов [15]. Сетевой модуль регионального предложения служит «вниманием» этой объединенной сети. Рисунок основан на [15].

3. Наборы данных

Образец набора данных PASCAL VOC [21] используется для иллюстрации использования алгоритмов обнаружения объектов SSD и RCNN. Были отобраны 6 классов из 20 имеющихся. Таблица 1 описывает размер выборки, выбранный для каждого класса.

Собака

Таблица 1.

Описание набора сетевых данных SSD и RCNN.

Изображения, представленные в наборе данных, были случайным образом разделены следующим образом: 1911 для обучения, соответствующего 50%, 1126 для проверки, соответствующего 25%, и теста, также соответствующего 25%.

Чтобы дополнительно проиллюстрировать применение таких алгоритмов в научных исследованиях, был также проанализирован набор данных, используемый для сети YOLO, представленный в [22]. Как описано в [22], набор данных состоит из изображений трех исследований, включающих поведенческие эксперименты с мышами:

• Этологическая оценка [23]: в этом исследовании представлены новые показатели для моделей хронического стресса социального поражения у мышей.

• Автоматизированная домашняя клетка [24]: В этом исследовании представлена ​​обучаемая система компьютерного зрения, которая позволяет автоматически анализировать сложное поведение мыши; они едят, пьют, ухаживают, вешают, микродвижение, спина, отдых и ходят.

• Набор данных Caltech Resident-Intruder Mouse (CRIM13) [25]: он содержит видео, записанные с превосходной и синхронизированной боковой визуализацией пар мышей, участвующих в социальном поведении в 13 различных действиях.

Таблица 2 описывает размер выборки, выбранный из каждого из наборов данных, используемых в этом документе.Для этологической оценки [23] было использовано 3707 рамок, снятых на виде сверху арены экспериментов по социальному взаимодействию среди мышей. Для автоматизированной домашней клетки [24] выборка из 3073 рамок была выбрана из бокового обзора поведенческих экспериментов. Для CRIM13 [25] было выбрано 6842 кадра, из которых 3492 — вид сбоку и 3350 — вид сверху.

—

Таблица 2.

Описание набора данных для использования с сетью YOLO, как ранее использовалось в [22].

Было воспроизведено то же разделение набора данных, что и в [22], что дало 6811 изображений для обучения, 3405 для проверки и 3406 для теста.

4. Материал и методы обнаружения объектов

В этой работе сравниваются ранее описанные сети SDD и Faster RCNN в задаче локализации и отслеживания шести видов животных в разнообразных средах. Наличие точной, подробной и актуальной информации о местонахождении и поведении животных в дикой природе улучшило бы нашу способность изучать и сохранять экосистемы [26].Кроме того, результаты сети YOLO, воспроизведенные из [22], для обнаружения и отслеживания мышей в видео записываются во время экспериментов по поведенческой нейробиологии. Задача обнаружения мышей состоит в определении места на изображении, где присутствуют животные, для каждого полученного кадра.

Представленная здесь вычислительная разработка была выполнена на компьютере с процессором AMD Athlon II X2 B22 с тактовой частотой 2,8 ГГц, 8 ГБ ОЗУ, графическим процессором NVIDIA GeForce GTX 10708 ГБ, ОС Ubuntu 18.04LTS, CUDA 9 и CuDNN 7.В нашем подходе использовались сверточные сети, описанные в разделе 2.

5. Результаты и вывод

Результаты, полученные для сетей SSD и Faster RCNN в экспериментах, были основаны на анализе 4163 изображений, организованных в соответствии с набором данных, описанным в разделе 3.

На рисунке 4 (а) показано возрастающее развитие средних значений средней точности в эпохи обучения. Обе архитектуры достигли высокой средней точности (mAP), успешно минимизировав значения соответствующих функций потерь.Сеть Faster RCNN показала более высокую и лучшую стабильность в точности, о чем можно судить по плавности ее кривой. Рисунок 4 (b) представляет собой прямоугольную диаграмму времени, затраченного каждой сетью на классификацию одного изображения, в то время как SSD опередил 17 ± 2 мс в качестве среднего и стандартного отклонения, а Faster RCNN перевел его более высокую вычислительную сложность. во время выполнения со средними значениями 30 ± 2 мсек и стандартным отклонением соответственно.

Рис. 4.

(a) Сравнение моделей mAP во время фазы обучения. (b) Время, затраченное на выполнение каждой архитектуры на одном изображении.

В таблице 3 представлены дополнительные результаты, связанные с производительностью обнаружения объектов. Во-первых, он показывает среднюю среднюю точность, которая представляет собой среднее значение средней точности для каждого класса, где средняя точность — это среднее значение 11 точек на кривой точности-отзыва для каждого возможного порога, то есть вся вероятность обнаружение для того же класса (оценка точности-отзыва в соответствии с условиями, описанными в PASCAL VOC [21]).

Таблица 3.

Средние результаты средней точности после 100 эпох обучения.

На рисунке 5 показаны некоторые избранные примеры результатов обнаружения объектов в используемом наборе данных.Каждое окно вывода связано с меткой категории и оценкой softmax в 01. Пороговое значение оценки 0,5 используется для отображения этих изображений.

Рисунок 5.

Примеры выходных сетей. (a) — (d) относятся к SSD и (e) — (i) к более быстрому RCNN.

Наш подход, как и в [22], также использовал две версии сети YOLO для обнаружения мышей в трех различных экспериментальных установках. Полученные результаты были основаны на анализе 13 622 изображений, организованных в соответствии с набором данных, описанным в разделе 3.

Первой обучаемой версией YOLO была сеть YOLO Full, в которой использовалась сверточная архитектура Darknet-53 [14], включающая 53 сверточных слоя. Такая модель была обучена, как описано в [17], начиная с предварительно обученной модели ImageNet [28]. Для каждой модели требуется 235 МБ дискового пространства. Мы использовали пакет из восьми изображений, импульс 0,9 и уменьшение веса 5 × 10–4. На обучение модели ушло 140 часов.

Также была обучена меньшая и более быстрая альтернатива YOLO, получившая название YOLO Tiny.Чтобы ускорить процесс, эта «крошечная» версия содержит только часть ресурсов Darknet-53 [14]: 23 сверточных слоя. Для каждой модели требуется всего 34 МБ дискового пространства. Обучение сети происходит так, как описано в [17], при тонкой настройке предварительно обученной модели ImageNet [28]. Мы использовали пакет из 64 изображений, импульс 0,9 и уменьшение веса 5 × 10–4. На обучение модели ушло 18 часов.

На рисунке 6 показано сравнение двух использованных моделей YOLO, YOLO Full и Tiny. Рисунок 6 (а) демонстрирует высокую точность полной архитектуры с небольшими колебаниями кривой точности во время обучения.На рис. 6 (б) высокая точность сохраняется с самых ранних времен и остается практически неизменной до предельного числа эпох. Обе архитектуры достигли высоких значений средней средней точности, при этом успешно минимизировали значения их функции потерь. Крошечная версия сети YOLO показала лучшую стабильность в точности, о чем можно судить по плавности ее кривой. Результаты показывают, что средняя средняя точность, достигнутая этой повторной реализацией, составила 90,79 и 90,75% для полной и миниатюрной версий YOLO соответственно.Использование версии Tiny — хорошая альтернатива для экспериментальных проектов, требующих отклика в реальном времени.

Рисунок 6.

(a) и (b) Эволюция архитектуры YOLO с точки зрения средней средней точности и минимизация функции потерь на этапе обучения. (c) Время GPU, необходимое для получения классификации изображения в каждой из сетей.

Рисунок 6 (c) представляет собой гистограмму, показывающую среднее время, затраченное на классификацию одного изображения в обеих архитектурах. Меньший размер версии Tiny получает прямой перевод во время выполнения, имея 0. 08 ± 0,06 с в качестве значений среднего и стандартного отклонения, тогда как полная версия имеет 0,36 ± 0,16 с в качестве значений среднего и стандартного отклонения соответственно.

Учитывая вышеупомянутую небольшую разницу между двумя версиями детектора объектов YOLO, возможность разработки систем реального времени для экспериментов с отслеживанием животных становится ближе к реальности с архитектурой Tiny. Благодаря меньшему спросу на вычислительную мощность системы, в которых выполняются действия во время эксперимента, могут быть спроектированы без вмешательства человека.

На рисунке 7 показаны некоторые примеры, полученные в результате отслеживания мышей, выполненного с использованием трех различных наборов данных. Таким образом, можно проверить работу отслеживания мыши в разных сценариях. В (a) — (c) черная мышь появляется на белом фоне, видео записывается с камеры вида сверху в типичной конфигурации в поведенческих экспериментах. На рисунках (d) — (f) камера была расположена сбоку от экспериментального бокса; алгоритм правильно выполнил трекинг для разных положений животного. Наконец, на рисунках (g) — (i) изображения были записаны камерой вида сверху, и можно проверить большой объем информации помимо отслеживаемого объекта. Однако алгоритм работал очень хорошо даже для двух животных на одной арене.

Рис. 7.

Примеры вывода сети YOLO. (a) — (c) относятся к этологической оценке [23], (d) — (f) относятся к автоматизированной домашней клетке [24], и (g) — (i) относятся к CRIM13 [25].

В этой главе представлен обзор методов машинного обучения с использованием сверточных нейронных сетей для обнаружения объектов изображения.Были представлены основные алгоритмы решения данного типа задач: Faster RCNN, YOLO и SSD. Чтобы проиллюстрировать работу алгоритмов, были выбраны наборы данных, признанные в научной литературе и в области компьютерного зрения, были проведены тесты и представлены результаты, показывающие преимущества и различия каждого из методов. Ожидается, что это содержание послужит справочным материалом для исследователей и тех, кто интересуется этой широко развивающейся областью знаний.

В настоящий момент мы переживаем эру приложений машинного обучения, и в ближайшие годы многое предстоит разработать на основе использования и улучшения этих методов.Вскоре ожидаются дальнейшие улучшения в разработке еще более специфического оборудования и фундаментальные изменения в соответствующей математической теории, что сделает искусственный интеллект все более актуальным и важным в современном мире.

9 Нейронные сети: Вычислительная нейронаука: окно в понимание того, как работает мозг | Наука на рубеже

эээ, сказал Кох. «Если вы откроете книгу о восприятии, вы увидите такие вещи, как« буфер ввода »,« ЦП »и тому подобное, и они используют язык, который предлагает вам увидеть объект в реальном мире и открыть компьютерный файл в мозгу, чтобы идентифицировать Это.«

Нейрофизиологи, в частности, предпочитали уделять внимание деталям и сложностям, а не цепляться за теории и закономерности, которые иногда, кажется, уходят в страну чудес. «Как нейробиолог я должен спросить, — сказал Кох, — где этот входной буфер? Что означает« открыть файл в мозгу »?»

Биологические системы в сущности динамичны в парадигме неодарвиновской эволюции. Эволюция создавала мозг, так сказать, шаг за шагом.При каждом случайном морфологическом изменении испытанию на выживание отвечал не общий план, подвергнутый сознательному самоанализу, а скорее организм, который развил определенный набор черт. «Эволюция не может начаться с нуля», — писали Черчленд и др. (1990), «даже тогда, когда оптимальный дизайн потребует этого курса. Как заметил Якоб [1982], эволюция — это мелочь, и она создает свои модификации из доступных материалов, ограниченных более ранними решениями. Более того, любой заданной способностью.. . может выглядеть прекрасно продуманным дизайном, но на самом деле он может совсем не интегрироваться с более широкой системой и может быть несовместим с общим устройством нервной системы »(стр. 47). Таким образом, они заключают, в согласии с Адамсом , «нейробиологические ограничения стали признаны важными для проекта» (стр. 47).

Если мозг действительно обладает чем-то аналогичным компьютерным программам, они явно встроены в схему связей и в миллиарды ячеек, из которых состоит этот мозг, то же самое место, где должна храниться его память.Это место — местность, которую Адамс исследовал в молекулярных деталях. «Я действительно не верю, что мы имеем дело с отношениями между программным и аппаратным обеспечением, когда мозг обладает прозрачной программой, которая будет одинаково хорошо работать на любом типе компьютера. Между существует такая интимная связь, — подчеркнул он. как, , мозг выполняет вычисления и вычисления, которые он делает, что вы не можете понять одно без другого ». С этим согласны почти все современные нейробиологи.

Параллельный распределенный путь к новым открытиям

К моменту смерти Марра в 1981 году искусственный интеллект не смог предоставить очень убедительные модели глобальной функции мозга (в целом и памяти в частности), и стали очевидны два важных вывода. Во-первых, мозг ни по структуре, ни по функциям не похож на последовательный компьютер. Во-вторых, поскольку памяти не могло быть как

Введение в нейронные сети в приложении к играм

Исходная статья опубликована Intel Game Dev на VentureBeat *: введение в нейронные сети с приложением для игр. Узнайте больше новостей разработчиков игр и связанных тем от Intel на VentureBeat.

От: Дин Макри

Введение

Распознавание речи, распознавание рукописного ввода, распознавание лиц : это лишь некоторые из многих задач, которые мы, люди, можем быстро решить, но которые представляют собой все возрастающую проблему для компьютерных программ.Кажется, мы можем без особых усилий выполнять задачи, которые в некоторых случаях невозможно решить даже самыми сложными компьютерными программами. Возникает очевидный вопрос: «В чем разница между компьютерами и нами?» .

Мы не собираемся полностью отвечать на этот вопрос, но мы собираемся вводно взглянуть на один из его аспектов. Короче говоря, биологическая структура человеческого мозга образует массивную параллельную сеть простых вычислительных блоков, которые были обучены быстро решать эти проблемы.Эта сеть при моделировании на компьютере называется искусственной нейронной сетью или для краткости нейронной сетью.

На рис. 1 показан снимок экрана из простой игры, которую я собрал для исследования концепции. Идея проста: есть два игрока, у каждого из которых есть ракетка, и мяч, который подпрыгивает между ними. Каждый игрок пытается поставить ракетку так, чтобы мяч отскочил назад к другому игроку. Я использовал нейронную сеть для управления движением лопастей и с помощью обучения (мы рассмотрим это позже) научил нейронные сети хорошо играть в игру (если быть точным, то точно).

Рисунок 1: Простая игра в пинг-понг для экспериментов

В этой статье я расскажу о теории, лежащей в основе одного подмножества обширной области нейронных сетей: сетей обратного распространения. Я расскажу об основах и реализации только что описанной игры. Наконец, я опишу некоторые другие области, в которых нейронные сети могут использоваться для решения сложных задач. Мы начнем с упрощенного взгляда на то, как нейроны работают в вашем и моем мозге.

Основы нейронной сети

Нейроны в мозге
Вскоре после начала 20-го века испанский анатом Рамон-и-Кахаль представил идею нейронов как компонентов, составляющих работу человеческого мозга.Позже в работе других были добавлены подробности о аксонах или выходных связях между нейронами и о дендритах , которые являются рецептивными входами для нейрона, как показано на рисунке 2.

Рисунок 2: Упрощенное представление реального нейрона

Говоря упрощенно, нейрон функционально принимает множество входных сигналов и объединяет их, чтобы произвести либо возбуждающий, либо тормозящий выход в виде небольшого импульса напряжения. Затем выходной сигнал передается по аксону на множество входов (потенциально десятков тысяч) других нейронов.Имея примерно 1010 нейронов и 6 × 1013 соединений в человеческом мозге, неудивительно, что мы можем выполнять сложные процессы, которые выполняем. В нервных системах массивная параллельная обработка компенсирует медленную (миллисекунду +) скорость обрабатывающих элементов (нейронов).

В оставшейся части этой статьи мы рассмотрим, как искусственные нейроны, основанные на только что описанной модели, можно использовать для имитации поведения, общего для людей и других животных. Хотя мы не можем смоделировать 10 миллиардов нейронов с 60 триллионами соединений, мы можем дать вам простого достойного противника, который обогатит вашу игру.

Искусственные нейроны

Используя только что обсужденную простую модель, исследователи в середине 20-го века разработали математические модели для моделирования работы нейронов в головном мозге. Они предпочли проигнорировать некоторые аспекты реальных нейронов, такие как снижение частоты пульса, и придумали простую для понимания модель. Как показано на рисунке 3, нейрон изображен как вычислительный блок, который принимает входные данные (X0, X1Xn) и веса (W0, W1 Wn), умножает их и суммирует результаты для создания индуцированного локального поля v, которое затем проходит через функция принятия решения φ (v) для получения окончательного результата y.

Рисунок 3: Математическая модель нейрона

В виде математического уравнения это сводится к:

Я ввел два новых термина, индуцированное локальное поле и решающая функция , при описании компонентов этой модели, поэтому давайте посмотрим, что они означают. Индуцированное локальное поле нейрона является выходом блока суммирования, как показано на диаграмме. Если мы знаем, что входные данные и веса могут иметь значения в диапазоне от -? до +?, то диапазон индуцированного локального поля такой же.Если бы на другие нейроны распространялось только индуцированное локальное поле, то нейронная сеть могла бы выполнять только простые линейные вычисления. Для обеспечения более сложных вычислений была введена идея решающей функции . Маккалок и Питтс ввели одну из простейших решающих функций в 1943 году. Их функция — это просто пороговая функция, которая выдает единицу, если индуцированное локальное поле больше или равно нулю, и выдает ноль в противном случае. В то время как некоторые простые проблемы могут быть решены с помощью модели Маккаллоха-Питтса, более сложные проблемы требуют более сложной функции решения.Возможно, наиболее широко используемой функцией принятия решения является сигмоидальная функция , заданная по формуле:

У сигмоидной функции есть два важных свойства, которые делают ее хорошо подходящей для использования в качестве функции принятия решения:

• Она дифференцируема везде (в отличие от пороговой функции), что позволяет легко обучать сети, как мы увидим позже.
• Его выходные данные включают диапазоны, которые демонстрируют как нелинейное, так и линейное поведение.

Иногда используются и другие решающие функции, такие как гиперболический тангенс? (V) = tanh (v).В примерах, которые мы рассмотрим, мы будем использовать сигмовидную функцию решения, если не указано иное.

Подключение нейронов

Мы рассмотрели основные строительные блоки нейронных сетей, рассмотрев математическую модель искусственного нейрона. Отдельный нейрон можно использовать для решения некоторых относительно простых задач, но для более сложных задач мы должны исследовать сеть из нейронов, , отсюда и термин: нейронная сеть.

Нейронная сеть состоит из одного или нескольких нейронов, соединенных в один или несколько слоев .Для большинства сетей слой содержит нейроны, которые не связаны друг с другом каким-либо образом. В то время как схема взаимосвязей между уровнями сети (ее «топология») может быть регулярной, веса, связанные с различными межнейронными связями, могут сильно различаться. На рисунке 4 показана трехуровневая сеть с двумя узлами на первом уровне, тремя узлами на втором уровне и одним узлом на третьем уровне. Узлы первого уровня называются входными узлами , узел третьего уровня называется выходным узлом , а узлы в слоях между входными и выходными уровнями называются скрытыми узлами .

Рисунок 4: Трехуровневая нейронная сеть

Обратите внимание на вход, помеченный как x6, на первом узле скрытого слоя. Фиксированный вход (x6) не управляется другими нейронами, но помечен как постоянное значение, равное единице. Это называется смещением и используется для регулировки характеристик возбуждения нейрона. С ним связан вес (не показан), но входное значение никогда не изменится. Для любого нейрона можно добавить смещение, установив для одного из его входов постоянное значение, равное единице.Мы еще не рассмотрели обучение сети, но когда мы это сделаем, мы увидим, что вес, влияющий на смещение, может быть обучен так же, как веса любого другого входа.

Нейронные сети, с которыми мы будем иметь дело, будут структурно аналогичны той, что представлена ​​на рисунке 4. Несколько ключевых особенностей этого типа сети:

• Сеть состоит из нескольких слоев. Есть один входной слой и один выходной слой с нулевым или более скрытыми слоями
• Сеть является , а не рекуррентной, что означает, что выходы из любого узла только служат входами следующего уровня, а не того же или любого предыдущего уровня.
• Хотя сеть, показанная на рисунке 4, полностью подключена, необязательно, чтобы каждый нейрон в одном слое питал каждый нейрон в следующем слое.

Нейронные сети для вычислений

Теперь, когда мы вкратце рассмотрели структуру нейронной сети, давайте кратко рассмотрим, как можно выполнять вычисления с помощью нейронной сети. Позже в этой статье мы узнаем, как настраивать веса или обучать сеть для выполнения желаемых вычислений.

На простейшем уровне один нейрон производит один выход для данного набора входов, и выход всегда один и тот же для этого набора входов. В математике это называется функцией или отображением . Для этого нейрона точное соотношение между входами и выходами задается весами, влияющими на входы, и конкретной функцией принятия решения, используемой нейроном.

Давайте посмотрим на простой пример, который обычно используется для иллюстрации вычислительной мощности нейронных сетей.В этом примере мы предположим, что используемая решающая функция — это пороговая функция Маккаллоха-Питтса. Мы хотим изучить, как нейронную сеть можно использовать для вычисления таблицы истинности для логического элемента И. Напомним, что выход логического элемента И равен единице, если оба входа равны единице, и нулю в противном случае. На рисунке 5 показана таблица истинности для оператора AND.

Рисунок 5: Таблица истинности для оператора AND

Мы хотим построить нейронную сеть, которая имеет два входа, один выход и вычисляет таблицу истинности, представленную на рисунке 5.

Рисунок 6: Нейрон для вычисления операции И

На рис. 6 показана возможная конфигурация нейрона, который делает то, что мы хотим. Решающей функцией является упомянутая ранее пороговая функция Мак-Каллока-Питтса. Обратите внимание, что вес смещения (w0) равен -0,6. Это означает, что если и X1, и X2 равны нулю, то индуцированное локальное поле v будет равно -0,6, что приведет к 0 для выхода. Если либо X1, либо X2 равно единице, то индуцированное локальное поле будет равно 0.5 + (- 0,6) = -0,1, что все еще является отрицательным, что приводит к нулевому выходному сигналу решающей функции. Только когда оба входа равны единице, индуцированное локальное поле станет неотрицательным (0,4), что приведет к одному выходу из решающей функции.

Хотя такое использование нейронной сети является излишним для проблемы и имеет довольно тривиальное решение, это начало иллюстрации важного момента, касающегося вычислительных возможностей отдельного нейрона. Мы собираемся изучить эту и еще одну проблему, чтобы понять концепцию линейно разделяемых задач .

Посмотрите на «график» на рисунке 7. Здесь ось x соответствует входу 0, а ось y соответствует входу 1. Выходные данные записаны в график и соответствуют таблице истинности из рисунка 5. Серый цвет заштрихованная область представляет собой область значений, которые производят единицу в качестве вывода (если мы предположим, что входные данные действительны вдоль реальной линии от нуля до единицы).

Рисунок 7: График функции И

Ключевой момент, на который следует обратить внимание, это наличие линии (нижний левый наклон серого треугольника), которая отделяет входные значения, которые дают на выходе единицу, от входных значений, которые дают нулевой результат.Проблемы, для которых может быть проведена такая «разделительная линия» (например, задача И), классифицируются как линейно разделяемые задачи .

Теперь давайте посмотрим на другую логическую операцию, операцию исключающее ИЛИ (XOR), как показано на рисунке 8.

Рисунок 8: Таблица истинности для оператора XOR

Здесь выход равен единице, только если один, но не оба входа равны одному. «График» этого оператора показан на рисунке 9.

Рисунок 9: График функции XOR

Обратите внимание, что серая область, окружающая «единичные» выходы, отделена от нулевых выходов не одной линией, а двумя линиями (нижняя и верхняя наклонные линии серой области).Эта задача не является линейно разделимой на . Если мы попытаемся построить единственный нейрон, который сможет вычислить эту функцию, у нас ничего не получится.

Ранние исследователи считали, что это ограничение для всех вычислений с использованием искусственных нейронов. Только с добавлением нескольких уровней стало понятно, что нейроны с линейным поведением могут быть объединены для решения задач, которые нельзя разделить линейно. На рисунке 10 показана простая сеть из трех нейронов, которая может решить проблему XOR. Мы по-прежнему предполагаем, что решающей функцией является пороговая функция Маккаллоха-Питтса.

Рисунок 10: Сеть для вычисления функции XOR

Все веса установлены на 1,0, за исключением веса, обозначенного как w = -2. Для полноты картины давайте быстро пройдемся по выходам для четырех различных комбинаций входов.

• Если оба входа равны 0, то нейроны 0 и 1 выводят 0 (из-за их отрицательных смещений).Таким образом, выход нейрона 2 также равен 0 из-за его отрицательного смещения и нулевых входов.
• Если X0 равно 1, а X1 равно 0, тогда нейрон 0 выводит 0, нейрон 1 выводит 1 (поскольку 1.0 + (- 0.5) = 0.5 больше 0), а нейрон 2 также выводит 1.
• Если X0 равно 0, а X1 равно 1, то нейрон 0 выводит 0, нейрон 1 выводит 1, а нейрон 2 выводит 1.
• Наконец, если оба входа равны 1, то нейрон 0 выдает 1, которая становится входом -2 для нейрона 2 (из-за отрицательного веса). Нейрон 1 выводит 1, которая объединяется с -2 и -0. 5, чтобы на выходе нейрона 2 был 0.

Вывод из этого простого примера состоит в том, что для решения нелинейно разделимых задач необходимы многоуровневые сети. Кроме того, в то время как пороговая функция Мак-Каллока-Питтса отлично работает для этих простых для решения задач, для решения большинства реальных проблем требуется более удобная с математической точки зрения (т.е. дифференцируемая) функция принятия решений. Теперь мы рассмотрим способ, которым нейронная сеть может быть обучена (а не запрограммирована или структурирована) для решения конкретной проблемы.

Учебные процессы

Давайте вернемся к определению вывода отдельного нейрона (мы добавили параметр для определенного набора данных, k ):

Уравнение 1

Обратите внимание, что x = y , выход из нейрона i , если нейрон j не является входным нейроном. Кроме того, w — это весовой выход, соединяющий выход нейрона i в качестве входа в нейрон j .

Мы хотим определить, как изменить значения различных весов, w (k) , когда результат, y (k) , не соответствует результату, который мы ожидаем или требуем от данного набора. входов, x (k) . Формально, пусть d (k) будет желаемым выходом для данного набора входов, k . Затем мы можем посмотреть на функцию ошибок, e (k) = d (k) -y (k) . Мы хотим изменить веса, чтобы уменьшить ошибку (в идеале до нуля). Мы можем посмотреть на энергию ошибки как функцию ошибки:

Уравнение 2

Регулировка весов теперь становится проблемой минимизации ? (K) .Мы хотим взглянуть на градиент энергии ошибки относительно различных весов,

. Комбинируя уравнение 1 и уравнение 2 и используя правило цепочки (и вспоминая, что y (k) =? (V (k)) и v (k) =? W (n) y (n) ), мы можем расширить эту производную до чего-то более управляемого:

Уравнение 3

Каждое из членов уравнения 3 можно уменьшить, так что мы получаем:

Уравнение 4

Где ? ‘() означает дифференциацию по аргументу.