Дерево решений онлайн: Какой есть онлайн инструмент для построения дерева текущей реальности? — Хабр Q&A
Создание дерева решений (блок-схемы) в Excel
Добрый день.
Как Вы наверняка знаете «Excel» — это не только инструмент для математических расчетов и аналитики числовых данных, но и прекрасный инструмент для оформления документов и создания схем взаимодействия (бизнес-схем).
В поздних версиях программы «Excel» созданы специальные опции для создания и редактирования древовидных схем (план-схем, алгоритмов). Таких как, так называемое, дерево решений.
Дерево решений – это схема, представляющая собой набор связанных между собой в виде дерева блоков. Каждому из блоков в дереве решений присваивается действие (решение). Соответственно, при выполнении того или иного действия появляются несколько вариантов новых решений и т.д.
Пример дерева решений: «Поход в магазин за покупками»
Создать такое дерево решений довольно просто при помощи кнопки SmartArt («умное творчество»).
Кнопка SmartArt находится во вкладке «Вставка». После клика по указанной кнопке появляется окно, в котором предложены десятки готовых решений (структур) схемы.
Для дерева решений оптимально подходят готовые структуры и раздела «Иерархия».
Выбрав понравившуюся структуру, при помощи опций из вкладки «Конструктор» можно сформировать необходимой дерево действия.
При помощи кнопки «Добавить фигуру» можно добавлять новые блоки.
Кнопками «повысить уровень» и «понизить уровень» можно менять место блока в структуре.
Кнопка «Область текста» открывает окно для работы с надписями в блоках.
Так же раздел «конструктор» позволяет редактировать внешний вид блоков:
Цвета схемы
Способ отображения блоков, в том числе и 3D вид дерева решений.
деревья решений / Блог компании Mail.ru Group / Хабр
Привет, Хабр!
После многочисленных поисков качественных руководств о решающих деревьях и ансамблевых алгоритмах (бустинг, решающий лес и пр.) с их непосредственной реализацией на языках программирования, и так ничего не найдя (кто найдёт — напишите в комментах, может, что-то новое почерпну), я решил сделать своё собственное руководство, каким бы я хотел его видеть. Задача на словах простая, но, как известно, дьявол кроется в мелочах, коих в алгоритмах с деревьями очень много.
Так как тема достаточно обширная, то очень сложно будет уместить всё в одну статью, поэтому будет две публикации: первая посвящена деревьям, а вторая часть будет посвящена реализации алгоритма градиентного бустинга. Весь изложенный здесь материал собран и оформлен на основе открытых источников, моего кода, кода коллег и друзей. Сразу предупреждаю, кода будет много.
Так что нужно знать и уметь, чтобы научиться писать с нуля свои ансамблевые алгоритмы с решающими деревьями? Поскольку ансамбль алгоритмов — это не что иное, как композиция «слабых алгоритмов», то для написания хорошего ансамбля требуются хорошие «слабые алгоритмы», именно их мы подробно разберём в этой статье. Как понятно из названия, это решающие деревья, и двигаясь от простого к сложному, мы научимся их писать. При этом акцент будет сделан непосредственно на реализации, вся теория будет излагаться по-минимуму, в основном я буду давать ссылки на материалы для самостоятельного изучения.
Чтобы усвоить материал, необходимо понимать, насколько хорош или плох наш алгоритм. Понимать будем очень просто — зафиксируем какой-то определённый набор данных и будем сравнивать наши алгоритмы с алгоритмами деревьев из Sklearn (ну а как же без этой библиотеки). Сравнивать будем многое: сложность алгоритма, метрики на данных, время работы и т.д.
Что же такое решающее дерево? Очень хороший материал, где объяснён принцип работы решающего дерева, содержится в курсе ODS (кстати, классный курс, рекомендую тем, кто начинает своё знакомство с ML).
Очень важное пояснение: во всех нижеописанных случаях все признаки будут являться вещественными, специальных преобразований с данными вне алгоритмов мы делать не будем (сравниваем алгоритмы, а не датасеты).
Теперь давайте научимся решать задачу регрессии с помощью решающих деревьев. В качестве энтропии будем использовать метрику MSE.
Реализуем очень простой класс RegressionTree, который основан на рекурсивном подходе. Намеренно начнём с очень неэффективной, но простой в понимании реализации такого класса, чтобы в дальнейшем уметь улучшать её.
1. Класс RegressionTree()
class RegressionTree():
'''
Класс RegressionTree решает задачу регрессии. Основан на рекурсивных
вызовах, когда прописываются условия выхода из рекурсии.
'''
def __init__(self, max_depth=3, n_epoch=10, min_size=8):
'''
Объявляем переменные класса.
'''
self.max_depth = max_depth # максимальная глубина
self.min_size = min_size # минимальный размер поддерева
self.value = 0 # значение в поддереве (среднее по всем листьям)
self.feature_idx = -1 # номер лучшего признака
self.feature_threshold = 0 # значение лучшего признака
self.left = None # левый потомок
self.right = None # правый потомок
def fit(self, X, y):
'''
Процедура обучения дерева. На выходе получим обученную модель.
'''
# инициализируем начальные значения
self.value = y.mean()
base_error = ((y - self.value) ** 2).sum()
error = base_error
flag = 0
# ошибки в левом и правом поддереве
prev_error_left = base_error
prev_error_right = 0
# если дошли до глубины 0 - выходим
if self.max_depth <= 1:
return
dim_shape = X.shape[1]
# значения в левом и правом поддереве
left_value = 0
right_value = 0
# начинаем цикл по признакам
for feat in range(dim_shape):
# сортируем признаки
idxs = np.argsort(X[:, feat])
# количество сэмплов в левом и правом поддереве
N = X.shape[0]
N1, N2 = N, 0
thres = 1
# начинаем проходиться по значениям признака
while thres < N - 1:
N1 -= 1
N2 += 1
idx = idxs[thres]
x = X[idx, feat]
# пропускаем одинаковые признаки
if thres < N - 1 and x == X[idxs[thres + 1], feat]:
thres += 1
continue
# данные, которые получаются у нас в результате такого сплита
target_right = y[idxs][:thres]
target_left = y[idxs][thres:]
mean_right = y[idxs][:thres].mean(),
mean_left = y[idxs][thres:].mean()
# на этом шаге уже нужно считать ошибку -
# генерируем предикты (среднее в потомках)
left_shape = target_left.shape[0]
right_shape = target_right.shape[0]
mean_left_array = [mean_left for _ in range(left_shape)]
mean_right_array = [mean_right for _ in range(right_shape)]
# считаем ошибку слева и справа
prev_error_left = N1/N * mse(target_left, mean_left_array)
prev_error_right = N2/N * mse(target_right, mean_right_array)
# если выполняются условия сплита, то обновляем
if (prev_error_left + prev_error_right < error):
if (min(N1,N2) > self.min_size):
self.feature_idx = feat
self.feature_threshold = x
left_value = mean_left
right_value = mean_right
flag = 1
error = prev_error_left + prev_error_right
thres += 1
# если не нашли лучший сплит, выходим
if self.feature_idx == -1:
return
# дошли сюда - есть хорошее разбиение, нужно обучать дальше
# инициализируем потомков - те же деревья решений
self.left = RegressionTree(self.max_depth - 1)
self.left.value = left_value
self.right = RegressionTree(self.max_depth - 1)
self.right.value = right_value
# индексы потомков
idxs_l = (X[:, self.feature_idx] > self.feature_threshold)
idxs_r = (X[:, self.feature_idx] <= self.feature_threshold)
# обучаем
self.left.fit(X[idxs_l, :], y[idxs_l])
self.right.fit(X[idxs_r, :], y[idxs_r])
def __predict(self, x):
'''
Функция для генерирования предсказания - смотрим узлы, идем
в соответствующих потомков и смотрим в конце self.value - это
и будет ответом.
'''
if self.feature_idx == -1:
return self.value
if x[self.feature_idx] > self.feature_threshold:
return self.left.__predict(x)
else:
return self.right.__predict(x)
def predict(self, X):
'''
Предикт для матрицы - просто для каждой строчки вызываем __predict().
'''
y = np.zeros(X.shape[0])
for i in range(X.shape[0]):
y[i] = self.__predict(X[i])
return y
Вкратце поясню, что здесь делает каждый метод.
Метод fit, как понятно из названия, обучает модель. На вход подаётся обучающая выборка и происходит процедура обучения дерева. Сортируя признаки, мы ищем наилучшее разбиение дерева с точки зрения уменьшения энтропии, в данном случае mse. Определить, что удалось найти хороший сплит, очень просто, достаточно выполнения двух условий. Мы не хотим, чтобы в разбиение попадало мало объектов (защита от переобучения), и средневзвешенная ошибка по mse должна быть меньше той ошибки, которая есть сейчас в дереве — мы ищем тот самый прирост information gain. Пройдя таким образом все признаки и все уникальные значения по ним, мы переберём все варианты и выберем наилучшее разбиение. А дальше делаем рекурсивный вызов на полученных разбиениях до тех пор, пока не выполнятся условия выхода из рекурсии.
Метод __predict, как понятно из названия, делает предикт. Получив на вход объект, он идёт по узлам полученного дерева — в каждом узле зафиксирован номер признака и значение по нему, и в зависимости от того, какое значение у поступившего метода объекта по этому признаку, мы идём либо в правого потомка, либо в левого, пока не дойдём до листа, в котором и будет ответ для данного объекта.
Метод predict делает то же самое, что и прошлый метод, только для группы объектов.
Импортируем всем известный набор данных о домах в Калифорнии. Это обычный датасет с данными и таргетом для решения задачи регрессии.
data = datasets.fetch_california_housing()
X = np.array(data.data)
y = np.array(data.target)
Что ж, давайте начнём сравнение! Для начала посмотрим, насколько быстро алгоритм обучается. Зададим у себя и в Sklearn единственный параметр max_depth, пусть он будет равен 2.
%%time
A = RegressionTree(2) # это наш алгоритм
A.fit(X,y)from sklearn.tree import DecisionTreeRegressor
%%time
model = DecisionTreeRegressor(max_depth=2)
# из Sklearn
model.fit(X,y)На экран выведется следующее:
- Для нашего алгоритма — CPU times: user 4min 47s, sys: 8.25 ms, total: 4min 47s
Wall time: 4min 47s - Для Sklearn — CPU times: user 53.5 ms, sys: 0 ns, total: 53.5 ms
Wall time: 53.4 ms
Как видите, алгоритм обучается в тысячи раз медленне. В чём причина? Давайте разбираться.
Вспомним, как устроена процедура поиска наилучшего разбиения. Как известно, в общем случае, при размере объектов и при количестве признаков , сложность нахождения наилучшего сплита равна .
Откуда берётся такая сложность?
Во-первых, для эффективного пересчёта ошибки необходимо перед проходом по признаку отсортировать все столбцы, чтобы двигаться от меньшего к наибольшему. Поскольку мы делаем так для каждого признака, это порождает соответствующую сложность. Как видите, признаки мы сортируем, но вся беда кроется в пересчёте ошибки — мы каждый раз загоняем данные в метод mse, который работает за линию. Это и делает пересчёт ошибки таким неэффективным! Ведь тогда сложность нахождения сплита возрастает до , что при больших колоссально замедляет работу алгоритма. Поэтому плавно переходим к следующему пункту.
2. Класс RegressionTree() с быстрым пересчётом ошибки
Что нужно сделать, чтобы быстро пересчитывать ошибку? Взять ручку и бумагу, и расписать, как мы должны изменять формулы.
Допустим, на каком-то шаге уже есть ошибка, посчитанная для объектов. Она имеет следующую формулу: . Тут надо поделить на , но пока давайте это опустим. Мы хотим быстро получить вот такую ошибку — , то есть перекинем ошибку, которую вносит элемент , в другую часть.
Поскольку объект мы перекидываем, ошибку нужно пересчитывать в двух местах — в правой части (без учёта этого объекта), и в левой части (с учётом этого объекта). Но мы без ограничения общности выведем только одну формулу, так как они будут похожи.
Поскольку мы работаем с mse, то нам не повезло: быстрый пересчёт ошибки вывести достаточно сложно, но при работе с другими метриками (например, критерием Джини, если решаем задачу классификации) вывод быстрого пересчёта даётся гораздо легче.
Что ж, давайте начать выводить формулы!
Распишем первый член:
Уф, осталось совсем чуть-чуть. Осталось только выразить требуемую сумму.
А дальше уже понятно, как выражать нужную сумму. Для пересчёта ошибки нам нужно хранить только суммы элементов справа и слева, а также сам новый элемент, который поступил на вход. Теперь ошибка пересчитывается за .
Что ж, давайте реализуем это в коде.
class RegressionTreeFastMse():
'''
Класс RegressionTree с быстрым пересчетом ошибки. Сложность пересчета ошибки
на каждой итерации составляет O(1).
'''
# объявляем характеристики класса
def __init__(self, max_depth=3, min_size=10):
self.max_depth = max_depth
self.min_size = min_size
self.value = 0
self.feature_idx = -1
self.feature_threshold = 0
self.left = None
self.right = None
# процедура обучения - сюда передается обучающая выборка
def fit(self, X, y):
# начальное значение - среднее значение y
self.value = y.mean()
# начальная ошибка - mse между значением в листе (пока нет
# разбиения, это среднее по всем объектам) и объектами
base_error = ((y - self.value) ** 2).sum()
error = base_error
flag = 0
# пришли в максимальную глубину
if self.max_depth <= 1:
return
dim_shape = X.shape[1]
left_value, right_value = 0, 0
for feat in range(dim_shape):
prev_error1, prev_error2 = base_error, 0
idxs = np.argsort(X[:, feat])
# переменные для быстрого переброса суммы
mean1, mean2 = y.mean(), 0
sm1, sm2 = y.sum(), 0
N = X.shape[0]
N1, N2 = N, 0
thres = 1
while thres < N - 1:
N1 -= 1
N2 += 1
idx = idxs[thres]
x = X[idx, feat]
# вычисляем дельты - по ним в основном будет делаться переброс
delta1 = (sm1 - y[idx]) * 1.0 / N1 - mean1
delta2 = (sm2 + y[idx]) * 1.0 / N2 - mean2
# увеличиваем суммы
sm1 -= y[idx]
sm2 += y[idx]
# пересчитываем ошибки за O(1)
prev_error1 += (delta1**2) * N1
prev_error1 -= (y[idx] - mean1)**2
prev_error1 -= 2 * delta1 * (sm1 - mean1 * N1)
mean1 = sm1/N1
prev_error2 += (delta2**2) * N2
prev_error2 += (y[idx] - mean2)**2
prev_error2 -= 2 * delta2 * (sm2 - mean2 * N2)
mean2 = sm2/N2
# пропускаем близкие друг к другу значения
if thres < N - 1 and np.abs(x - X[idxs[thres + 1], feat]) < 1e-5:
thres += 1
continue
# 2 условия, чтобы осуществить сплит - уменьшение ошибки
# и минимальное кол-о эл-в в каждом листе
if (prev_error1 + prev_error2 < error):
if (min(N1,N2) > self.min_size):
# переопределяем самый лучший признак и границу по нему
self.feature_idx, self.feature_threshold = feat, x
# переопределяем значения в листах
left_value, right_value = mean1, mean2
# флаг - значит сделали хороший сплит
flag = 1
error = prev_error1 + prev_error2
thres += 1
# ничего не разделили, выходим
if self.feature_idx == -1:
return
self.left = RegressionTreeFastMse(self.max_depth - 1)
# print ("Левое поддерево с глубиной %d"%(self.max_depth - 1))
self.left.value = left_value
self.right = RegressionTreeFastMse(self.max_depth - 1)
# print ("Правое поддерево с глубиной %d"%(self.max_depth - 1))
self.right.value = right_value
idxs_l = (X[:, self.feature_idx] > self.feature_threshold)
idxs_r = (X[:, self.feature_idx] <= self.feature_threshold)
self.left.fit(X[idxs_l, :], y[idxs_l])
self.right.fit(X[idxs_r, :], y[idxs_r])
def __predict(self, x):
if self.feature_idx == -1:
return self.value
if x[self.feature_idx] > self.feature_threshold:
return self.left.__predict(x)
else:
return self.right.__predict(x)
def predict(self, X):
y = np.zeros(X.shape[0])
for i in range(X.shape[0]):
y[i] = self.__predict(X[i])
return yИзмерим время, которое уходит теперь на обучение, и сравним с аналогом из Sklearn.
%%time
A = RegressionTreeFastMse(4, min_size=5)
A.fit(X,y)
test_mytree = A.predict(X)
test_mytree%%time
model = DecisionTreeRegressor(max_depth=4)
model.fit(X,y)
test_sklearn = model.predict(X)
- Для нашего алгоритма получится — CPU times: user 3.11 s, sys: 2.7 ms, total: 3.11 s
Wall time: 3.11 s. - Для алгоритма из Sklearn — CPU times: user 45.9 ms, sys: 1.09 ms, total: 47 ms
Wall time: 45.7 ms.
Результаты уже поприятнее. Что ж, давайте дальше улучшать алгоритм.
3. Класс RegressionTree() с линейными комбинациями признаков
Сейчас в нашем алгоритме никак не используются взаимосвязи между признаками. Мы фиксируем один признак и смотрим только ортогональные разбиения пространства. Как же научиться использовать линейные взаимосвязи между признаками? То есть искать лучшие разбиения не как , а , где — какое-то число меньше размерности нашего пространства?
Вариантов много, я выделю два, наиболее интересных с моей точки зрения. Оба этих подхода изложены в книжке Фридмана (он и придумал эти деревья).
Приведу картинку, чтобы было понятно, что имеется ввиду:
Во-первых, можно попробовать находить эти линейные разбиения алгоритмически. Понятно, что перебрать все линейные комбинации невозможно, потому что их бесконечное количество, поэтому такой алгоритм должен быть жадным, то есть на каждой итерации улучшать результат предыдущей итерации. Основную идею этого алгоритма можно прочитать в книжке, также оставлю здесь ссылку на репозиторий моего друга и коллеги с реализацией этого алгоритма.
Во-вторых, если не отходить далеко от идеи поиска наилучшего ортогонального разбиения, то как нам модифицировать датасет, чтобы и информация о взаимосвязи признаков использовалась, и поиск был по ортогональным разбиениям? Правильно, сделать какие-то преобразования исходных признаков в новые. Например, можно взять суммы каких-то комбинаций признаков и искать разбиения уже по ним. Такой метод хуже ложится в алгоритмическую концепцию, но свою задачу он выполняет — ищет ортогональные разбиения уже в каких-то взаимосвязях признаков.
Что ж, давайте реализуем — будем добавлять в качестве новых признаков, например, всевозможные комбинации сумм признаков , где . Замечу, что сложность алгоритма в этом случае возрастёт, понятно во сколько раз. Ну и чтобы считалось побыстрее, будем использовать cython.
%load_ext Cython
%%cython -a
import itertools
import numpy as np
cimport numpy as np
from itertools import *
cdef class RegressionTreeCython:
cdef public int max_depth
cdef public int feature_idx
cdef public int min_size
cdef public int averages
cdef public np.float64_t feature_threshold
cdef public np.float64_t value
cpdef RegressionTreeCython left
cpdef RegressionTreeCython right
def __init__(self, max_depth=3, min_size=4, averages=1):
self.max_depth = max_depth
self.min_size = min_size
self.value = 0
self.averages = averages
self.feature_idx = -1
self.feature_threshold = 0
self.left = None
self.right = None
def data_transform(self, np.ndarray[np.float64_t, ndim=2] X, list index_tuples):
# преобразование данных - дополнение новыми признаками в виде суммы
for i in index_tuples:
# добавляем суммы, индексы которых переданы в качестве аргумента
X = np.hstack((X, X[:, i[0]:(i[1]+1)].sum(axis=1).reshape(X.shape[0],1)))
return X
def fit(self, np.ndarray[np.float64_t, ndim=2] X, np.ndarray[np.float64_t, ndim=1] y):
cpdef np.float64_t mean1 = 0.0
cpdef np.float64_t mean2 = 0.0
cpdef long N = X.shape[0]
cpdef long N1 = X.shape[0]
cpdef long N2 = 0
cpdef np.float64_t delta1 = 0.0
cpdef np.float64_t delta2 = 0.0
cpdef np.float64_t sm1 = 0.0
cpdef np.float64_t sm2 = 0.0
cpdef list index_tuples
cpdef list stuff
cpdef long idx = 0
cpdef np.float64_t prev_error1 = 0.0
cpdef np.float64_t prev_error2 = 0.0
cpdef long thres = 0
cpdef np.float64_t error = 0.0
cpdef np.ndarray[long, ndim=1] idxs
cpdef np.float64_t x = 0.0
# такую процедуру необходимо сделать только один раз
# генерируем индексы, по которым суммируем признаки
if self.averages:
stuff = list(range(0,X.shape[1],1))
index_tuples = list(combinations(stuff,2))
# выполняем преобразование данных
X = self.data_transform(X, index_tuples)
# начальное значение - среднее значение y
self.value = y.mean()
# начальная ошибка - mse между значением в листе (пока нет разбиения,
# это среднее по всем объектам) и объектами
base_error = ((y - self.value) ** 2).sum()
error = base_error
flag = 0
# пришли на максимальную глубину
if self.max_depth <= 1:
return
dim_shape = X.shape[1]
left_value, right_value = 0, 0
for feat in range(dim_shape):
prev_error1, prev_error2 = base_error, 0
idxs = np.argsort(X[:, feat])
# переменные для быстрого переброса суммы
mean1, mean2 = y.mean(), 0
sm1, sm2 = y.sum(), 0
N = X.shape[0]
N1, N2 = N, 0
thres = 1
while thres < N - 1:
N1 -= 1
N2 += 1
idx = idxs[thres]
x = X[idx, feat]
# вычисляем дельты - по ним в основном будет делаться переброс
delta1 = (sm1 - y[idx]) * 1.0 / N1 - mean1
delta2 = (sm2 + y[idx]) * 1.0 / N2 - mean2
# увеличиваем суммы
sm1 -= y[idx]
sm2 += y[idx]
# пересчитываем ошибки за O(1)
prev_error1 += (delta1**2) * N1
prev_error1 -= (y[idx] - mean1)**2
prev_error1 -= 2 * delta1 * (sm1 - mean1 * N1)
mean1 = sm1/N1
prev_error2 += (delta2**2) * N2
prev_error2 += (y[idx] - mean2)**2
prev_error2 -= 2 * delta2 * (sm2 - mean2 * N2)
mean2 = sm2/N2
# пропускаем близкие друг к другу значения
if thres < N - 1 and np.abs(x - X[idxs[thres + 1], feat]) < 1e-5:
thres += 1
continue
# 2 условия осуществления сплита - уменьшение ошибки
# и минимальное кол-во элементов в в каждом листе
if (prev_error1 + prev_error2 < error):
if (min(N1,N2) > self.min_size):
# переопределяем самый лучший признак и границу по нему
self.feature_idx, self.feature_threshold = feat, x
# переопределяем значения в листах
left_value, right_value = mean1, mean2
# флаг - значит сделали хороший сплит
flag = 1
error = prev_error1 + prev_error2
thres += 1
# self.feature_idx - индекс самой крутой разделяющей фичи.
# Если это какая-то из сумм, и если есть какое-то экспертное знание
# о данных, то интересно посмотреть, что значит эта сумма
# ничего не разделили, выходим
if self.feature_idx == -1:
return
# вызываем потомков дерева
self.left = RegressionTreeCython(self.max_depth - 1, averages=0)
self.left.value = left_value
self.right = RegressionTreeCython(self.max_depth - 1, averages=0)
self.right.value = right_value
# новые индексы для обучения потомков
idxs_l = (X[:, self.feature_idx] > self.feature_threshold)
idxs_r = (X[:, self.feature_idx] <= self.feature_threshold)
# обучение потомков
self.left.fit(X[idxs_l, :], y[idxs_l])
self.right.fit(X[idxs_r, :], y[idxs_r])
def __predict(self, np.ndarray[np.float64_t, ndim=1] x):
if self.feature_idx == -1:
return self.value
if x[self.feature_idx] > self.feature_threshold:
return self.left.__predict(x)
else:
return self.right.__predict(x)
def predict(self, np.ndarray[np.float64_t, ndim=2] X):
# чтобы делать предикты, нужно также добавить суммы в тестовую выборку
if self.averages:
stuff = list(range(0,X.shape[1],1))
index_tuples = list(itertools.combinations(stuff,2))
X = self.data_transform(X, index_tuples)
y = np.zeros(X.shape[0])
for i in range(X.shape[0]):
y[i] = self.__predict(X[i])
return y4. Сравнение результатов
Что ж, давайте сравним результаты. Будем сравнивать три алгоритма с одинаковыми параметрами — дерево из Sklearn, наше обычное дерево и наше дерево с новыми признаками. Поделим много раз наш датасет на обучающий и тестовый наборы, и посчитаем ошибку.
from sklearn.model_selection import KFold
def get_metrics(X,y,n_folds=2, model=None):
kf = KFold(n_splits=n_folds, shuffle=True)
kf.get_n_splits(X)
er_list = []
for train_index, test_index in kf.split(X):
X_train, X_test = X[train_index], X[test_index]
y_train, y_test = y[train_index], y[test_index]
model.fit(X_train,y_train)
predict = model.predict(X_test)
er_list.append(mse(y_test, predict))
return er_listТеперь прогоним всех алгоритмы.
import matplotlib.pyplot as plt
data = datasets.fetch_california_housing()
X = np.array(data.data)
y = np.array(data.target)
er_sklearn_tree = get_metrics(X,y,30,DecisionTreeRegressor(max_depth=4, min_samples_leaf=10))
er_fast_mse_tree = get_metrics(X,y,30,RegressionTreeFastMse(4, min_size=10))
er_averages_tree = get_metrics(X,y,30,RegressionTreeCython(4, min_size=10))
%matplotlib inline
data = [er_sklearn_tree, er_fast_mse_tree, er_averages_tree]
fig7, ax7 = plt.subplots()
ax7.set_title('')
ax7.boxplot(data, labels=['Sklearn Tree', 'Fast Mse Tree', 'Averages Tree'])
plt.grid()
plt.show()Результаты:
Наше обычное дерево проиграло Sklearn (оно и понятно: Sklearn хорошо оптимизирован, и в нем по умолчанию в дереве используется ещё много параметров, которые мы не учитываем), однако при добавлении сумм результат становится приятнее.
Подведем итоги: мы научились с нуля писать решающие деревья, научились улучшать их работу и проверили их эффективность на реальных датасетах, сравнив с алгоритмом из Sklearn. Однако методами, которые приведены здесь, улучшение работы алгоритмов не ограничивается, поэтому имейте ввиду, что предложенный код можно сделать ещё лучше. В следующей статье на основе этих алгоритмов будем писать бустинг.
Всем успехов!
Деревья решений: общие принципы | Loginom
Деревья решений — один из методов автоматического анализа данных. Разбираем общие принципы работы и области применения.
Деревья решений являются одним из наиболее эффективных инструментов интеллектуального анализа данных и предсказательной аналитики, которые позволяют решать задачи классификации и регрессии.
Они представляют собой иерархические древовидные структуры, состоящие из решающих правил вида «Если …, то …». Правила автоматически генерируются в процессе обучения на обучающем множестве и, поскольку они формулируются практически на естественном языке (например, «Если объём продаж более 1000 шт., то товар перспективный»), деревья решений как аналитические модели более вербализуемы и интерпретируемы, чем, скажем, нейронные сети.
Поскольку правила в деревьях решений получаются путём обобщения множества отдельных наблюдений (обучающих примеров), описывающих предметную область, то по аналогии с соответствующим методом логического вывода их называют индуктивными правилами, а сам процесс обучения — индукцией деревьев решений.
В обучающем множестве для примеров должно быть задано целевое значение, т.к. деревья решений являются моделями, строящимися на основе обучения с учителем. При этом, если целевая переменная дискретная (метка класса), то модель называют деревом классификации, а если непрерывная, то деревом регрессии.
Основополагающие идеи, послужившие толчком к появлению и развитию деревьев решений, были заложены в 1950-х годах в области исследований моделирования человеческого поведения с помощью компьютерных систем. Среди них следует выделить работы К. Ховеленда «Компьютерное моделирование мышления»[1] и Е. Ханта и др. «Эксперименты по индукции»[2].
Дальнейшее развитие деревьев решений как самообучающихся моделей для анализа данных связано с именами Джона Р. Куинлена[3], который разработал алгоритм ID3 и его усовершенствованные модификации С4.5 и С5.0, а так же Лео Бреймана[4], который предложил алгоритм CART и метод случайного леса.
Терминология
Введем в рассмотрение основные понятия, используемые в теории деревьев решений.
Структура дерева решений
Собственно, само дерево решений — это метод представления решающих правил в иерархической структуре, состоящей из элементов двух типов — узлов (node) и листьев (leaf). В узлах находятся решающие правила и производится проверка соответствия примеров этому правилу по какому-либо атрибуту обучающего множества.
В простейшем случае, в результате проверки, множество примеров, попавших в узел, разбивается на два подмножества, в одно из которых попадают примеры, удовлетворяющие правилу, а в другое — не удовлетворяющие.
Затем к каждому подмножеству вновь применяется правило и процедура рекурсивно повторяется пока не будет достигнуто некоторое условие остановки алгоритма. В результате в последнем узле проверка и разбиение не производится и он объявляется листом. Лист определяет решение для каждого попавшего в него примера. Для дерева классификации — это кл
как Деревья Решений принимают решения / Блог компании OTUS. Онлайн-образование / Хабр
Перевод статьи подготовлен в преддверии старта курса «Machine Learning».
Вы специалист по Data Science, который сейчас идет по тропе обучения. И вы уже прошли долгий путь с того момента, как написали свою первую строку кода на Python или R. Вы знаете Scikit-Learn как свои пять пальцев. Теперь вы больше сидите на Kaggle, чем на Facebook. Вы не новичок в создании потрясающих случайных лесов и других моделей ансамбля деревьев решений, которые отлично справляются со своей работой. Тем не менее, вы знаете, что ничего не добьетесь, если не будете всесторонне развиваться. Вам хочется копнуть глубже и разобраться в тонкостях и концепциях, лежащих в основе популярных моделей машинного обучения. Что ж, мне тоже.
Сегодня я расскажу о понятии энтропии — одной из важнейших тем статистики, а позже мы поговорим о понятии Information Gain (информационный выигрыш) и выясним, почему эти фундаментальные концепции формируют основу того, как исходя из полученных данных строятся деревья решений.
Хорошо. А теперь преступим.
Что такое энтропия? Говоря простым языком, энтропия – это не что иное, как мера беспорядка. (Еще ее можно считать мерой чистоты, и скоро вы увидите почему. Но мне больше нравится беспорядок, потому что он звучит круче.)
Математическая формула энтропии выглядит следующим образом:
Энтропия. Иногда записывается как H.
Здесь pi – это частотная вероятность элемента/класса i наших данных. Для простоты, предположим, что у нас всего два класса: положительный и отрицательный. Тогда i будет принимать значение либо «+», либо «-». Если бы у нас было в общей сложности 100 точек в нашем наборе данных, 30 из которых принадлежали бы положительному классу, а 70 – отрицательному, тогда p+ было бы равно 3/10, а p— будет 7/10. Тут все просто.
Если я буду вычислять энтропию классов из этого примера, то вот, что я получу, воспользовавшись формулой выше:
Энтропия составит примерно 0,88. Такое значение считается довольно высоким, то есть у нас высокий уровень энтропии или беспорядка (то есть низкое значение чистоты). Энтропия измеряется в диапазоне от 0 до 1. В зависимости от количества классов в вашем наборе данных значение энтропии может оказаться больше 1, но означать это будет все то же, что уровень беспорядка крайне высок. Для простоты объяснения в сегодняшней статье энтропия у нас будет находиться в пределах от 0 до 1.
Взгляните на график ниже.
На оси X отражено количество точек из положительного класса в каждой окружности, а на оси Y – соответствующие им энтропии. Вы сразу же можете заметить перевернутую U-образную форму графика. Энтропия будет наименьшей в экстремумах, когда внутри окружности нет положительных элементов в принципе, либо когда в них только положительные элементы. То есть, когда в окружности одинаковые элементы – беспорядок будет равен 0. Энтропия окажется наиболее высокой в середине графика, где внутри окружности будут равномерно распределены положительные и отрицательные элементы. Здесь будет достигаться самая большая энтропия или беспорядок, поскольку не будет преобладающих элементов.
Есть ли какая-то причина тому, что энтропия измеряется именно с помощью логарифма по основанию 2 или же почему энтропия измеряется между 0 и 1, а не в ином диапазоне? Нет, причины нет. Это всего лишь метрика. Не так важно понимать, почему так происходит. Важно знать, как вычисляется и как работает то, что мы получили выше. Энтропия – это мера беспорядка или неопределенности, а цель моделей машинного обучения и специалистов по Data Science в целом состоит в том, чтобы эту неопределенность уменьшить.
Теперь мы знаем, как измеряется беспорядок. Дальше нам понадобится величина для измерения уменьшения этого беспорядка в дополнительной информации (признаках/независимых переменных) целевой переменной/класса. Вот тут в игру вступает Information Gain или информационный выигрыш. С точки зрения математики его можно записать так:
Мы просто вычтем энтропию Y от X, из энтропии Y, чтобы вычислить уменьшение неопределенности относительно Y при условии наличия информации X об Y. Чем сильнее уменьшается неопределенность, тем больше информации может быть получено из Y об X.
Давайте рассмотрим простой пример таблицы сопряженности, чтобы приблизиться к вопросу о том, как деревья решений используют энтропию и информационный выигрыш, чтобы решить по какому признаку разбивать узлы в процессе обучения на данных.
Пример: Таблица сопряженности
Здесь нашей целевой переменной будет Liability, которая может принимать всего два значения: “Normal” и “High”. Еще у нас есть всего один признак, который называется Credit Rating, он распределяет значения по трем категориям: “Excellent”, “Good” и “Poor”. Всего было сделано 14 наблюдений. 7 из них относятся к классу Normal Liability, и еще 7 к классу High Liability. Это уже само по себе разделение.
Если мы посмотрим на итоговую сумму значений в первой строке, то увидим, что у нас есть 4 наблюдения со значением Excellent по признаку Credit Rating. Более того, я даже могу сказать, что моя целевая переменная разбивается по “Excellent” Credit Rating. Среди наблюдений со значением “Excellent” по признаку Credit Rating, есть 3, которые относятся к классу Normal Liability и 1, которое относится к High Liability. Аналогично я могу вычислить подобные результаты для других значений Credit Rating из таблицы сопряженности.
Для примера я использую вышеприведенную таблицу сопряженности, чтобы самостоятельно вычислить энтропию нашей целевой переменной, а затем вычислить ее энтропию с учетом дополнительной информации признака Credit Rating. Так я смогу рассчитать сколько дополнительной информации мне даст Credit Rating для целевой переменной Liability.
Итак, приступим.
Энтропия нашей целевой переменной равна 1, что значит максимальный беспорядок из-за равномерного распределения элементов между “Normal” и “High”. Следующим шагом мы рассчитаем энтропию целевой переменной Liability с учетом дополнительной информации из Credit Rating. Для этого мы рассчитаем энтропию Liability для каждого значения Credit Rating и сложим их с помощью среднего взвешенного отношения наблюдений для каждого значения. Почему мы используем среднее взвешенное, станет яснее, когда мы будем говорить о деревьях решений.
Мы получили энтропию нашей целевой переменной с учетом признака Credit Rating. Теперь мы можем вычислить информационный выигрыш Liability от Credit Rating, чтобы понять, насколько этот признак информативен.
Знание Credit Rating помогло нам уменьшить неопределенность нашей целевой переменной Liability. Разве не так должен работать хороший признак? Давать нам информацию о целевой переменной? Что ж, именно по этой причине деревья решений используют энтропию и информационный выигрыш. Они определяют по какому признаку разбивать узлы на ветви, чтобы с каждым следующим разбиением приближаться к целевой переменной, а также, чтобы понять, когда построение дерева нужно завершить! (в дополнение к гиперпараметрам, таким как максимальная глубина, конечно же). Давайте посмотрим, как это все работает на следующем примере с использованием деревьев решений.
Пример: Дерево Решений
Давайте рассмотрим пример построения дерева решений, с целью предсказания того, будет ли кредит человека списан или нет. В популяции будет 30 экземпляров. 16 будут принадлежать классу “write-off”, а другие 14 к “non-write-off”. У нас будет два признака, а именно “Balance”, который может принимать два значения: “< 50K” или “>50K”, и “Residence”, который принимает три значения: “OWN”, “RENT” или “OTHER”. Я продемонстрирую, как алгоритм дерева решений будет принимать решение о том, какой атрибут разбить первым и какой признак будет более информативным, то есть лучше всего устраняет неопределенность целевой переменной с помощью использования концепции энтропии и информационного выигрыша.
Признак 1: Balance
Здесь кружки относятся к классу “write-off”, а звездочки – к классу “non-write-off”. Разбиение корня-родителя по атрибуту Balance даст нам 2 узла-наследника. В левом узле будет 13 наблюдений, где 12/13 (вероятность 0,92) наблюдений из класса “write-off”, и всего 1/13 (вероятность 0,08) наблюдений из класса “non-write-off”. В правом узле будет 17 из 30 наблюдений, где 13/17 (вероятность 0,76) наблюдений из класса “write-off” и 4/17 (вероятность 0,24) наблюдений из класса “non-write-off”.
Давайте вычислим энтропию корня и посмотрим, насколько дерево сможет уменьшить неопределенность с помощью разбиения по признаку Balance.
Разбиение по признаку Balance даст информационный выигрыш равный 0,37. Давайте посчитаем то же самое для признака Residence и сравним результаты.
Признак 2: Residence
Разбиение дерева по признаку Residence даст вам 3 узла-наследника. Левый узел-наследник получит 8 наблюдений, где 7/8 (вероятность 0,88) наблюдений из класса “write-off” и всего 1/8 (вероятность 0,12) наблюдений из класса “non-write-off”. Средний узел-наследник получит 10 наблюдений, где 4/10 (вероятность 0,4) наблюдений из класса “write-off” и 6/10 (вероятность 0,6) наблюдений из класса “non-write-off”. Правый узел-наследник получит 12 наблюдений, где 5/12 (вероятность 0,42) наблюдений из класса “write-off” и 7/12 (вероятность 0,58) наблюдений из класса “non-write-off”. Мы уже знаем энтропию узла-родителя, поэтому мы просто вычислим энтропию после разбиения, чтобы понять информационный выигрыш от признака Residence.
Информационный выигрыш от признака Balance почти в 3 раза больше, чем от Residence! Если вы снова взглянете на графы, то увидите, что разбиение по признаку Balance даст более чистые узлы-наследники, чем по Residence. Однако самый левый узел в Residence тоже достаточно чистый, но именно тут в игру вступает среднее взвешенное. Несмотря на то, что узел чистый, в нем меньше всего наблюдений, и его результат теряется при общем пересчете и вычислении итоговой энтропии по Residence. Это важно, поскольку мы ищем общую информативность признака и не хотим, чтобы конечный результат был искажен редким значением признака.
Сам по себе признак Balance дает больше информации о целевой переменной, чем Residence. Таким образом энтропия нашей целевой переменной уменьшается. Алгоритм дерева решений использует этот результат, чтобы сделать первое разбиение по признаку Balance, чтобы позже принять решение по какому признаку разбивать следующие узлы. В реальном мире, когда признаков больше двух, первое разбиение происходит по наиболее информативному признаку, а затем при каждом следующем разбиении будет пересчитываться информационный выигрыш относительно каждого дополнительного признака, поскольку он не будет таким же, как информационный выигрыш от каждого признака по отдельности. Энтропия и информационный выигрыш должны быть рассчитаны после того, как произойдет одно или несколько разбиений, что повлияет на итоговый результат. Дерево решений будет повторять этот процесс по мере своего роста в глубину, пока оно либо не достигнет определенной глубины, либо какое-то разбиение не приведет к более высокому информационному выигрышу за определенным порогом, который также может быть указан в качестве гиперпараметра!
Вот и все! Теперь вы знаете, что такое энтропия, информационный выигрыш и как они вычисляются. Теперь вы понимаете как дерево решений само по себе или в составе ансамбля принимает решения о наилучшем порядке разбиения по признакам и решает, когда остановиться при обучении на имеющихся данных. Что ж, если вам придется объяснять кому-то как работают деревья решений, надеюсь, вы достойно справитесь с этой задачей.
Надеюсь, вы извлекли что-нибудь полезное для себя из этой статьи. Если я что-то упустил или выразился неточно, напишите мне об этом. Я буду вам очень признателен! Спасибо.
Узнать подробнее о курсе.
Энтропия и деревья принятия решений / Хабр
Деревья принятия решений являются удобным инструментом в тех случаях, когда требуется не просто классифицировать данные, но ещё и объяснить почему тот или иной объект отнесён к какому-либо классу.
Давайте сначала, для полноты картины, рассмотрим природу энтропии и некоторые её свойства. Затем, на простом примере, увидим каким образом использование энтропии помогает при создании классификаторов. После чего, в общих чертах сформулируем алгоритм построения дерева принятия решений и его особенности.
Комбинаторная энтропия
Рассмотрим множество разноцветных шариков: 2 красных, 5 зеленых и 3 желтых. Перемешаем их и расположим в ряд. Назовём эту операцию перестановкой:
Давайте посчитаем количество различных перестановок, учитывая что шарики одного цвета — неразличимы.
Если бы каждый шарик имел уникальный цвет, то количество перестановок было бы 10!, но если два шарика одинакового цвета поменять местами — новой перестановки не получится. Таким образом, нужно исключить 5! перестановок зеленых шариков между собой (а также, 3! желтых и 2! красных). Поэтому, в данном случае, решением будет:
Мультиномиальний коэффициент позволяет рассчитать количество перестановок в общем случае данной задачи: (Ni — количество одинаковых шариков каждого цвета).
Все перестановки можно пронумеровать числами от 0 до (W — 1). Следовательно, строка из log2(W) бит однозначно кодирует каждую из перестановок.
Поскольку перестановка состоит из N шариков, то среднее количество бит, приходящихся на один элемент перестановки можно выразить как:
Эта величина называется комбинаторной энтропией:
Чем более однородно множество (преобладают шарики какого-то одного цвета) — тем меньше его комбинаторная энтропия, и наоборот — чем больше различных элементов в множестве, тем выше его энтропия.
Энтропия Шеннона
Давайте рассмотрим подробнее описанное выше выражение для энтропии:
Учитывая свойства логарифмов, преобразуем формулу следующим образом:
Предположим, что количество шариков достаточно велико для того чтобы воспользоваться формулой Стирлинга:
Применив формулу Стирлинга, получаем:
(где k — коэффициент перехода к натуральным логарифмам)
Учитывая что выражение можно преобразовать:
Поскольку общее количество шариков N, а количество шариков i-го цвета — Ni, то вероятность того, что случайно выбранный шарик будет именно этого цвета является: . Исходя из этого, формула для энтропии примет вид:
Данное выражение является энтропией Шенонна.
При более тщательном выводе можно показать, что энтропия Шенонна является пределом для комбинаторной энтропии, поэтому её значение всегда несколько больше значения комбинаторной энтропии.
Сравнение двух энтропий представлено на следующем рисунке, который рассчитан для множеств, содержащих два типа объектов — А и В (суммарное количество элементов в каждом множестве — 100):
Термодинамика
Аналогичные выражения для энтропии можно получить в термодинамике:
- Исходя из микроскопических свойств веществ: опираясь на постулаты статистической термодинамики (в данном случае оперируют неразличимыми частицами, которые находятся в разных энергетических состояниях).
- Исходя из макроскопических свойств веществ: путем анализа работы тепловых машин.
Понятие энтропии играет фундаментальную роль в термодинамике, фигурируя в формулировке Второго начала термодинамики: если изолированная макроскопическая система находится в неравновесном состоянии, то наиболее вероятным является её самочинный переход в состояние с большим значением энтропии:
Демон Максвелла
Чтобы подчеркнуть статистическую природу Второго начала термодинамики в 1867 году Джеймс Максвелл предложил мысленный эксперимент: «Представим сосуд, заполненный газом определённой температуры, сосуд разделен перегородкой с заслонкой, которую демон открывает чтобы пропускать быстрые частицы в одну сторону, а медленные — в другую. Следовательно, спустя некоторое время, в одной части сосуда сконцентрируются быстрые частицы, а в другой — медленные. Таким образом, вопреки Второму началу термодинамики, демон Максвелла может уменьшать энтропию замкнутой системы»:
Позже, Лео Сциллард разрешил парадокс, но это обсуждение несколько выходит за рамки данной статьи.
Демон Максвелла == Классификатор
Если вместо «быстрых» и «медленных» частиц рассматривать объекты, принадлежащие к различным классам, тогда демона Максвелла можно рассматривать в качестве своеобразного классификатора.
Сама формулировка парадокса подсказывает алгоритм обучения: нужно находить правила (предикаты), на основе которых разбивать тренировочный набор данных, таким образом, чтобы уменьшалось среднее значение энтропии. Процесс деления множества данных на части, приводящий к уменьшению энтропии, можно рассматривать как производство информации.
Разбив исходный набор данных на две части по некому предикату, можно рассчитать энтропию каждого подмножества, после чего рассчитать среднее значение энтропии — если оно окажется меньшим чем энтропия исходного множества, значит предикат содержит некую обобщающую информацию о данных.
Для примера, рассмотрим множество двухцветных шариков, в котором цвет шарика зависит только от координаты х:
(из практических соображений, при расчётах удобно использовать энтропию Шеннона)
Из рисунка видно что если разделить множество на две части, при условии что одна часть будет содержать все элементы с координатой х ≤ 12, а другая часть — все элементы, у которых х > 12, то средняя энтропия будет меньше исходной на ∆S. Это значит, что данный предикат обобщает некоторую информацию о данных (легко заметить, что при х > 12 — почти все шарики жёлтые).
Если использовать относительно простые предикаты («больше», «меньше», «равно» и т.п.) — то, скорее всего, одного правила будет недостаточно для создания полноценного классификатора. Но процедуру поиска предикатов можно повторять рекурсивно для каждого подмножества. Критерием остановки является нулевое (или очень маленькое) значение энтропии. В результате получается древовидный набор условий, который называется Деревом принятия решений:
Листьями дерева принятия решений являются классы. Чтобы классифицировать объект при помощи дерева принятия решений — нужно последовательно спускаться по дереву (выбирая направление основываясь на значениях предикатов применяемых к классифицируемому объекту). Путь от корня дерева до листьев можно трактовать как объяснение того, почему тот или иной объект отнесён к какому-либо классу.
В рассмотренном примере, для упрощения, все объекты характеризуются только одним атрибутом — координатой х, но точно такой же подход можно применить и к объектам со множественными атрибутами.
Также, не накладывается ограничений на значения атрибутов объекта — они могут иметь как категориальную, так и числовую или логическую природу. Нужно только определить предикаты, которые умеют правильно обрабатывать значения атрибутов (например, вряд ли есть смысл использовать предикаты «больше» или «меньше» для атрибутов с логическими значениями).
Алгоритм построения дерева принятия решений
В общих чертах, алгоритм построения дерева принятия решений можно описать следующим образом:
(мне кажется, что алгоритм описанный «человеческим языком» легче для восприятия)
s0 = вычисляем энтропию исходного множества
Если s0 == 0 значит:
Все объекты исходного набора, принадлежат к одному классу
Сохраняем этот класс в качестве листа дерева
Если s0 != 0 значит:
Ищем предикат, который разбивает исходное множество таким образом чтобы уменьшилось среднее значение энтропии
Найденный предикат является частью дерева принятия решений, сохраняем его
Разбиваем исходное множество на подмножества, согласно предикату
Повторяем данную процедуру рекурсивно для каждого подмножества
Что значит «ищем предикат»?
Как вариант, можно считать, что на основе каждого элемента исходного множества можно построить предикат, который разбивает множество на две части. Следовательно, алгоритм можно переформулировать:
s0 = вычисляем энтропию исходного множества
Если s0 == 0 значит:
Все объекты исходного набора, принадлежат к одному классу
Сохраняем этот класс в качестве листа дерева
Если s0 != 0 значит:
Перебираем все элементы исходного множества:
На основе каждого элемента генерируем предикат, который разбивает исходное множество на два подмножества
Рассчитываем среднее значение энтропии
Вычисляем ∆S
Нас интересует предикат, с наибольшим значением ∆S
Найденный предикат является частью дерева принятия решений, сохраняем его
Разбиваем исходное множество на подмножества, согласно предикату
Повторяем данную процедуру рекурсивно для каждого подмножества
Как можно «на основе каждого элемента множества генерировать предикат»?
В самом простом случае, можно использовать предикаты, которые относятся только к значению какого-нибудь атрибута (например «x ≥ 12», или «цвет == жёлтый» и т.п.). Следовательно, алгоритм примет вид:
s0 = вычисляем энтропию исходного множества
Если s0 == 0 значит:
Все объекты исходного набора, принадлежат к одному классу
Сохраняем этот класс в качестве листа дерева
Если s0 != 0 значит:
Перебираем все элементы исходного множества:
Для каждого элемента перебираем все его атрибуты:
На основе каждого атрибута генерируем предикат, который разбивает исходное множество на два подмножества
Рассчитываем среднее значение энтропии
Вычисляем ∆S
Нас интересует предикат, с наибольшим значением ∆S
Найденный предикат является частью дерева принятия решений, сохраняем его
Разбиваем исходное множество на подмножества, согласно предикату
Повторяем данную процедуру рекурсивно для каждого подмножества
На самом деле, если рассматривать классифицируемые объекты как точки в многомерном пространстве, то можно увидеть, что предикаты, разделяющие множество данных на подмножества, являются гиперплоскостями, а процедура обучения классификатора является поиском ограничивающих объёмов (в общем, как и для любого другого вида классификаторов).
Главным достоинством является, получаемая в результате, древовидная структура предикатов, которая позволяет интерпретировать результаты классификации (хотя в силу своей «жадности», описанный алгоритм, не всегда позволяет обеспечить оптимальность дерева в целом).
Одним из краеугольных камней описанного алгоритма является критерий остановки при построении дерева. В описанных выше псевдокодах, я прекращал построение дерева только при достижении множества, в котором все элементы принадлежат к одному классу (энтропия == 0). Такой подход позволяет полностью подогнать дерево принятия решений под обучающую выборку данных, но это не всегда эффективно с практической точки зрения (полученное дерево является переобученным).
Одним из возможных критериев остановки может быть небольшое значение ∆S. Но при таком подходе, всё же, невозможно дать универсальный совет: при каких значениях ∆S следует прекращать построение дерева.
Random forest
Чтобы не заморачиваться над критерием остановки при построении дерева, можно поступить следующим образом: выбирать случайные подмножества из обучающей выборки данных, и для каждого подмножества строить своё дерево принятия решений (в принципе, даже не важно какой критерий остановки будет использоваться):
Полученный в результате ансамбль деревьев (упрощённая версия Random forest) можно использовать для классификации, прогоняя классифицируемый объект через все деревья. Каждое дерево как будто «голосует» за принадлежность объекта к определённому классу. Таким образом, на основе того, какая часть деревьев проголосовала за тот или иной класс — можно заключить с какой вероятностью объект принадлежит к какому либо классу.
Данный метод позволяет достаточно адекватно обрабатывать пограничные области данных:
Можно заметить, что единичное дерево принятия решений описывает область, которая полностью содержит красные точки, в то время как ансамбль деревьев описывает фигуру, которая более близка к окружности.
Если есть желание поэкспериментировать
Я создал небольшое приложение, для сравнения дерева принятия решений и random forest. При каждом запуске приложения создаётся случайный набор данных, соответствующий красному кругу на зелёном фоне, а в результате выполнения приложения получается картинка, типа той, которая изображена выше.
- У Вас должна быть установлена среда выполнения Java
- Загрузите отсюда бинарник dec_tree_demo.jar
- Для запуска приложения наберите в командной строке:
java -jar dec_tree_demo.jar out.png
Исходники есть на гитхабе.
Вместо заключения
Деревья принятия являются неплохой альтернативой, в тех случаях когда надоедает подстраивать абстрактные веса и коэффициенты в других алгоритмах классификации, либо, когда приходится обрабатывать данные со смешанными (категориальными и числовыми) атрибутами.
Дополнительная информа
Классификация и регрессия с помощью деревьев принятия решений / Хабр
Введение
В данной статье сделан обзор деревьев принятия решений (Decision trees) и трех основных алгоритмов, использующих эти деревья для построение классификационных и регрессионных моделей. В свою очередь будет показано, как деревья принятия решения, изначально ориентированные на классификацию, используются для регрессии.
Деревья принятия решений
Дерево принятия решений — это дерево, в листьях которого стоят значения целевой функции, а в остальных узлах — условия перехода (к примеру “ПОЛ есть МУЖСКОЙ”), определяющие по какому из ребер идти. Если для данного наблюдения условие истина то осуществляется переход по левому ребру, если же ложь — по правому.
Классификация
На изображении приведенном выше показано дерево классификации ирисов. Классификация идет на три класса (на изображении помечены — красным, синим и зеленым), и проходит по параметрам: длина\толщина чашелистика (SepalLen, SepalWid) и длина\толщина лепестка (PetalLen, PetalWid). Как видим, в каждом узле стоит его принадлежность к классу (в зависимости от того, каких элементов больше попало в этот узел), количество попавших туда наблюдений N, а так же количество каждого класса. Так же не в листовых вершинах есть условие перехода — в одну из дочерних. Соответственно, по этим условиям и разбивается выборка. В результате, это дерево почти идеально (6 из 150 неправильно) классифицировало исходные данные (именно исходные — те на которых оно обучалось).
Регрессия
Если при классификации в листах стоят результирующие классы, при регрессии же стоит какое-то значение целевой функции.
На выше приведенном изображении регрессионное дерево, для определения цены на землю в городе Бостон в 1978 году, в зависимости от параметров RM — количество комнат, LSTAT — процент неимущих и нескольких других параметров (более детально можно посмотреть в [4]). Соответственно, здесь в каждом узле мы видим среднее значение (Avg) и стандартное отклонение (STD) значений целевой функции наблюдений попавших в эту вершину. Общее количество наблюдений попавших в узел N. Результатом регрессии будет то значение среднего (Avg), в какой узел попадёт наблюдение.
Таким образом изначально классификационное дерево, может работать и для регрессии. Однако при таком подходе, обычно требуются большие размеры дерева, чем при классификации, что бы достигнуть хороших результатов регрессии.
Основные методы
Ниже перечислены несколько основных методов, которые используют деревья принятия решений. Их краткое описание, плюсы и минусы.
CART
CART (англ. Classification and regression trees — Классификационные и регрессионные деревья) был первым из методов, придуманный в 1983 четверкой известных ученых в области анализа данных: Leo Breiman, Jerome Friedman, Richard Olshen and Stone [1].
Суть этого алгоритма состоит в обычном построении дерева принятия решений, не больше и не меньше.
На первой итерации мы строим все возможные (в дискретном смысле) гиперплоскости, которые разбивали бы наше пространство на два. Для каждого такого разбиения пространства считается количество наблюдений в каждом из подпространств разных классов. В результате выбирается такое разбиение, которое максимально выделило в одном из подпространств наблюдения одного из классов. Соответственно, это разбиение будет нашим корнем дерева принятия решений, а листами на данной итерации будет два разбиения.
На следующих итерациях мы берем один худший (в смысле отношения количества наблюдений разных классов) лист и проводим ту же операцию по разбиению его. В результате этот лист становится узлом с каким-то разбиением, и двумя листами.
Продолжаем так делать, пока не достигнем ограничения по количеству узлов, либо от одной итерации к другой перестанет улучшаться общая ошибка (количество неправильно классифицированных наблюдений всем деревом). Однако, полученное дерево будет “переобучено” (будет подогнано под обучающую выборку) и, соответственно, не будет давать нормальные результаты на других данных. Для того, что бы избежать “переобучения”, используют тестовые выборки (либо кросс-валидацию) и, соответственно, проводится обратный анализ (так называемый pruning), когда дерево уменьшают в зависимости от результата на тестовой выборке.
Относительно простой алгоритм, в результате которого получается одно дерево принятия решений. За счет этого, он удобен для первичного анализа данных, к примеру, что бы проверить на наличие связей между переменными и другим.
Быстрое построение модели
Легко интерпретируется (из-за простоты модели, можно легко отобразить дерево и проследить за всеми узлами дерева)
Часто сходится на локальном решении (к примеру, на первом шаге была выбрана гиперплоскость, которая максимально делит пространство на этом шаге, но при этом это не приведёт к оптимальному решению)
RandomForest
Random forest (Случайный лес) — метод, придуманный после CART одним из четверки — Leo Breiman в соавторстве с Adele Cutler [2], в основе которого лежит использование комитета (ансамбля) деревьев принятия решений.
Суть алгоритма, что на каждой итерации делается случайная выборка переменных, после чего, на этой новой выборке запускают построение дерева принятия решений. При этом производится “bagging” — выборка случайных двух третей наблюдений для обучения, а оставшаяся треть используется для оценки результата. Такую операцию проделывают сотни или тысячи раз. Результирующая модель будет будет результатом “голосования” набора полученных при моделировании деревьев.
Высокое качество результата, особенно для данных с большим количеством переменных и малым количеством наблюдений.
Возможность распараллелить
Не требуется тестовая выборка
Каждое из деревьев огромное, в результате модель получается огромная
Долгое построение модели, для достижения хороших результатов.
Сложная интерпретация модели (Сотни или тысячи больших деревьев сложны для интерпретации)
Stochastic Gradient Boosting
Stochastic Gradient Boosting (Стохастическое градиентное добавление) — метод анализа данных, представленный Jerome Friedman [3] в 1999 году, и представляющий собой решение задачи регрессии (к которой можно свести классификацию) методом построения комитета (ансамбля) “слабых” предсказывающих деревьев принятия решений.
На первой итерации строится ограниченное по количеству узлов дерево принятия решений. После чего считается разность между тем, что предсказало полученное дерево умноженное на learnrate (коэффициент “слабости” каждого дерева) и искомой переменной на этом шаге.
Yi+1=Yi-Yi*learnrate
И уже по этой разнице строится следующая итерация. Так продолжается, пока результат не перестанет улучшаться. Т.е. на каждом шаге мы пытаемся исправить ошибки предыдущего дерева. Однако здесь лучше использовать проверочные данные (не участвовавшие в моделировании), так как на обучающих данных возможно переобучение.
Высокое качество результата, особенно для данных с большим количеством наблюдений и малым количеством переменных.
Сравнительно (с предыдущим методом) малый размер модели, так как каждое дерево ограничено заданными размерами.
Сравнительно (с предыдущим методом) быстрое время построение оптимальное модели
Требуется тестовая выборка (либо кросс-валидация)
Невозможность хорошо распараллелить
Относительно слабая устойчивость к ошибочным данным и переобучению
Сложная интерпретация модели (Так же как и в Random forest)
Заключение
Как мы увидели у каждого метода есть свои плюсы и минусы, и соответственно, в зависимости от задачи и исходных данных, при решении можно использовать один из трех методов и получить нужный результат. Однако, CART больше используется в университетах для обучения и исследований, когда необходима какая-то чёткая описательная база для решения (как в приведенном выше примере анализа цены земли в Бостоне). А для решения промышленных задач обычно используют один из его потомков — Random Forest или TreeNet.
Перечисленные методы можно найти в многих современных пакетах для анализа данных:
Список литературы
- “Classification and Regression Trees”. Breiman L., Friedman J. H., Olshen R. A, Stone C. J.
- “Random Forests”. Breiman L.
- “Stochastic Gradient Boosting”. Friedman J. H.
- http://www.cs.toronto.edu/~delve/data/boston/bostonDetail.html
Инструмент для работы с графами онлайн
Задайте матрицу смежности. Используйте запятую «,» в качестве разделителя
Для мультиграфа матрица содержит значения минимальных дуг между вершинами.
Мартрица имеет неправильный формат. Используйте запятую «,» в качестве разделителя. Матрица должна иметь одинаковое количество столбцов и строк.
Задайте матрицу инцидентности. Используйте запятую «,» в качестве разделителя
Мартрица имеет неправильный формат. Используйте запятую «,» в качестве разделителя.
Ваш алгоритм отправлен на модерацию и в случае успеха он будет добавлен на сайт.
Ошибка создания графа. Матрица смежности имеет неправильный формат. Нажимте кнопку «исправить матрицу» чтобы исправить матрицу или кнопку «справка» чтобы открыть справку о формате матрицы
Ошибка создания графа. Матрица инцидентности имеет неправильный формат. Нажимте кнопку «исправить матрицу» чтобы исправить матрицу или кнопку «справка» чтобы открыть справку о формате матрицы
Выделите и перемещайте объекты или перемещайте рабочую область.
Перемещайте курсор для перемещения объекта
Выделите и перемещайте объекты или перемещайте рабочую область.
Перемещайте курсор для перемещения объекта
Кликните на рабочую область, чтобы добавить вершину. Нумерация вершин
Выделите первую вершину для создания дуги
Выделите вторую вершину, которую хотите соединить
Выделите вершину, из которой хотите найти кратчайших путь
Выделите конечную вершину кратчайшего пути
Расстояние между вершинами %d
Пути не существует
Кликните по объекту, который хотите удалить
Добавить ребро
Ориентированную
Неориентированную
Матрица смежности
Сохранить
Отмена
Мин. расстояние =
Матрица инцидентности
Сохранение графа
закрыть
Число компонентов связности графа равно
Число слабо связных компонентов равно
Что вы думаете о сайте?
Имя (email для ответа)
Написать
Отправить
Напишите нам
исправить матрицу
справка
Матрица имеет неправильный формат
Сохранение изображения графа
Полный отчёт
Краткий отчёт
Граф не содержит Эйлеров цикл
Граф содержит Эйлеров цикл
Обработка…
Добавить вершину
Переименовать вершину
Переименовать
ru
Изменить вес
ненагруженный
Групповое переименование
Опрос
Рекомендовать алгоритмы
Граф не содержит Эйлерову цепь
Граф содержит Эйлерову цепь
Граф минимальных расстояний.
Нажмите для сохранения
Показать матрицу расстояний
Матрица расстояний
Выделите исток максимального потока
Выделите сток максимального потока
Максимальный поток из %2 в %3 равен %1
Поток из %1 в %2 не существует
Исток
Сток
Граф не содержит Гамильтонов цикл
Граф содержит Гамильтонов цикл
Граф не содержит Гамильтонову цепь
Граф содержит Гамильтонову цепь
Выбирете начальную вершину обхода
Порядок обхода:
Изгиб дуги
Отменить
Сохранить граф
По умолчанию
Стиль отрисовки вершины
Стиль отрисовки дуги
Цвет фона
Мультиграф не поддерживает все алгоритмы
ненагруженный
Выделите несколько объектов используя Cmd⌘.
Выделите несколько объектов используя Ctrl.
Перемещайте группу.
Копировать
Удалить
Поиск в ширину
Раскраска графа
Найти компоненты связности
Поиск в глубину
Найти Эйлеров цикл
Найти Эйлерову цепь
Алгоритм Флойда — Уоршелла
Упорядочить граф
Найти Гамильтонов цикл
Найти Гамильтонову цепь
Поиск максимального потока
Поиск минимального остовного дерева
Визуализация на основе весов
Поиск радиуса и диаметра графа
Поиск кратчайший путь алгоритмом Дейкстры
Рассчитать степень вершин
Вес минимального оставного дерева равен
Мы игнорировали ориентацию дуг при рассчете.
Граф не является связным
7 ведущих онлайн-разработчиков дерева решений в 2020 году
Дерево решений — это информационная диаграмма, которая объединяет различные идеи в древовидной форме. Он представляет варианты, информацию, идеи, слова или фразы в рамке, соединенной линиями и стрелками. Составители дерева решений помогут вам определить связи и различные результаты, чтобы улучшить ваши навыки принятия решений. Итак, ознакомьтесь с лучшими инструментами для создания дерева решений , а также с простыми шагами по их использованию.Ознакомьтесь с этими замечательными инструментами ниже.
Лучший онлайн-конструктор дерева решений
GitMind
Lucidchart
Canva
Zingtree
Edraw Max
Creately
Visme
GitMind
Оценка: 4.8 / 5
Первая цена
в нашем списке:
GitMind. Этот удивительный инструмент предлагает множество разнообразных шаблонов блок-схем бесплатно. Кроме того, в этом удивительном инструменте доступны значки, символы и формы для создания эффективной и настраиваемой древовидной диаграммы решений.Более того, эта программа позволяет создавать диаграмму дерева решений на различных платформах, таких как Windows, Mac и Linux.
Lucidchart
Оценка: 4.3 / 5
Стоимость: Бесплатно; 7,95 долл. США в месяц
Еще одно дерево решений, которое вы можете использовать, — это Lucidchart. Этот инструмент позволяет создавать диаграммы с помощью бесплатных шаблонов и тем, которые подходят практически для любой ситуации. Кроме того, наличие значков и слоев для отображения текущего и будущего состояний упрощает визуализацию выбора и упрощает принятие решения.
Canva
Оценка: 4,7 / 5
Стоимость: Бесплатно; 9,95 $ / месяц
Далее у нас есть Canva. Это веб-инструмент для построения дерева решений, который предлагает ряд фильтров и шаблонов шрифтов с различными замечательными стилями. Кроме того, в нем есть ряд настраиваемых шаблонов документов, которые помогут вам систематизировать свои мысли и упростить их понимание.
Zingtree
Оценка: 4,4 / 5
Стоимость: Бесплатная 30-дневная пробная версия; 79 долларов в месяц
Еще один умный онлайн-инструмент для создания дерева решений — Zingtree.Этот инструмент с простым в использовании интерфейсом поможет вам создать визуальную диаграмму в простом формате вопросов и ответов, чтобы облегчить вам решение проблем. К таким функциям относятся сценарии «Что, если», сбор отзывов, интерактивные средства устранения неполадок для самообслуживания клиентов и многое другое.
Edraw Max
Оценка: 4.5 / 5
Стоимость: Бесплатная 30-дневная пробная версия; 199 долл. США / срок службы
Edraw — еще одно идеальное средство построения дерева решений не только благодаря своим профессионально выглядящим визуальным диаграммам, но и благодаря высококачественной продукции.Он предлагает шаблон дерева решений, который использует древовидный график для отображения решений и их возможных последствий. Он также предлагает множество типов файлов для экспорта, таких как MS Office, PDF, HTML, GIF, TIFF и т. Д.
Creately
Оценка: 4.3 / 5
Цена: 30-дневная бесплатная пробная версия; 5 долларов в месяц
Creately предлагает более 1000 профессиональных шаблонов, тем и форм. Он также интегрирован с различными приложениями, такими как Jira, g-suite, MS Office, Confluence и другими, для быстрой и простой настройки при немедленном предоставлении доступа к диаграмме дерева решений.Между тем, вы также можете создавать и настраивать собственное изображение, как вам нравится.
Visme
Оценка: 4.0 / 5
Стоимость: Бесплатно; 19 долларов в месяц для стандартной учетной записи и 30 долларов в месяц для полного пакета
Наконец, у нас есть Visme. Это программное обеспечение для представления данных и принятия решений интегрировано с Microsoft Office и отлично подходит для создания автономных деревьев решений. Кроме того, его можно использовать для визуализации стратегий цифрового маркетинга, чтобы помочь маркетологам создать руководство по дереву решений для своей аудитории.
Заключение
Выше перечислены 7 лучших программ для построения дерева решений, которые вы можете использовать, чтобы принимать более обоснованные решения. Они могут помочь вам рассмотреть варианты более наглядно. Настоятельно рекомендуется использовать все перечисленные выше инструменты, и каждый из них дает свой уникальный опыт. Однако, если вы ищете лучший и самый простой инструмент, попробуйте GitMind. Это бесплатно!
Рейтинг:
4.3 /
5
(на основе 20 оценок)
Спасибо за вашу оценку!
.
Бесплатный шаблон дерева решений | Создатель дерева решений
Шаблон дерева решений, также известный как диаграмма дерева решений, помогает командам лучше обозначить потенциальные результаты и варианты выбора до принятия решения. В дереве решений, начиная с центральной темы, используются слова и рамки, которые показывают два варианта и результат вашего решения. Форма дерева представляет собой окончательный результат, если следовать линии решений. Этот шаблон полезен для стратегической оценки процесса принятия решения и возможных результатов, прежде чем вкладывать время и деньги в принятие решения.
О шаблоне дерева решений
Что такое дерево решений?
Дерево решений — это блок-схема, которая используется для просмотра всех возможных решений, которые могут быть приняты, и результатов этих решений. Каждая «ветвь» представляет собой выбор, доступный вам при принятии решения. Деревья решений бесконечно масштабируемы и управляются причинно-следственной связью. Вы можете расширить ветвь, когда результат приводит к другому образу действий, а затем расширить эту ветвь и так далее.
Шаблон дерева решений может быть полезен при оценке вариантов и их результатов перед принятием решения, чтобы в конечном итоге вы могли принять наилучшее решение с наименьшими отрицательными и наибольшими преимуществами. Он представляет собой стилизованный мир, в котором вы можете разыграть серию решений и посмотреть, к чему они приведут, вместо того, чтобы без надобности тратить время и ресурсы реального мира.
Почему деревья решений важны?
Создатель дерева решений — мощный инструмент.Вы и ваша команда можете использовать его, чтобы предсказать или описать . В любом случае деревья решений позволяют визуализировать результаты и проигрывать сценарии, не вкладывая реальных ресурсов. Стартапы и небольшие компании могут найти деревья решений особенно ценными, поскольку ресурсов ограничено, и получить финансовую поддержку может быть сложно. Но предприятия и более крупные компании могут использовать деревья решений для тестирования различных вариантов перед тем, как представить их более широкой команде или занятой заинтересованной стороне.
Используйте деревья решений, чтобы выяснить, жизнеспособен ли новый продукт, открылись новые рыночные возможности или изучить возможные инвестиции. Варианты бесконечны, а инструмент податлив. Единственное ограничение — это ваше творчество.
H Как создать дерево решений за 6 шагов
Шаг 1. Определите свой вопрос.
Начните с центральной темы или вопроса, на который вы пытаетесь ответить. Например, с какой компанией нам следует сотрудничать?
Шаг 2: Добавьте ветви.
Представьте себе несколько возможных вариантов, которые вы могли бы сделать. В этом примере вы можете сотрудничать с компанией A или компанией B. Для каждой из этих альтернатив нарисуйте линию, которая начинается в узле и заканчивается на листовом узле.
Шаг 3: Добавьте листья.
Добавьте листовой узел в конце каждой ветви. Пометьте листовые узлы вопросом или выбором. На каждом этапе обдумывайте свои альтернативы как «если, то».
Если вы станете партнером компании А, что тогда произойдет? Один из вариантов — увеличить общее количество клиентов, потому что люди испытывают сильные положительные чувства к компании А.Другой вариант — уменьшить общее количество клиентов, потому что люди испытывают сильные негативные чувства к компании А.
Повторите это упражнение для компании Б. Опять же, представьте свои листья и узлы как утверждения «если, то».
Шаг 4: Добавьте больше ветвей.
Продолжайте строить дерево решений, используя ветви и листья. Будьте осторожны, чтобы пометить свои ветки и листья, чтобы не сбиться с пути.
Шаг 5: Завершите ветки.
Убедитесь, что вы ответили на все вопросы в дереве.Это означает, что вам следовало проработать все утверждения типа «если, то», с которыми вы столкнулись. Завершите свои ветки.
Шаг 6: Перепроверьте с заинтересованными сторонами.
Когда дерево будет закончено, воспользуйтесь этой возможностью, чтобы убедиться, что все ваши заинтересованные стороны участвуют в проекте. Помните, что дерево решений предназначено для имитации реальных последствий ваших решений. Используйте дерево, чтобы обсудить все возможные варианты, найти альтернативы и при необходимости построить дополнительные ветви.
Примеры дерева решений
Деревья решений должны начинаться с центральной темы или вопроса, на который вы пытаетесь ответить.Затем, используя связующее слово и линию, обрисуйте два варианта этого решения. Затем укажите возможный результат в другом квадрате, если это решение будет принято. Продолжайте эту структуру ветвления, пока не достигнете конечного результата серии решений, направленных на решение исходной проблемы.
.
Загрузите пакет из 22 бесплатных шаблонов дерева решений в 1 клик ..
Здесь вы можете найти шаблон дерева решений и легко загрузить его на свой компьютер. Я исследовал и нашел 22 бесплатных PDF-файла с изображениями шаблонов дерева решений, и вы можете скачать их все одним щелчком мыши здесь.
Документ или диаграмма, которые используются для визуального представления всех фактов, сценариев и вариантов выбора, которые необходимо принять бизнесу, компании или отдельному лицу для принятия благоприятного решения, называется деревом решений.
Быстрый просмотр примеров шаблонов дерева решений и кнопок загрузки шаблонов для соответствующих пунктов назначения.
Поподробнее:
Он разработан с использованием шаблона дерева решений для экономии времени и усилий. Этот документ широко используется коммерческими организациями и компаниями в процессах принятия решений только для принятия эффективных решений по вопросам или деятельности, связанным с бизнесом.
Это отличный инструмент, потому что!
Он предоставляет вам более точные цифры и результаты, связанные с решением или решением.Он также известен как наиболее эффективный инструмент поддержки принятия решений.
Дерево решений — это диаграмма, имеющая ветви в виде дерева и используемая для определения подходящего курса действий по отношению к деловой активности или проблеме. Это дает пользователям эффективный и простой способ понять потенциальные результаты или результаты решения.
Это может пригодиться, когда есть несколько вариантов или вариантов, и вам нужно выбрать подходящий для личного использования или для управления бизнесом. Если вы собираетесь провести анализ решений для своего бизнеса или компании, мы предлагаем вам использовать шаблон дерева решений из слов, который добавлен ниже в этой статье.
Это облегчит вам работу и определенно поможет вам во всем процессе.
Для построения дерева решений можно использовать различные компьютерные программы и программное обеспечение, например, MS powerpoint, word и publisher и т. Д.
Шаблоны дерева решений Бесплатно
Дерево решений используется, чтобы узнать, какова логика принятия решения и каковы будут результаты, если решение будет применено для конкретного бизнес-подразделения или компании.
Он строит классификационные модели для конкретного решения в виде дерева, и если вы также собираетесь создать дерево решений, попробуйте бесплатно использовать шаблон дерева решений.Это позволит вам быстро составить древовидную диаграмму решений со всеми возможными деталями и информацией.
Создание дерева решений онлайн
В Интернете есть несколько простых в использовании составителей дерева решений, и пользователь может бесплатно создать там диаграмму дерева решений.
Эти онлайн-конструкторы дерева решений оснащены новейшими инструментами форматирования и функциями, которые могут помочь в создании деревьев бизнес-решений через подключение к Интернету.
Здесь мы добавили несколько полезных ссылок на интерактивное программное обеспечение и программы для построения дерева решений.
Шаблоны дерева решений Excel
Microsoft Excel также используется для составления схем принятия решений в личных или деловых целях.
Поскольку мы знаем, что надежные бизнес-решения могут способствовать быстрому росту вашей компании или бизнеса, использование диаграммы дерева решений в процессе принятия решений приведет вас к успеху и определенно позволит вам принимать взвешенные решения.
Просмотрите наши шаблоны дерева решений в Excel и загрузите подходящий для личного использования.
Дерево решений — лучший инструмент для анализа всех возможных альтернатив решению или решению, которые компания или компания собирается применить. Это помогает вам обдумать все результаты, которых вы можете добиться, приняв конкретное решение.
Визуальное представление возможных результатов решения упрощает их сравнение друг с другом.
Образцы дерева решений для печати
Когда два или более профессионала или предприятия принимают участие в процессе принятия бизнес-решений, использование дерева решений будет плодотворным для достижения желаемых результатов в короткие сроки.
Формат дерева решений позволяет пользователю записывать все возможные результаты предлагаемого решения в определенном месте, чтобы определить, будет ли оно продуктивным для бизнеса или нет. Сюда добавлены распечатываемые древовидные диаграммы решений, которые вы можете использовать для бизнеса любого типа.
.
Дерево решений в R с примером
- Home
Testing
- Back
- Agile Testing
- BugZilla
- Cucumber
- Database Testing
- 9000 J27
- 9000 J27 Тестирование
- 9000 J27
- JUnit
- LoadRunner
- Ручное тестирование
- Мобильное тестирование
- Mantis
- Почтальон
- QTP
- Назад
- Центр качества (ALM)
- 000
- Центр качества (ALM)
000 Управление тестированием
- TestLink
SAP
- Назад
- ABAP
9 0003 APO
- Начинающий
- Basis
- BODS
- BI
- BPC
- CO
- Назад
- CRM
- Crystal Reports
- FICO
Hroll
Hroll
- Назад
- PI / PO
- PP
- SD
- SAPUI5
- Безопасность
- Менеджер решений
- Successfactors
- SAP Tutorials
- Назад
- Java
- JSP
- Kotlin
- Linux
- Linux
- Kotlin
- Linux
- Perl
js
- Назад
- PHP
- PL / SQL
- PostgreSQL
- Python
- ReactJS
- Ruby & Rails
- Scala
- SQL
- SQL
- UML
- VB.Net
- VBScript
- Веб-службы
- WPF
000
000
0003 SQL
000
0003 SQL
000
Обязательно учите!
- Назад
- Бухгалтерский учет
- Алгоритмы
- Android
- Блокчейн
- Бизнес-аналитик
- Создание веб-сайта
- CCNA
- Облачные вычисления
- COBOL 9000
0
27
- 9002
0 Дизайн COBOL