SAS Visual Data Mining and Machine Learning€¦ · SAS Visual Data Mining and Machine Learning 27...
Transcript of SAS Visual Data Mining and Machine Learning€¦ · SAS Visual Data Mining and Machine Learning 27...
SAS Visual Data Mining and Machine Learning
27 июня 2019 | Алматы
Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.
От VA до VDMML
Visual Analytics
Visual Statistics Visual Data Mining and Machine
Learning
Базовые процедуры
Процедуры VS
ПроцедурыVDMML
Visual Analytics
SAS, Python, Java,Lua, R, REST APIs
+ Model Studio+ Data Prep GUI
VA VS VDMML
Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.
• Доступ к разным источникам данных
• Создание новых признаков
• Объединение нескольких источников данных
• Подготовка данных бизнес-пользователями
• Управление качеством данных и профилирование
• Совместная работа
Подготовка данныхSAS Data Studio
Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.
• Матрица корреляций
• Облако слов
• Гистограммы
• Гео-карты
• Box-plot
• Тепло-карта
Визуальный анализ данныхSAS Visual Analytics
+ более 40 видов визуализаций
Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.
• Кластеризация k-средних
• Линейная регрессия
• Логистическая регрессия
• Непараметрическая логистическая регрессия
• Обобщенная линейная модель
• Обобщенная аддитивная модель
• Деревья решений
Описательная аналитикаSAS Visual Statistics
+ более 15 алгоритмов в программном интерфейсе
Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.
• Случайный лес
• Нейронные сети
• Градиентный бустинг
• Машина опорных векторов
• Факторизационные машины
• Байесовские сети
Машинное обучение для бизнес-аналитикаSAS Visual Data Mining and Machine Learning
+ более 25 алгоритмов в программном интерфейсе
Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.
• Диаграммы процесса анализа данных
• Графический интерфейс + Встраивание SAS кода
• Асинхронное выполнение узлов
• Диаграммы из Visual Analytics
• Набор готовых шаблонов диаграмм
• Создание пользовательских шаблонов
• Графики для интерпретации моделей
Конвейеры анализа данныхSAS Model Studio
Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.
• Табличное сравнение моделей
• Интерактивная оценка качества моделей
• Графики с показателями качества для разных выборок
• Публикация скорингового кода в CAS, в базу данных*
* Для публикации в СУБД необходима лицензия In-Database Technologies
Сравнение и внедрение моделейSAS Model Studio
Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.
Автонастройка гиперпараметровалгоритмов машинного обучения
Разнообразные методы автонастройки гиперпараметров
Создание более точных моделей быстрее по
сравнению с ручным перебором
Борьба с переобучением модели за
счет ограничения сложности модели
Повышение предсказуемости модели
на независимом наборе данных
Байесовская оптимизация (суррогатная модель гауссовского процесса, кригинг)
Генетический алгоритм Случайный перебор методом простой случайной выборки
Случайный перебор методом латинского гиперкубаПолный перебор
Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.
Интерпретация моделейИндивидуальные условные ожидания (ICE)
• 𝑥𝑖1, … , 𝑥𝑖𝑝, 𝑦𝑖 𝑖=1
𝑛
• Модель ො𝑦 𝑥 = 𝐹 𝑥1, … , 𝑥𝑝
• 𝐼𝐶𝐸𝑗∣𝑖 𝑥 = 𝐹 𝑥𝑖1, … , 𝑥𝑖,𝑗−1, 𝑥, 𝑥𝑖,𝑗+1, … , 𝑥𝑖𝑝
• 𝑃𝐷𝑗 𝑥 =1
𝑛σ𝑖=1𝑛 𝐼𝐶𝐸𝑗∣𝑖 𝑥
Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.
Интерпретация моделейГрафики частичной зависимости (PD plots)
JOBMgr Office Other ProfEXE Sales Self
0.0
0.1
0.2
0.3
0.4• 𝒙𝒊𝟏, … , 𝒙𝒊𝒑, 𝒚𝒊 𝒊=𝟏
𝒏
• Модель ෝ𝒚 𝒙 = 𝑭 𝒙𝟏, … , 𝒙𝒑
• 𝑷𝑫𝒋 𝒙 =𝟏
𝒏σ𝒊=𝟏𝒏 𝑭 𝒙𝒊𝟏, … , 𝒙𝒊,𝒋−𝟏, 𝒙, 𝒙𝒊,𝒋+𝟏, … , 𝒙𝒊𝒑
0.1
0.2
0.3
0.4
Average Prediction for Target Variable
0 25 50 75 100 125 150
DEBT/INC
Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.
Интерпретация моделейЛокальные интерпретируемые объяснения модели (LIME)
Copyr ight © SA S Inst i tute Inc . A l l r ights reserved.
Моделирование оценки кредитоспособности клиентовс использованием VDMML
Исходные данныеЦелевая переменная
Предикторы
Демонстрация
27 июня 2019 | Алматы