⚠️ Все ссылки на мои платформы, курсы здесь: taplink.cc/machine_learrrning
Поддержать канал можно оформив подписку на
🎉 boosty.to/machine_learrrning
🎉 vk.com/machine_learrrning
🎉 А можете скидывать монеты на www.donationalerts.com/r/mach...
Канал в TG t.me/machine_learrrning
Группа в VK vk.com/machine_learrrning
Курсы на платформе Stepik:
1. Библиотеки Python для Data Science stepik.org/a/129105
2. Введение в нейронные сети (Keras/Tensorflow) stepik.org/a/127274
❓ Вопросы, на которые найдем ответы в этом видео:
- Какие есть оптимизаторы?
- Какие есть особенности в SGD, Momentum, AdaGrad, RMSProp, Adam?
- Какие есть преимущества и недостатки оптимизаторов?
🌟 Реализация модели линейная регрессия - • РЕАЛИЗАЦИЯ ЛИНЕЙНОЙ РЕ...
🤖 Ноутбук из видео colab.research.google.com/dri...
0:00 Введение
0:19 План занятия
0:29 Поддержка taplink.cc/machine_learrrning
0:45 Задача на сегодня
1:38 Самая простая нейронная сеть
2:28 Визуализация ошибки MSE от весов нейронной сети
3:57 Градиентный спуск GD
4:17 Градиент ошибки MSE
6:06 Алгоритм градиентного спуска
7:12 Реализация градиентного спуска
10:11 Стохастический градиентный спуск SGD
10:57 Алгоритм стохастического градиентного спуска (SGD)
11:31 Реализация стохастического градиентного спуска (SGD)
13:37 Визуализация стохастического градиентного спуска
14:10 Mini-Batch стохастический градиентный спуск
14:44 Алгоритм Mini-Batch стохастического градиентного спуска
14:55 Реализация Mini-Batch стохастического градиентного спуска
16:01 Визуализация Mini-Batch стохастического градиентного спуска
16:27 Сравнение GD, SGD, Mini-Batch SGD
17:28 Визуальное сравнение GD, SGD, Mini-Batch SGD
18:32 SGD + Momentum, SGD с импульсом
22:28 Алгоритм SGD + Momentum
22:58 Реализация SGD + Momentum
24:36 Визуализация SGD + Momentum
25:13 Эксперименты с коэффициентом momentum SGD
26:51 SGD в Keras с momentum
27:22 AdaGrad
29:34 Алгоритм AdaGrad
30:03 Реализация AdaGrad
31:45 Визуализация AdaGrad
32:05 AdaGrad в Keras
32:30 RMSProp
33:42 Алгоритм RMSProp
34:15 Реализация RMSProp
35:41 Визуализация RMSProp
35:52 Эксперименты с коэффициентом в RMSProp
37:02 RMSProp в Keras
37:12 Adam
38:24 Алгоритм Adam
38:34 Реализация Adam
40:08 Визуализация Adam
40:21 Adam в Keras
40:30 Эксперимент с оптимизаторами в Keras
41:33 Зафиксировать веса при инициализации, чтобы они не были случайными
42:00 Архитектура сети
42:30 Оформление экспериментов с оптимизаторами
44:59 Отображаем на графике изменение функции потерь
45:59 Резюме занятия
46:08 Минусы и плюсы оптимизаторов
48:49 ♡
Негізгі бет Оптимизаторы нейронных сетей | SGD, RMSProp, Adam | keras.optimizers | НЕЙРОННЫЕ СЕТИ 8
Пікірлер: 18