Как работают оптимизаторы SGD, RMSprop, Adam?
Поддержать меня рублем: www.tinkoff.ru/rm/gorokhov.mi...
Наше сообщество в Telegram: t.me/+EzeAPkueYqplN2Yy
Сервер в Discord: / discord
Github: github.com/magorokhoov
1. 3Blue1Brown Neural Networks: • Neural networks
2. Перевод 3B1B: • DeepLearning
3. Красивое объяснение с визуализацией: towardsdatascience.com/a-visu...
4. Мой плейлист по нейронным сетям и PyTorch: • PyTorch и нейросети
5. Скоро будет ссылка на список полезных материалов (teletype)
0:00 - Введение (Спасибо моему студенту Даниилу Шангину за таймкоды)
2:10 - GD градиентный спуск
7:42 - SGD Стохастический градиентный спуск
18:35 - RMSprop
28:20 - Adam
36:05 - Отличия RMSprop и Adam
41:35 - Отличия Adam и AdamW
44:00 - - Конец
Негізгі бет Нейросети | Урок #2 | Оптимизаторы. Что такое beta1 beta2? SGD RMSprop Adam AdamW
Пікірлер: 21