РЭУ имени Г.В. Плеханова. Курс «Архитектор данных». Часть 1/3. Полностью, то же - с разбивкой на 3 части: 1-1, 1-2, 1-3. ==О чем пойдет речь== написал в комментариях, здесь - как меня понял Yandex GPT :-)
00:01 Введение в анализ данных
• Информация - это сведения, воспринимаемые человеком, которые отражают факты материального или духовного мира.
03:57 Цели и задачи анализа данных
• Цель анализа данных - преобразование данных в знания, доступные для человеческого восприятия.
• Задачи анализа данных: повышение качества управляющих решений, преобразование данных в знания, использование знаний для формирования действий и решений.
05:57 Свойства информации
• Репрезентативность, содержательность, достаточность, доступность, своевременность, устойчивость, точность, достоверность, актуальность, ценность.
09:06 Информационные системы и анализ данных
• Информатика - наука, изучающая структуру и функции информационных систем.
• Анализ данных - система методов, ориентированная на выявление механизма порождения данных.
10:54 Этапы обработки данных
• Определение проблемы, планирование проекта, извлечение данных, подготовка данных, исследование визуализации данных, обобщение и группировка данных, исследование отношений между атрибутами, определение отношений, валидация моделей и развертывание результатов в практику.
16:35 Введение в искусственный интеллект
• Искусственный интеллект - способность компьютера моделировать процесс мышления, выполняя функции, связанные с человеческим интеллектом.
• Основные разделы ИИ: экспертные системы, логический вывод, понимание естественных языков, зрительное и слуховое восприятие.
20:23 Анализ данных и интеллектуальные системы
• Дейта майнинг - интеллектуальный анализ данных, методы обнаружения неизвестных, нетривиальных и полезных знаний для принятия решений.
• Документ как множество высказываний можно отобразить на множество фактов, из которых можно извлечь исходные данные для последующего анализа.
25:13 Планирование и прогнозирование
• Планирование и прогнозирование - обеспечение прибыльной и безотказной работы организации в соответствии с регламентами и целями.
• Различные виды планирования: текущее, календарное, перспективное, ретроспективное, периодическое, скользящее, оперативное, циклическое, планирование-прогнозирование с неравномерной сеткой времени.
29:56 Табличное представление данных
• Табличное представление данных, где строки отражают объекты, а столбцы - значения характеристик этих объектов.
• Таблицы должны быть созданы для каждого момента времени.
31:36 Классификация закономерностей, которые можно выявить с помощью методов дейта майнинга: ассоциации, последовательности, признаки, кластеризация и прогнозирование.
35:05 Применимость методов анализа
• Когда можно применять статистический анализ, прогноз, большие данные, экспертные системы, эвристические методы, опыт экспертов и машинное обучение.
• Эти методы основаны на прошлом опыте и могут быть использованы, когда ничего не меняется и выборка данных достаточно большая.
39:06 Эвристики и их влияние на анализ данных
• Упоминаются примеры эвристик доступности и закрепления, которые могут привести к ошибочным суждениям.
41:38 Эвристики и их влияние на принятие решений
• Эвристики - это интуитивные и неосознанные методы решения, основанные на прошлом опыте, статистике или машинном обучении.
• Эвристики могут привести к необоснованным суждениям и когнитивным искажениям, особенно в условиях спешки или неопытности.
47:42 Опасность эвристик и их применение
• Эвристики могут пропустить хорошие решения и привести к ошибкам.
• Важно быть осторожным с эвристиками и статистическими прогнозами.
51:12 Экспертные системы и их недостатки
• Экспертные системы основаны на знаниях экспертов, которые могут быть устаревшими или противоречивыми.
• Системы могут не справиться с логическими противоречиями и работать медленнее, если правил много.
57:32 Хранилища данных и витрины данных
• Хранилища данных - предметно-ориентированные, предназначены для специалистов, работающих с данными, для статистического анализа и аналитических отчетов.
• Витрины данных - специализированные хранилища, приближают данные к конечным пользователям, экономят вычислительную мощность, открывают только те данные, которые нужны.
01:02:20 Транзакционная и многомерная обработка данных
• Транзакционная обработка данных - одновременное обращение множества пользователей, обеспечение целостности данных.
• Многомерная обработка данных - аналитическая обработка в реальном времени, построение многомерных кубов для анализа.
• Агрегированные данные и иерархии в кубе для быстрого доступа к информации.
01:09:29 Гибридная модель данных
01:11:12 Двенадцать правил Кодда
01:15:45 Основные правила анализа данных
• Еще шесть правил Кодда: пакетное извлечение данных, поддержка всех моделей анализа, исключение отсутствующих значений и игнорирование их и др.
01:18:36 Кибернетика и управление сложными динамическими системами
01:23:56 Режимы управления и адаптивное ситуационное управление
Негізгі бет 2023-12-19 Продвинутые методы анализа данных и искусственного интеллекта. Часть 1/3.
Пікірлер: 11