Запишетесь на полный курс Машинного обучения на Python по адресу support@ittensive.com
Машинное обучение работает с большими данными. Для их хранения и передачи промежуточных результатов был разработан специальный формат - HDF - Иерархический формат данных, формат файла, называемый HDF4 или HDF5.
Интересно, что HDF берет свое начало в Национальном центре суперкомпьютерных приложений, как портативный, компактный формат научных данных.
Файлы HDF состоят из двух типов объектов:
* Наборы данных
* Группы
Наборы данных являются многомерными массивами, а группы состоят из наборов данных или других групп.
Многомерные массивы любого размера и типа могут быть сохранены как набор данных, но размеры и тип должны быть одинаковыми в наборе данных. Каждый набор данных должен содержать однородный N-мерный массив. Тем не менее, поскольку группы и наборы данных могут быть вложенными, вы все равно можете получить гетерогенность, которая может вам понадобиться.
Использование HDF
Формат HDF поддерживается рядом библиотек машинного обучения, и его принято использовать для следующих работ:
* Хранение обработанных данных, включая разбивку на обучающие и проверочные. Данные хранятся в бинарном виде, это обеспечивает минимальный размер архива.
* Хранение (для последующего использования или дообучения) весов нейронных сетей.
* HDF оптимизирован для операций с многомерными массивами - т.е для операций чтения записи произвольного гипер-среза n-мерного массива и для хранения метаданных для таких массивов.
Негізгі бет Использование HDF
No video
Пікірлер: 2