Ближайшая конференция - Joker 2024, 9 октября (Online), 15-16 октября (Санкт-Петербург + трансляция).
Подробности и билеты: jrg.su/Ypf1HW
- -
Скачать презентацию с сайта JPoint - jrg.su/m4c7EV
Теоретически HTTP-запросы не имеют ограничений на размер. Разумеется, мы предполагаем «разумные» размеры, но что, если ваш коллега-data scientist считает датасет в 10 гигабайтов разумным размером? Можно спорить, разумно или нет отправлять 10 Гб одним POST-запросом, но может получиться так, что время споров уже позади, а результат необходим вчера.
В докладе речь идет о реализации потоковой обработки данных в условиях ограниченной памяти и неограниченного размера запроса на фреймворке Spring. Разбираем 4 кейса: отправка данных по HTTP, получение данных по HTTP, запись в PostgreSQL, чтение из PostgreSQL.
Даже если вы думаете, что POST-запрос на 10 гигабайтов - это плохая идея, техники потоковой обработки данных заслуживают право на существование. Потоковая обработка может обеспечить более эффективное использование ресурсов и «защиту от дурака» и в менее спорных архитектурных решениях.
Негізгі бет Алексей Рагозин - Spring REST-гигантомания: особенности работы с мультигигабайтными POST-запросами
Пікірлер: 10