Bạn cho mình hỏi, mình thấy có vài hệ thống dùng kafka stream + spark Thì spark đóng vai trò như tranform data hay dùng để distribute data từ consumer vào DWH ? Thanks bạn nha ❤
@longdatadevlog
26 күн бұрын
Sẽ tùy thuộc vào ứng dụng cụ thể để sử dụng cho phù hợp, ở hệ thống có cả 2 thì Spark ở đây mình đang hiểu bạn đang nói tới là Spark Stream Context, ở đây Spark Stream Job đóng vai trò là buffer và consumer để đưa data vào Lake (theo như thông thường mình hay sử dụng, tuy nhiên một số có realtime parsing data thì có thể đưa vào warehouse). Còn ở một số hệ thống bạn không thấy Spark thì có thể là họ đang process dạng event-driven.
@tatatadooooo11
Ай бұрын
hello anh Long, chúc anh cuối tuần vui vẻ. Tâm sự 1 chút em mới bị đánh rớt 2 job DE intern vì kiến thức về SQL. Anh Long có thể cho em vài lời khuyên cho việc practice với SQL không ạ. Em cám ơn anh nhiều ^^
@longdatadevlog
Ай бұрын
Kiến thức SQL với anh nó khá là rộng không chỉ đơn thuần là mình viết Code SQL tốt, những cái đó em có thể luyện trên Leetcode rồi. Ngoài ra còn kiến thức về data modeling, structuring data, v.v... Em có thể xem qua video này nhé kzitem.info/news/bejne/0oaGuoqGfKyWl2U . Hoặc DM cho anh nếu cần tư vấn gì nhé.
@tamleminh755
22 күн бұрын
Có những chapter bị mờ á anh Long là cái đó mình đang process phải không anh ?
@longdatadevlog
21 күн бұрын
Đúng rồi em, anh hiện tại đang chỉnh sửa các phần đó nhé.
@duyphan1452
Ай бұрын
Phần này vẫn chưa có trong handbook hả anh @longdatadevlog
@longdatadevlog
Ай бұрын
de-book.longdatadevlog.com/changelog.html em check phan Changelog nhe. Anh vua chinh sua va push len.
Пікірлер: 9