Дата мероприятия: 16.06.2021.
Формат мероприятия: online.
Автор: Дарья Буланова, Data Engineer, Dodo Engineering.
Материалы первого доклада:
- Запись выступления на YouTube.
- Презентация в формате PDF.
Сначала мы постараемся ответить на вопросы: а какие данные можно называть late? Все ли out-of-order считаются late? Какие есть способы обработки таких данных? Потом разберемся с тем, как различные паттерны обработки данных решают эту проблему.
Во второй части, посмотрим, на то, как с помощью различных движков добиться различных гарантий completeness. И в конце, на что опираться, когда вы принимаете решения, какой паттерн обработки данных выбрать.
Автор: Илья Тодор, Data Engineer, HRS Group, Certified AWS Cloud Practitioner.
Материалы второго доклада:
- Запись выступления на YouTube.
- Презентация в формате PDF.
Как мигрировать данные из одного источника в Data Lake, а затем в Data Warehouse с применением процесса хисторизации (SCD Type 2) на инфраструктурe AWS.
Вместе с Ильей мы посмотрим на живой кейс: на какие грабли можно наступить и каких успехов добиться в этом нелегком деле.