Оптимизация потокового SQL на примере TopN в Apache Flink
Backend
Data Science

Backend
29 мая, 15:00 (GMT+7)
Зал №1

Тезисы

В рамках доклада:

  • Решим простую задачку по вычислению TopN с помощью SQL на потоке данных;
  • Разберем как осуществляется агрегация в потоке данных и что там может быть сложного;
  • Сравним решение TopN задачки на Apache Spark и Apache Flink, поймем что лучше и почему;
  • Ускорим вычисление в 10 раз путем несложных оптимизаций.

Аудитория

Backend-developer, engineers.

Уровень сложности

Middle.

Презентация (на Я.Диске)

Запись доклада

Huawei

Роман Бойко

Работаю с BigData c 2014 года. Начинал в Beeline, где участвовал в создании первого в компании промышленного кластера Hadoop, наполнении его данными, а также в разработке low-latency систем поддержки бизнеса. С 2020 года работаю в Huawei, где разрабатываю потоковые системы обработки данных на базе Apache Flink для нужд Huawei Cloud (в России представлен под брендом Sber Cloud).

Работаю с BigData c 2014 года. Начинал в Beeline, где участвовал в создании первого в компании промышленного кластера Hadoop, наполнении его данными, а также в разработке low-latency систем поддержки бизнеса. С 2020 года работаю в Huawei, где разрабатываю потоковые системы обработки данных на базе Apache Flink для нужд Huawei Cloud (в России представлен под брендом Sber Cloud).

Другие спикеры секции Backend

Evrone
Григорий Петров
Python в 2022
Тинькофф
Евгений Пешков
.NET: AOT in 2022
ScyllaDB
Константин Осипов
Тестируем транзакции в NoSQL СУБД
VK
Александр Тоболь
VK Видео: архитектура и секреты крупнейшей видеоплатформы
wildberries
Иван Ловецкий
Эволюция платежного шлюза
Цельс
Евгений Никитин
Готов ли ИИ давать клятву Гиппократа?
DevBrothers
Денис Цветцих
Чистая Архитектура и DDD 10 лет спустя
Яндекс Дзен
Андрей Зимовнов
Архитектура рекомендаций Дзена
Сбер
Максим Козлов
Непростые истории Chaos Engineering
Сбер
Дмитрий Якубовский
Непростые истории Chaos Engineering
Byndyusoft
Руслан Сафин
Гранулярность микросервисов. Как мелко нарезать?
Huawei Cloud Technologies Co., Ltd.
Рене ван Беверн
Потоковые алгоритмы: границы возможного
Авито
Андрей Аксёнов
Как выжать 1 000 000 rps
MY.GAMES
Алексей Жуков
Строим реактивный игровой сервер с Vert.x
Независимый эксперт
Алексей Мерсон
Идеальный шторм: когда готовил систему к росту нагрузки, но не успел
ИММ
Виктор Грищенко
Новые подходы к консенсусу
ivi
Евгений Россинский
Полный Абзац
Yandex Cloud
Антон Черноусов
Типичные ошибки при разработке Serverless-приложений
Yandex Cloud
Марат Сибгатулин
Отрицание, гнев, торг, депрессия, автоматизация сети

Еще на тему Backend

Яндекс
Андрей Себрант
Кому в метавселенной жить хорошо?
МФТИ
Алексей Савватеев
Знаменитые нерешенные проблемы школьной математики
Huawei
Дмитрий Иванов
Как изменится программирование в ближайшие 5-10 лет
Яндекс
Валерия Курмак
Такси для незрячего
Wrike
Евгений Кот
Откройте форточку, в комнате менеджер (или как получать удовольствие от рутины)
HTML Academy, Лига А.
Сергей Попов
Разработчики против no-code, действительно ли всё так плохо?
Samokat.tech
Олег Коровин
Защита разработки в эпоху кризиса
Sber AR/VR Lab
Максим Козлов
Sber AR/VR — как технологии дополненной и виртуальной реальности меняют нашу жизнь?
VK
Евгений Елчев
Архитектура — это другое!!!
Тинькофф
Игорь Кацуба
Экстремальное ускорение пайплайнов
Anglopark
Юлия Квон
Собеседование на английском
ЮMoney
Григорий Скобелев
Современное шифрование для backend разработчика
ЦФТ
Анастасия Некрашевич
CodeStyle: принять нельзя игнорировать
ЦФТ
Денис Аксенов
CodeStyle: принять нельзя игнорировать
Jettycloud
Кирилл Тихонов
Коммуникации внутри команды. Все что вы найдете в интеренете — неправда
ЦФТ
Артем Каличкин
CodeStyle: принять нельзя игнорировать
documentat.io
Семён Факторович
Документация и деньги
Veeam
Александр Фатин
Квантовые вычисления — текущий статус, применение в бизнесе, прогнозы развития
Российский квантовый центр
Антон Божедаров
Квантовые вычисления — текущий статус, применение в бизнесе, прогнозы развития
CDEK
Павел Куликов
Инфобез: выживание в новой реальности (круглый стол)
GreAT
Денис Легезо
GReAT — Глобальный центр исследований и анализа угроз в Kaspersky. Какие угрозы существуют и как их исследовать
Яндекс Маркет
Семен Левенсон
Собеседования с человеческим лицом
Одноклассники
Вера Маневич
Офбординг. Как увольнять и увольняться экологично
Avito
Павел Агалецкий
Инструменты для разработчиков
Евраз-Техника ИС
Андрей Зубков
Тестирование моделей в условиях «реального» сектора: как не облажаться внедряя 40 ML проектов в год
Яндекс.Маркет
Александр Бирюков
CodeStyle: принять нельзя игнорировать
Yandex Infrastructure
Анастасия Абрашитова
Модель ситуационного лидерства наизнанку: выбираем лидеров для себя
Wrike
Вячеслав Тютюньков
К микросервисам через reverse engineering и кодогенерацию
Частное лицо
Виталий Шароватов
Yandex Research. Сначала — наука, затем — технологические решения, а в результате — продукты и сервисы
Яндекс
Александр Крайнов
Yandex Research. Сначала — наука, затем — технологические решения, а в результате — продукты и сервисы
ИП Дурнецов А.К.
Антон Дурнецов
Текущая ситуация в найме IT специалистов в РФ и мире и перспективы
VK
Иван Самсонов
VK. Как в AI/ML найти баланс между чистым рисёрчем и бизнес-ценностью?
VK
Андрей Соколов
VK. Как в AI/ML найти баланс между чистым рисёрчем и бизнес-ценностью?
«Заходит ученый в бар»
Александр Калюжнюк
VK. Как в AI/ML найти баланс между чистым рисёрчем и бизнес-ценностью?
Фриланс
Наталья Косинова
Пирамида артефактов анализа
CodeFest
Елена Сычевская
Sber AR/VR — как технологии дополненной и виртуальной реальности меняют нашу жизнь?
Conventus
Даниил Терентьев
Идиократия: почему на самом деле разваливаются команды
Лаборатория Карьеры Алены Владимирской
Дмитрий Утукин
Осознанный подход к карьере. Как провести свои лучшие годы с максимальной пользой
Plesk
Александр Воронков
Music-as-a-Code или как написать музыку при помощи кода. Теория
DEVNSK
Александра Кукина
Текущая ситуация в найме IT специалистов в РФ и мире и перспективы
Школа 21
Сергей Подиновский
Новый подход к обучению. Peer to Peer — как учиться без учителей?
JetBrains
Владимир Коваленко
JetBrains Research. От биологии до роботов. Как и зачем?
Яндекс
Никита Сидоров
Фронтенд. Графы. Сборка. Мёртвый код
Лаборатория Касперского
Анна Мелехова
Тимлид без команды, и его ментальные и карьерные головоломки
ITBizRadio
Константин Волков
Токсичность — как перестать с ней бороться и полюбить ее
Miro
Вячеслав Смирнов
WebSocket и тесты производительности
Такси Кидс
Михаил Павлов
UX в условиях кризиса
Сбер
Анна Прилепина
UX в условиях кризиса
2ГИС
Никита Цветков
Как перестать писать интеграционные* тесты
X5 Group
Андрей Смирнов
Карьерные уровни soft skills v2

28—29 мая 2022,
Новосибирск, Экспоцентр, Станционная, 104

Контакты

Эл. почта:  org@codefest.ru

Телеграм-личка:  @codefestru

Телеграм-чят:  @cdfst_chat

Мы в соцсетях


#codefestru #codefest2022 #CodeFest12