Потоковые алгоритмы: границы возможного
Backend
Science



Тезисы

Потоковые алгоритмы применяются для анализа данных, чьи объёмы не позволяют хранить их. Они анализируются только на лету, одним проходом. Такие объёмы данных регулярно возникают в результате научных экспериментов, в анализе сетового трафика или анализе событий в социальных сетях. Элементарные задачи превращаются в непосильные.

Возьмём, например, следующий вопрос: какой самый запрашиваемый IP-адрес? Ведение учёта посещаемости IP-адресов для точного ответа на этот вопрос легко потребует сотни гигабайтов памяти. Математические трюки ползволяют вести приближённый учёт в нескольких мегабайтах памяти, можно сказать, они позвольяют ужать сотни гигабайтов в объём одной дискеты.

Но где границы этих математических трюков? Сколько памяти необходимо для решения той или иной задачи с заданной точностью и вероятностью ошибки? Как доказываются такие нижние оценки? Об этом мы поговорим на этой лекции.

Аудитория

Backend-developer, data-scientist, engineers.

Уровень сложности

Advanced.

Huawei Cloud Technologies Co., Ltd.

Рене ван Беверн

Эксперт по большим данным Новосибирского центра исследования из разработки Техкомпании Хуавэй (с 2021 г.). Доцент Кафедры теоретической кибернетики Механико-математического факультета Новосибирского государственного университета (с 2015 г.). Заведующий Лабораторией алгоритмики ММФ НГУ (2016–2021 гг.). Научный сотрудник Берлинского технического университета (2011-2015 гг.). Доктор естественных наук (Берлинский технический университет, 2014 г.). Ежегодно член программных комитетах ведущих в мире конференций по Искусственному интеллекту (с 2016 г., AAAI, IJCAI). Руководитель международных научно-исследовательских проектов (2018-2021). Автор более 50-и научных трудов в репутационных международных изданиях.

Эксперт по большим данным Новосибирского центра исследования из разработки Техкомпании Хуавэй (с 2021 г.). Доцент Кафедры теоретической кибернетики Механико-математического факультета Новосибирского государственного университета (с 2015 г.). Заведующий Лабораторией алгоритмики ММФ НГУ (2016–2021 гг.). Научный сотрудник Берлинского технического университета (2011-2015 гг.). Доктор естественных наук (Берлинский технический университет, 2014 г.). Ежегодно член программных комитетах ведущих в мире конференций по Искусственному интеллекту (с 2016 г., AAAI, IJCAI). Руководитель международных научно-исследовательских проектов (2018-2021). Автор более 50-и научных трудов в репутационных международных изданиях.

Другие спикеры секции Backend

Еще на тему Backend