Потоковые алгоритмы: границы возможного
Backend
Science

Тезисы

Потоковые алгоритмы применяются для анализа данных, чьи объёмы не позволяют хранить их. Они анализируются только на лету, одним проходом. Такие объёмы данных регулярно возникают в результате научных экспериментов, в анализе сетового трафика или анализе событий в социальных сетях. Элементарные задачи превращаются в непосильные.

Возьмём, например, следующий вопрос: какой самый запрашиваемый IP-адрес? Ведение учёта посещаемости IP-адресов для точного ответа на этот вопрос легко потребует сотни гигабайтов памяти. Математические трюки ползволяют вести приближённый учёт в нескольких мегабайтах памяти, можно сказать, они позвольяют ужать сотни гигабайтов в объём одной дискеты.

Но где границы этих математических трюков? Сколько памяти необходимо для решения той или иной задачи с заданной точностью и вероятностью ошибки? Как доказываются такие нижние оценки? Об этом мы поговорим на этой лекции.

Аудитория

Backend-developer, data-scientist, engineers.

Уровень сложности

Advanced.

Презентация (на Я.Диске)

Запись доклада

Huawei Cloud Technologies Co., Ltd.

Рене ван Беверн

Эксперт по большим данным Новосибирского центра исследования из разработки Техкомпании Хуавэй (с 2021 г.). Доцент Кафедры теоретической кибернетики Механико-математического факультета Новосибирского государственного университета (с 2015 г.). Заведующий Лабораторией алгоритмики ММФ НГУ (2016–2021 гг.). Научный сотрудник Берлинского технического университета (2011-2015 гг.). Доктор естественных наук (Берлинский технический университет, 2014 г.). Ежегодно член программных комитетах ведущих в мире конференций по Искусственному интеллекту (с 2016 г., AAAI, IJCAI). Руководитель международных научно-исследовательских проектов (2018-2021). Автор более 50-и научных трудов в репутационных международных изданиях.

Эксперт по большим данным Новосибирского центра исследования из разработки Техкомпании Хуавэй (с 2021 г.). Доцент Кафедры теоретической кибернетики Механико-математического факультета Новосибирского государственного университета (с 2015 г.). Заведующий Лабораторией алгоритмики ММФ НГУ (2016–2021 гг.). Научный сотрудник Берлинского технического университета (2011-2015 гг.). Доктор естественных наук (Берлинский технический университет, 2014 г.). Ежегодно член программных комитетах ведущих в мире конференций по Искусственному интеллекту (с 2016 г., AAAI, IJCAI). Руководитель международных научно-исследовательских проектов (2018-2021). Автор более 50-и научных трудов в репутационных международных изданиях.

Другие спикеры секции Backend

Еще на тему Backend