Тестирование моделей в условиях «реального» сектора: как не облажаться внедряя 40 ML проектов в год
QA
Data Science
Backend



Тезисы

Расскажу как Евраз в 2021 году внедрил 40 ML-проектов, которые соответствовали ожиданиям и требованиям заказчиков. Сформулирую 7 «принципов отсутствия вины при релизе», которыми мы при этом руководствовались, и как подход Model as a Code связан с поведенческим тестированием моделей. Также, я поделюсь секретом как из старого-доброго Software Engineer превратиться в модного-молодежного ML Engineer!

Под конец поговорим про underlying математику из-за которой финальный тест нужно ВСЕГДА проводить на в точности том же многообразии данных, на котором планируется использование решения.

И обрадую, что ML Engineer-ам не грозит безработица в эпоху автоматизации.

Аудитория

Backend-developer, devops-engineer, qa-engineer, project-manager, product-manager, team-lead, analyst, data-scientist, ml-engineer.

Уровень сложности

Middle.

Евраз-Техника ИС

Андрей Зубков

Лидер направления Data Science в Евразе. В анализе данных since 2015. Специализация: железо для DS/ML/DL; производственная аналитика; training loops; распределенные системы; data governance; оптимизация вычислений.

Лидер направления Data Science в Евразе. В анализе данных since 2015. Специализация: железо для DS/ML/DL; производственная аналитика; training loops; распределенные системы; data governance; оптимизация вычислений.

Другие спикеры секции QA

Еще на тему QA