ML&AI-метрики: с программистского на менеджерский (и обратно!) (Игорь Асонов и Анастасия Кишкун)

Игорь Асонов Руководитель центра аналитики онлайн-проектов НИУ ВШЭ
Анастасия Кишкун Product Lead «Флиппинг и аренда» Самолет Плюс

Продукт без ML — уже редкость. При этом глубокое понимание машинного обучения есть далеко не у каждого продакта. Это снижает скорость и качество управления продуктами. Наиболее сложная ситуация складывается у продактов, не имеющих доступа к Data Science / Machine Learning (DS/ML)-командам.

Продукт без ML — уже редкость. При этом глубокое понимание машинного обучения есть далеко не у каждого продакта. Это снижает скорость и качество управления продуктами. Наиболее сложная ситуация складывается у продактов, не имеющих доступа к Data Science / Machine Learning (DS/ML)-командам.

Понимание метрик моделей играет ключевую роль в улучшении продуктовых метрик и, в конечном итоге, в увеличении прибыли компании. Когда продакт-менеджер понимает нативный язык DS/ML-коллег (например, ROC AUC, accuracy, precision, recall, F1, R2, MAE, RMSE, виды ML-моделей), ускоряются исследования и разработка продуктов/сервисов. В командах царит взаимопонимание, брифы звучат однозначно, а приемка работ становится прозрачнее.

Как результат, Data-driven решения могут быть приняты задолго до внедрения, и минуя многомиллионные затраты. И если продакты не начнут разбираться в ML&AI, то могут оказаться вытеснены дата сайнтистами, обучившимися управлению продуктом.

На мастер-классе разберем:

• Классификацию метрик машинного обучения и их связи с бизнесовыми/продуктовыми метриками;
• Поделимся успешными кейсами из нашего опыта (финансы, флиппинг, образование).

После чего:

• Порешаем кейсы: вы попробуете самостоятельно установить связь метрик, спрогнозировать влияние на бизнес;
• Провалидируем новый полученный опыт и знания: вместе разберем решения, ваши запросы и кейсы.

Мастер-класс будет полезен продактам уровня Middle — Head, PO, лидерам команд и стримов, нацеленных на стратегическое развитие продуктов. А еще всем, кто рассматривает применение/уже применяет AI/ML в продуктах, хочет четче ставить задачи и валидировать результаты AI/ML команд, понимать связь ML-метрик и продуктовых метрик и быстро принимать решения о потенциале моделей до внедрения.

Презентация