Как посчитать CTR 100М объектов в реальном времени и не умереть

Подсчет CTR не выглядит сложной задачей — даже если у вас есть терабайты логов с показами и кликами, небольшой кластер Hadoop-а управится с ними без каких либо проблем. Если объектов не так много, например, сотни тысяч рекламных компаний, считать CTR можно и в реальном времени. Но ситуация сильно меняется если перед вами встает задача подсчитывать в реальном времени CTR сотен миллионов объектов, обрабатывая миллионы событий в секунду, а затем использовать полученные результаты при оценке десятков миллионов кандидатов каждую секунду.

В рамках доклада Дмитрий и слушатели поговорят о том, как реализуется оценка CTR объектов в ленте Одноклассников, какие технологии были взяты за основу и как пришлось их «допиливать», а также о том, какие задачи помимо оценки CTR позволяют решать платформы потокового анализа данных.

Скачать презентацию доклада.