После запуска рекламы Android-приложения число установок выросло со 100 до 180 в день. Звучит обнадёживающе, но 80 дополнительных установок нельзя сразу записать на счёт кампании. В то же время могло выйти обновление, появиться обзор или начаться сезонный всплеск. Чтобы оценить результат, нужно выяснить, сколько пользователей пришло благодаря рекламе, что они сделали в приложении и сколько это стоило.
Начните с цели, а не с красивого графика
Цель зависит от того, зачем вы запускали кампанию. Для нового приложения важны первые открытия после установки, для игры — прохождение обучения, для платного продукта — покупки. А если реклама должна была вернуть прежних пользователей, рост новых установок вообще не отвечает на главный вопрос.
Сформулируйте цель так, чтобы результат можно было проверить: например, получить 300 дополнительных пользователей, каждый из которых откроет приложение хотя бы дважды за семь дней. Сразу запишите срок, бюджет и правило подсчёта. Тогда не придётся задним числом выбирать выросший показатель и объявлять кампанию успешной.
Выберите несколько связанных метрик
- Охват и переходы показывают, сколько людей увидели объявление и заинтересовались им. Переход ещё не означает установку.
- Установки и первые открытия помогают увидеть, сколько людей дошли от страницы приложения до его использования.
- Целевое действие показывает, ради чего привлекали пользователей: регистрацию, завершение настройки, начало игры или покупку.
- Удержание показывает, вернулись ли новые пользователи спустя выбранное число дней. Определите срок заранее и применяйте его одинаково ко всем группам.
- Стоимость результата связывает действия пользователей с расходами: бюджет делят на число нужных действий, а не на число показов.
Таблица с десятками показателей здесь не нужна. Выберите один основной и несколько вспомогательных — они подскажут, где возникла проблема. Например, объявление привело много людей на страницу приложения, но установили его немногие.
Подготовьте данные к сравнению
У каждого показателя должен быть известный источник. Расходы берут из рекламного кабинета, переходы — из его отчёта, а события внутри приложения — из выбранной системы аналитики. Кабинет и аналитика могут по-разному определять установку, использовать разные часовые пояса и сроки учёта действий после перехода. Проверьте настройки до расчётов и выгрузите данные за одинаковые даты.
Разметка ссылок и отдельные названия кампаний помогают различать объявления. Но источник, указанный в аналитике, не всегда доказывает влияние рекламы: человек мог увидеть объявление, а позже найти приложение по названию. Бывает и наоборот — после перехода пользователь совершает нужное действие не сразу.
При сравнении источников убедитесь, что одно событие не посчитано дважды. Если приложение обновилось или вы сменили систему аналитики, проверьте, не изменился ли смысл события «первое открытие». Иначе скачок на графике может отражать лишь новый способ подсчёта.
С чем сравнивать результат
Самый простой ориентир — предыдущий период той же длины. Но сравнение двух недель мало что скажет, если на одну из них пришлись праздники, крупное обновление или публикация о приложении. Посмотрите хотя бы на те же дни недели и отметьте всё, что происходило параллельно с кампанией.
Надёжнее сравнить результаты с контрольной группой, которой не показывали рекламу, при сопоставимых условиях. Разница между группами поможет оценить прирост от кампании. Принцип близок к рандомизированному контролируемому эксперименту: случайное распределение уменьшает влияние исходных различий между людьми. Если контрольной группы нет, называйте результат оценкой, а не доказанным эффектом.
Посчитайте результат и проверьте его качество
Допустим, на рекламу потратили 30 000 ₽. За время кампании получили 500 установок вместо обычных 350 за сопоставимый срок. Разница составляет 150 установок, но без контрольной группы неизвестно, сколько из них появилось бы и без рекламы. Если 90 пользователей, пришедших в период кампании, выполнили целевое действие, расходы составили примерно 333 ₽ на действие в этой группе. Это не обязательно цена дополнительного действия: чтобы рассчитать её, нужно оценить, сколько таких действий произошло бы без кампании.
Проверьте и то, что происходит после первого дня. Дешёвые установки мало помогут, если пользователи не заканчивают настройку и не возвращаются. Сравнивайте когорты на одинаковом расстоянии от установки: например, оцените возвращение через семь дней у тех, кто установил приложение в первую неделю кампании, и у тех, кто сделал это до запуска. Иначе у установивших приложение позже окажется меньше времени на возвращение.
Для платного приложения расходы можно сопоставить с доходом от привлечённых пользователей, не забывая, что выручка — не прибыль. Если они существенны, учтите комиссии, возвраты и затраты на поддержку. У бесплатного приложения без прямой оплаты не стоит придумывать денежную цену каждому открытию: лучше смотреть, достигнута ли продуктовая цель и во сколько обошёлся результат.
Разберите отклонения, прежде чем принимать решение
Среднее значение скрывает различия между каналами. Сравните площадки, объявления, регионы и версии Android, если в каждой группе достаточно данных. Две установки в отдельной группе ещё ничего не говорят о качестве канала. Проверьте и технические причины потерь: работала ли ссылка, открывалась ли страница приложения, поддерживалась ли рекламируемая функция на устройствах аудитории.
Отделяйте изменения в продукте от результатов рекламы. Если одновременно с запуском кампании вышла новая версия игры, рост удержания мог быть связан с исправленной ошибкой, а не с объявлениями. Отмечайте такие события в отчёте рядом с датами — при следующем запуске будет проще понять, какие условия изменились.
Итог по каждому каналу удобно записать в одну строку: расход, установки, целевые действия, удержание через семь дней и оговорка о способе сравнения. Например: «Канал А — 12 000 ₽, 140 установок, 35 завершений обучения; контрольной группы не было, в середине периода вышло обновление». С такой записью проще решить, что менять в следующей кампании, не принимая совпадение за доказанный эффект рекламы.