● Открытый замер
Подбора у нас нет,
и вот чем это меряется
Биржа берёт комиссию не за список: список рекламодатель соберёт сам по телеграм-чатам за вечер. Платят за попадание: «этот блогер доведёт интеграцию до конца». Попадание: это порядок выдачи, и он стоит ровно столько, на сколько бьёт правило, которое вы примените сами за минуту.
Сейчас лента заданий и список откликов отдаются в порядке добавления: первым стоит тот, кто откликнулся последним. Ни рейтинг, ни число закрытых сделок на порядок не влияют. Мы не называем это умным подбором и не берём за него отдельных денег.
● Поверхность 1
Кого выбрать из откликнувшихся
- Записей
- 0
- Доведено до оплаты
- 0
- Сорвалось
- 0
Замер невозможен
Замер невозможен: записей с известным исходом — 0 (всего кандидатов 0). Нужно не меньше 25 доведённых и 25 сорвавшихся сделок, чтобы назвать хотя бы направление, и по 100 — чтобы утверждать разницу в 10 пунктов.
не хватает исходов: 25
- У числа подписчиков в базе нет истории: поле перезаписывается, поэтому берётся текущее значение. Это работает в пользу правила «сортируй по подписчикам», то есть против нас.
- Исход известен только по одобренным откликам. Блогеров, которых ни разу не выбрали, мы не наблюдаем, поэтому сравнение идёт между теми, кого выбрали. Это смещение в пользу текущего порядка выдачи.
● Поверхность 2
В каком порядке показывать задания блогеру
- Записей
- 0
- Доведено до оплаты
- 0
- Сорвалось
- 0
Замер невозможен
Замер невозможен: записей с известным исходом — 0 (всего кандидатов 0). Нужно не меньше 25 доведённых и 25 сорвавшихся сделок, чтобы назвать хотя бы направление, и по 100 — чтобы утверждать разницу в 10 пунктов.
не хватает исходов: 25
- Исход известен только по одобренным откликам. Блогеров, которых ни разу не выбрали, мы не наблюдаем, поэтому сравнение идёт между теми, кого выбрали. Это смещение в пользу текущего порядка выдачи.
● Методика
Что именно считается
Метрика: состоявшаяся сделка, а не клик
Считается доля пар «дошло до оплаты ↔ сорвалось», в которых правило поставило дошедшее выше. 0.5: монетка, 1.0: идеальный порядок. Именно за отсутствие срыва рекламодатель и платит комиссию.
Без подглядывания в будущее
Рейтинг и число сделок блогера берутся по состоянию строго до момента отклика. Сделки, закрытые позже, в расчёт этого отклика не входят.
Без выдуманных данных
Демонстрационные записи из сида в замер не попадают. На придуманных данных выигрыш алгоритма завышается на порядки: сравнение находит ровно ту закономерность, которую заложил автор генератора.
Сколько данных нужно
Чтобы назвать направление: по 25 доведённых и сорвавшихся сделок. Чтобы утверждать разницу в 10 пунктов: по 100. Плюс 20 кампаний, где откликов больше, чем мест: там, где берут всех, порядок выдачи ни на что не влияет. Числа: не круглые «на глаз», а выход формулы n ≥ p(1−p)/(эффект/2)².
Замер запускается командой manage.py zamer_podbora и обновляется на этой странице сам, как только появятся сделки.