A/B Тестирование: Расчет размера выборки и анализ результатов

Описание проекта

Необходимо спланировать и проанализировать A/B-тест с двумя группами: контрольной и тестовой. Ключевая метрика — CTR (клики / просмотры).

Исторические данные

Для планирования теста доступны два файла с историческими данными:

• task_2_history_control.csv — данные контрольной группы за период, когда не проводились A/B-тесты (метрика стабильна)
• task_2_history_old_ab.csv — данные тестовой группы предыдущего A/B-теста, где CTR снизился на 15%

Параметры теста

• Ожидаемый эффект: увеличение CTR на 10%
• Ошибка первого рода (α): 5%
• Ошибка второго рода (β): 20% (мощность 80%)
• Распределение пользователей: 90% в контрольной группе, 10% в тестовой

Задачи

1. Расчет размера выборки

Определить необходимый объем выборки для каждой группы при заданном распределении трафика.

2. Анализ результатов

Используя файл с результатами теста task_2_results.csv, рассчитать p-value.

Структура данных

task_2_results.csv

• Одна строка — один пользователь
• Дубликаты по пользователям отсутствуют
• Содержит данные о показах и кликах для каждой группы

Используемые метрики

• CTR = количество кликов / количество показов
• p-value — вероятность получить наблюдаемые результаты при условии, что нулевая гипотеза верна