Керівництво з маркетингу для розуміння статистичної значимості

Ви коли-небудь представили результати маркетингової кампанії і запитали: «Але чи є ці результати статистично значущими ?» Якщо ви відчували себе незграбно, ви могли б відповісти «Ну, результати відрізняються від того, що ми бачили раніше. Хіба це не важливо?

Всі жартуючи, як маркетологи, керовані даними, ми не тільки попросили виміряти результати наших маркетингових кампаній, але й продемонструвати достовірність даних.

Тільки нещодавно, я мав виклик з замовником просячим що точно. Два маркетологи створили версію цільової сторінки і використовували функцію тестування SeoAnnuaire A / B для збору результатів. Вони мали дружню ставку, на якій перемагали. Через кілька днів вони мали результати; один має дещо вищий коефіцієнт конверсії, але вони залишилися цікавими, якщо результати були статистично значущими. (Я здогадуюсь, що це питання поставив людина з меншим коефіцієнтом переходів). Я люблю маленький дружній конкурс - моя сім'я все ще розповідає історію про те, як я кинув виклик своєму братові на конкурс яблучного пілінгу. «зробити цікаві речі» одним Днем подяки. Зайве говорити, що я був радий допомогти вирішити цю ставку.

Хоча існує ряд безкоштовних інструментів для розрахунку статистичної значущості для вас (SeoAnnuaire навіть має тут), для того, щоб дійсно зрозуміти, що ці інструменти говорять вам, корисно зрозуміти, що вони обчислюють і що це означає. Ми вичислимо цифри, використовуючи наведений нижче приклад, щоб допомогти вам зрозуміти статистичну значимість.

Як розрахувати статистичну значимість

1. Визначте, що хочете перевірити

Спочатку вирішіть, що ви хочете перевірити. Це може бути порівняння показників переходів на двох цільових сторінках з різними зображеннями, коефіцієнту переходу по електронній пошті з різними тематичними рядками або коефіцієнти переходів для різних кнопок із закликом до дії наприкінці публікації в блозі. Кількість виборів нескінченна. Моя порада полягає в тому, щоб це було просто; оберіть вміст, який потрібно створити для двох різних варіантів і визначте, яка ваша мета - кращий рейтинг переходів або більше переглядів - це хороші місця для початку.

Можна, звичайно, протестувати додаткові варіації або навіть створити багатоваріантний тест, але для цілей цього прикладу ми дотримуватимемося двох варіантів цільової сторінки, метою якої є збільшення коефіцієнтів конверсій. Якщо ви хочете дізнатися більше про тестування A / B і багатоваріантні тести, ознайомтеся з розділом "Критична різниця між A / B і багатовимірними тестами".

2. Почніть збирати дані

Тепер, коли ви визначили те, що ви хочете перевірити, настав час розпочати збір даних. Оскільки ви, ймовірно, використовуєте цей тест, щоб визначити, який вміст найкраще використовувати в майбутньому, ви хочете витягти зразок. Для цільової сторінки, це може означати вибір певного часу, щоб запустити тест (наприклад, щоб ваша сторінка працювала 3 дні). Якщо ви щось на зразок електронної пошти, ви можете вибрати випадковий вибір зі списку, щоб випадково надіслати варіанти електронних листів. Визначення правильного розміру вибірки може бути складним, і правильний розмір вибірки змінюється між кожним тестом. Як правило, бажано, щоб очікуване значення для кожного варіанта було більше 5. (Далі ми розглянемо очікувані значення.)

3. Розрахуйте результати Chi-Squared

Існує кілька різних статистичних тестів, які можна запустити для вимірювання значущості на основі ваших даних. Визначення найкращого для використання залежить від того, що ви намагаєтеся протестувати, і які дані збираєте. У більшості випадків ви використовуєте тест Chi-Squared, оскільки дані дискретні. Дискретна - це химерний спосіб сказати, що існує кінцеве число результатів, які можна отримати. Наприклад, відвідувач може конвертувати або не конвертувати; для одного відвідувача не існує різного ступеня конверсії.

Перш ніж почати збирати дані, мені здається корисним викласти свою гіпотезу на початку тесту і визначити ступінь впевненості, яку я хочу перевірити. Оскільки я тестую цільову сторінку і хочу побачити, чи виконується краще, моя гіпотеза полягає в тому, що існує зв'язок між цільовою сторінкою, яку отримують відвідувачі, та їхнім рейтингом переходів . Ви можете протестувати, виходячи з різного ступеня впевненості (іноді його називають альфа тесту). Якщо ви хочете, щоб вимога досягнення статистичної значущості була високою, то нижчою буде ваша альфа. Можливо, ви спостерігали статистичну значущість з точки зору довіри. Наприклад, "Результати є статистично значущими з 95% довірою." У цьому сценарії альфа був 0, 05 (впевненість обчислюється як 1 мінус альфа), що означає, що є шанс зробити 20 помилок у зазначених відносинах.

Після того як я зібрав дані, я помістив його на графік, щоб полегшити його організацію. Оскільки я тестую 2 різні варіанти (A і B) і є 2 можливих результату (конвертований, не перетворюю), я буду мати діаграму 2x2. Я буду підсумовувати кожен стовпець і рядок, щоб легко побачити результати в сукупності.

Тепер я розрахую, якими є очікувані значення. У наведеному вище прикладі, якщо не було взаємозв'язку між побаченими відвідувачами цільової сторінки та їхнім рейтингом переходів, ми очікували б, що однакові рейтинги конверсій з обох версій A та версії B. З підсумків, ми бачимо, що 1945 людей перетворили від 4 935 відвідувачів, або приблизно 39% відвідувачів. Щоб обчислити очікувані частоти для кожної версії цільової сторінки за умови, що немає ніякої різниці, ми можемо помножити загальну кількість рядків для цієї комірки на загальну кількість стовпців для цієї комірки і розділити її на загальну кількість відвідувачів. У цьому прикладі, щоб знайти очікуване значення конверсії у версії A, я використовую наступне рівняння: (1945 * 2401) / 4935 = 946

Для обчислення хі-квадрата я порівнюю спостережувані частоти з очікуваними частотами. Це порівняння здійснюється шляхом віднімання спостережуваного від очікуваного, квадратури результату, а потім поділу його на величину очікуваної частоти. По суті, я намагаюся побачити, наскільки різні фактичні результати від того, що ми могли б очікувати. Квадратична різниця посилює вплив різниці, а поділ на очікувані нормалізує результати. Рівняння виглядає так: (очікується - спостерігається) ^ 2) / очікуване

Потім я підбиваю чотири результати, щоб отримати число Чи-квадрат. В даному випадку це 0, 95. Щоб дізнатися, чи є показники переходів для моїх цільових сторінок різними зі статистичною значимістю, я порівнюю це з значенням таблиці розподілу Chi-Squared на основі мого альфа (у цьому випадку, .05) і ступенів свободи. Ступені свободи засновані на тому, скільки змінних ви маєте. З таблицею 2x2, як у цьому прикладі, ступені свободи 1.

У цьому випадку значення Chi-Square повинно бути рівним або перевищувати 3, 84, щоб результати були статистично значущими. Оскільки 0, 95 менше 3, 84, мої результати статистично не відрізняються. Це означає, що не існує взаємозв'язку між якою версією цільової сторінки, яку отримує відвідувач, і коефіцієнтом переходів зі статистичною значимістю.

Чому статистичне значення є значним

Ви можете запитати себе, чому це важливо, якщо ви можете просто використовувати безкоштовний інструмент для запуску розрахунку. Розуміння того, як обчислюється статистична значущість, допомагає визначити найкращі результати тестування з власних експериментів. Багато інструментів використовують довірчий коефіцієнт 95%, але для ваших експериментів, можливо, має сенс використовувати більш низький рівень довіри, якщо вам не потрібен такий тест. Розуміння основних розрахунків також допомагає пояснити, чому ваші результати можуть бути значними для людей, які ще не знайомі зі статистикою.

Якщо ви хочете завантажити таблицю, яку я використав у цьому прикладі, щоб ви могли самостійно переглядати розрахунки, натисніть тут.

Зображення: Caitlinator

Попередня Стаття «
Наступна Стаття