Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Немного матана! Совсем недавно, на интервью я столкнулся с интересным вопросом: «Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?»

И казалось бы, ответ довольно очевидный: мол Нильсен говорит 5. Но почему 5? Откуда это магическое число? Без математики не обошлось.

Автор в статье погружается в тему довольно глубоко, проливая свет на скрытую для многих часть айсберга, и разбирается, так сколько ж нужно-то?

Если прорезюмировать, то можно сказать, что Нильсен не был не прав 🙂 Однако стоит приводить полный ответ:

—————————————————————————

Если во время тестирования эксперименты будут независимыми, а выборка по крайней мере квазислучайной, то мы можем предположить, что при тестировании 5 пользователей мы обнаружим 85% ошибок, с которыми сталкиваются не менее 31% пользователей.

—————————————————————————

Последняя часть, вообще интересная, не правда-ли? ) «Не менее 31% пользователей», то есть в самом неудачном случае 59% пользующихся так и не столкнуться с проблемами. Но это не слишком страшно.

Интересно, что если вы хотите повысить эффективность тестирования, то увеличение выборки не единственный способ это сделать (для приличного уровня понадобиться что-то около 40 испытуемых). Вы можете также повлиять на вероятность появления ошибки. Как не парадоксально, уменьшая случайность выборки (сегментация?), вы можете повысить вероятность возникновения ошибок и тем самым снизить число необходимых пользователей.

http://bit.ly/2UqfhOs

Модель двойного алмаза

Если дивергентное мышление — это поиск множества решений одной проблемы, то противоположным ему будет конвергентное мышление — отсекание всего лишнего, анализ вглубь.

На чередовании этих двух способов мышления строится модель двойного алмаза — вначале вы даете волю своей фантазии и смотрите максимально широко, подбирая разные варианты решения; после чего наступает анализ найденной информации, отбирается самое важное и поле зрения сужается до нескольких конкретных проблем.

Если рассматривать этот процесс в рамках разработки продукта, то получится примерно такая история:

  • Приходит заказчик, на основе брифа вы начинаете исследовать: собираете максимум информации о проблеме, проводите опросы, интервью, пробуете продукт на себе, фиксируете инсайты — стараетесь максимально погрузиться в эту среду и выявить реальную проблему пользователей.
  • Далее наступает этап фильтрации, полученная информация анализируется, отбрасывается всё лишнее, чтобы в итоге сфокусироваться на самых важных проблемах.
    Вновь приходим к заказчику — показываем найденные проблемы, согласовываем, уточняем бриф.
  • Дальше начинается второй этап дивергентного мышления, когда на основе отобранных проблем генерируют максимальное количество идей, решающих эти проблемы. Затем вновь переходим в фазу конвергентного мышления — тестируем решения, отфильтровываем неработающие фичи.
  • После всех этих шагов готовый и протестированный набор решений можно оформить в финальный дизайн и передавать в разработку.

Хочу с вами сегодня поделиться несколькими правилами, которые помогают держать мой календарь (и встречи) под контролем.

1. У нас в команде есть no meetings Wednesday - день без встреч. Это договоренность с командой, что в этот день встречи мы не назначаем и полностью блокируем день. Очень крутая штука для фокуса! Важно, что такая традиция должна уважаться не только другими людьми в вашей компании, но и вами самим: если вам прилетает приглашение на этот день, обязательно спрашивайте – насколько это срочно? В большинстве случаев люди спокойно готовы подождать несколько дней.

2. Я также блокирую как минимум один часовой слот в день под сфокусированную работу и бронирую "встречи" на то время, когда я недоступна (например, с 6 до 10 вечера). Еще лучше, если на то время, когда вы хотите уходить с работы, у вас стоит какое-то занятие (например, спорт).

3. В пятницу вечером я смотрю на свое расписание на следующей неделе и стараюсь, чтобы все встречи организовывались в блоки. Если у вас 3 встречи и между ними по получасовому перерыву, это крайне непродуктивно: скорее всего, все эти перерывы вы либо будете прокрастинировать (так как не сможете быстро переключить контекст), либо сделаете какие-то мелкие дела типа проверки почты. Если же переставить встречи в один полуторачасовой блок, у вас появится дополнительный час, который можно потратить уже на более крупные задачи.

4. Я никогда не участвую во встречах, где непонятна повестка и ценность от моего участия. Если прилетает приглашение типа "Анна-Антон" или "Проект Х", я всегда отправляю автоматический ответ – а какая цель у этой встречи и зачем я вам там нужна? Удивительно, но часто этот вопрос приводит к тому, что вся встреча отменяется, и вопрос решается в другом формате (через чат или таски, например).

5. Дефолтная продолжительность моих встреч - 25 минут; 5 минут на то, чтобы осмыслить action items и переключить контекст на следующий митинг.

6. Если вы идете на встречу, уважайте своих коллег: будьте вовлечены в дискуссию, не сидите в телефоне и закройте-таки свой ноутбук.

@proproduct

Двигать метрики – это не стратегия

За последний год я пообщалась не с одним десятком стартапов на тему роадмапа и стратегии – а точнее, их отсутствия. В лучшем случае, было что-то вроде "+x% DAU" или "+x% conversion to y".

"А почему DAU, а не MAU? – спрашиваешь их. – Почему количество пользователей, а не частота использования? А что если мы нарастим DAU в России, а просядем в Китае, это ок?".

Ответа на эти вопросы, чаще всего, нет. Если у вас их тоже нет, хорошенько подумайте, а есть ли у вас продакт-менеджер, или это проджект/аналитик/разработчик с модным тайтлом. Он/она общается с пользователями, пишет PRD и бесконечно приоритезирует бэклог – и команда вполне логично недоумевает, зачем для этого нужен отдельный человек.

Продакт отвечает за стратегию развития продукта. Что значит "стратегия":

  • понимание текущего состояния продукта;
  • понимание трендов на рынке и текущих/потенциальных проблем;
  • понимание, куда мы хотим прийти через x лет;
  • артикуляция принципов и этических стандартов, которыми мы будем руководствоваться по пути;
  • артикуляция того, что мы делать НЕ будем.

Метрики, безусловно, важны для ежедневной операционной работы, но сами по себе, без стратегии, совершенно бессмысленны. Предположим, мы выбрали DAU ключевой метрикой – вроде как вещь нужная, правда?

  • Но что если мы, например, Avito – количество пользователей растет, но количество покупок не увеличивается;
  • Но что если цикл использования нашего продукта – месяц, а не день;
  • Но что если мы выходим на новый рынок;
  • Но что если мы, например, заспамим всех нотификациями – количество пользователей в краткосрочной перспективе вырастет, удовлетворение от продукта упадет.

Метрики помогают следить за прогрессом; стратегия помогает принимать решения – что, особенно в долгосрочной перспективе, намного важнее.

Дюжина типов мышления среди дизайнеров

Дюжина типов мышления среди дизайнеров

Есть дюжина типов мышления среди дизайнеров. Выделим пару. Одни уверены, что дизайн это сервисная деятельность, к тебе пришли с конкретной задачей и ты находишь несколько вариантов решения, одно из которых удовлетворит все требования. К тебе пришли за владением инструментом — за набором.

Дизайн как решение задачи — «Найти вариант написания для вывески “Мы открылись”»
Дизайнер анализирует аналоги, конкурентные решения, область деятельности и принятые там законы визуального языка, начинает подбирать размеры, шрифт, цвета, композицию, материалы — добиваясь удобства и визуальной грамотности сообщения. Возможны десятки хороших решений, каждое из которых будет работать.

Второй тип мышления воспитывает отношение к дизайну, как к деятельности созидательной, результатом которой является трансформация исходной ценности, зачастую формулирование самой проблемы в расширении ценности исходного объекта.
Дизайн как расширение задачи — «Найти вариант написания для вывески “Мы открылись”».
Дизайнер анализирует сотни похожих решений, сочетаний слов, композиций, шрифтов и понимает, что ценность сообщения будет выше если его филологически разработать. Начинает разбираться с функцией слов, смыслом сообщения, желаемым результатом. Возникающей эмоциональной связи. Начинает складывать новые слова в комбинации в рамках 12-15 знаков.

Простые альтернативы с демонстрацией заинтересованности, от самоуверенной радости «А вот и мы!» (10 знаков), до нейтральных «Заходите в гости» (16 знаков, перебор), «Мы вам рады» (11 знаков), до буквальности и констатации выгоды — «Вкусно — здесь!» (13 знаков).

А после уже начинается работа по визуальному конструированию вывески, но которую уже должны заметить, увидеть смысл, новую ценность от работы дизайнера, шире диапазон воздействия.

В какой последовательности ведётся исследование?

Глобально, исследования сводятся к тому, чтобы зафиксировать интенсивное и повседневное использование территории, поэтому вся работа строятся для удовлетворения этих требований.

Первым методом полевых исследований всегда идёт наблюдение, так как оно позволяет выявить слабые стороны заданного участка, и уже на основе наблюдения строится все дальнейшее исследование.

Например, наблюдения могут выявить важную точку, которую часто используют люди, в этой точке также найдено большое количество проблем: переход в неположенном месте, неудобно расположенная остановка, выход людей на проезжую часть — в этом случае принимается решение провести опрос, чтобы выяснить в деталях, что является центром притяжения, по какому маршруту перемещаются люди.

Когда наблюдения выявляют частый переход дороги в неположенном месте — проводят подсчёт, чтобы выяснить распределение потоков.

Смысл исследований в том, чтобы полученная информация в обработанном виде поступила в руки архитектору, для принятия им решений по проекту. Поэтому все дополнительные исследования применяются тогда, когда возникает необходимость обосновать те или иные проектные решения, то есть, в тех случаях, когда становится ясно, что проблема раскрыта не полностью и нужны дополнительные аргументы.