Весь мир — гипотеза, а мы в нем *вставьте слово*
TL;DR: не проверяйте гипотезы — задавайте вопросы
Часто замечаю в обсуждении исследовательского процесса фразу «Занимался(лась) проверкой гипотез». Бэклог у нас состоит из гипотез, отчеты по исследованиям начинаются с фраз «Подтвердилось x гипотез из y». От всех вокруг слышно про гипотезы. Их уточняют, одобряют, отбирают, возвращают в работу. Вся исследовательская активность вращается вокруг гипотезы. Гипотеза поглотила мысли и менеджеров, и исследователей. Из каждого тостера мы слышим «Продукт — это гипотеза, и 9 из 10 продуктов проваливаются».
Понятие «гипотеза», благодаря своей распространенности, стало общеупотребительным. Поэтому никто не задается вопросом «Что такое гипотеза?». Смысл термина очевиден, скажете вы, стыдно не знать, что такое гипотеза. Но, очевидные вещи часто оказываются самыми сложными для изучения и понимания. Давайте вместе окунемся в океан банальностей и попробуем ответить для себя на вопрос «А что же такое гипотеза?»
Итак, что такое гипотеза
На первый взгляд все предельно ясно и понятно «Гипотеза — это предположение». Но, для правильного функционирования ее нам уже требуются уточнения.
Во-первых, гипотеза — это предположение, которое можно опровергнуть или подтвердить. И это очень важно. Мы физически не должны иметь возможность иметь третье. Булевая логика — это обязательный признак гипотезы. Цель любого исследования — получение новой информации. Мы не можем сказать «гипотеза ни подтверждена, ни опровергнута», это не несет в себе полезной информации. Если мы не можем подтвердить или опровергнуть гипотезу, то скорее всего мы потратили время на ее проверку впустую.
«Но ведь бывают частично подтвержденные или частично опровергнутые гипотезы», возразите вы. К сожалению, это немного не так. Чаще всего частичное подтверждение — это либо дополнительный фактор, либо неправильный вывод. Например: «У офисных работников возникает проблема X». На интервью данная проблема возникала только у респондентов в должности офис-менеджера. Подтвердилась ли гипотеза? Дотошный исследователь скажет: «Гипотеза подтверждена не полностью», и будет во многом прав. Этот вывод вносит уточнение, дополнительную информацию. Но чаще я встречаюсь с выводом «Проблема возникла у менее чем половины респондентов, гипотеза подтверждена частично» или «Ни у одного респондента не возникало данной проблемы, мы не можем подтвердить или опровергнуть гипотезу». В первом случае мы видим, что на самом деле гипотеза подтверждена. Проблема возникает у офисных сотрудников. Мы не можем судить по результатам глубинок про ее распространенность. Но физическое наличие проблемы доказано. Во втором случае мы мыслим слишком оптимистично. С одной стороны, да, может быть нам просто не попались респонденты с подобной проблемой, или может быть мы не те вопросы задавали. Но с другой стороны, со стороны продукта выгоднее будет отнести гипотезу к опровергнутым и искать более распространенные проблемы. Иначе мы остаемся в вечном цикле чайника Рассела.
Второй важный момент — гипотезы должна быть проверяемой. Каждая гипотеза должна быть операционализируемой, гипотезы, которые мы не можем проверить, будут нам бесполезны. Тут стоит сказать про сложность гипотез. Гипотеза, которую мы не можем проверить — это чаще всего гипотеза, которую проверить слишком сложно. А сложно значит дорого. Например, гипотеза «Продукт решает проблему Х». Ее мы можем проверить, предложив респонденту воспользоваться продуктом для решения проблемы. А вот гипотеза «Продукт эффективно решает проблему Х» гораздо сложнее. Нам необходимо определить эффективность, найти возможность эту эффективность замерить, провести замеры этой самой эффективности у продуктов-конкурентов. Бюджет исследования растет как на дрожжах. А в нашем мире дешевых и быстрых исследований это верная смерть. То есть, определяя гипотезу, мы должны учитывать стоимость и возможность ее проверки. Иначе мы тратим время зря, не получаем никакой новой информации.
Еще один бич формулировки гипотез — соответствие гипотезы методу исследования. Каждый метод исследования имплицирует собственный набор предположений. Например, опрос подразумевает, что все респонденты могут иметь мнение по этому вопросу. Юзабилити-тест предполагает возможность респондента совершить ошибку, запороть задание. И подобные, часто умалчиваемые, как бы само собой разумеющиеся предположения увеличивают сложность гипотезы. Если не следить за этим, можно провести еще несколько бесполезных исследований. Например, опрос по тому, какой шрифт лучше для сайта — с засечками или нет. Человек, не искушенный в исследовательском промысле, спокойно может скатиться к самому простому варианту «Пусть пользователи скажут». А пользователь, скорее всего, и не знает, чем шрифт с засечками отличается от шрифта без засечек. Нет, пользователь не тупой, ему просто это не важно. Пользовательская рефлексия имеет собственные границы, за которые лучше не переступать. В попытках впихать невпихуемое в исследование, мы рискуем еще и совместить несовместимое. Например, попытаться в юзабилити-тесте оценить вероятность покупки продукта. Опрос для этого проходит гораздо лучше, а пилотные продажи еще удачнее. Юзабилити-тест — далеко не лучший вариант для этого. Мало того, что у нас качественная выборка, так еще и респондент уже “испорчен” знанием о продукте. Но ведь от одной лишней гипотезы никто не умирал, не правда ли? В итоге мы рискуем остаться в иллюзии осведомленности.
Если вам еще не наскучило читать, думаю, вы уже понимаете, что гипотеза — довольно тонкий инструмент. Неопытный исследователь или продакт легко может выстрелить себе в ногу, и не заметить это. А ведь это еще не все.
Трансформация смысла гипотезы
В работе с заказчиком мы часто просим их предложить собственные гипотезы. Это трансформирует их смысл, теперь гипотеза — это не только инструмент операционализации, но и инструмент коммуникации. Мы начинаем разговор с гипотез, они выступают в роли брифа. “Чем же это плохо?”, спросите вы. Мы повышаем гибкость, сокращаем лишние движения с постановкой целей и задач, ускоряем процесс. Да и гранулярность в деле — набираешь себе гипотезы в лукошко, проверяешь. Внимательные читатели могли бы заметить, что при подобной постановке вопроса мы с большой долей вероятности столкнемся с большинством подводных камней формулирования гипотез. Списку гипотезы необходима постоянная модерация, заказчикам — постоянное обучение. И ведь это еще не самое интересное. Превращая гипотезы в коммуникацию, мы наслаиваем на нее дополнительный смысл. Теперь на гипотезы можно обидеться, гипотезой можно выразить сомнение. Гипотезой можно похвалить или поругать идею. Интересный для этого пример — гипотезы в юзабилити-тесте. Сам смысл юзабилити-теста — поиск юзабилити-проблем. Этот момент имплицирован в исследование. И поэтому гипотезы должны быть о проблемах. И самый важный момент — доказывать отсутствие проблем будет слишком сложно. Наиболее оптимальный вариант — гипотеза вида «Респондент не найдет кнопку Х». Придумывая гипотезы для юзабилити-теста, мы заранее ищем возможные слабые места, так как проверять каждый элемент интерфейса тоже дорого. И здесь возникает проблема — предлагая подобные гипотезы, мы как бы коммуницируем дизайнерам негативный фидбек. И некоторые из них могут и обидеться на это.
Современная культура стартапа с метафорой «Продукт — это гипотеза» тоже трансформирует понятие гипотезы. По факту это означает только то, что не стоит слишком сильно верить в продукт, он скорее всего не взлетит. Но часто люди понимают эту метафору буквально. Так и получается монстр Франкенштейна под названием «Продуктовая гипотеза». Продуктовая гипотеза настолько имплицитна, что у нее не остается ничего от гипотезы. Давайте рассмотрим весь процесс проверки подобной гипотезы. По факту, фраза “каждый продукт — это гипотеза” имеет под собой аж 6 слоев. В первую очередь мы предполагаем, что существует некая потребность. Затем, что эта потребность возникает у достаточно широкой группы людей. Потом то, что продукт закрывает эту потребность. После чего мы предполагаем, что целевая аудитория узнает о продукте, и только после этого ставим гипотезу “Люди будут покупать продукт в достаточном количестве, чтобы покрыть наши расходы”. Однако в большинстве своем мы схлопываем всю сложность проверки и остаемся на последнем уровне. Конечно упрощение — это всегда хорошо, но при этом мы теряем понимание того, сколько нужно исследовать для успешного вывода продукта на рынок.
С одной стороны, так и нужно, ведь посыл идеи “делай как можно больше MVP, и какой-нибудь из них взлетит”. Но, как мы видим на практике, потребность в исследованиях никуда не пропадает. В итоге, мы все висим где-то в середине. И стремимся делать исследования так, как будто мы не делаем исследований. Исследование не должно занимать времени, ресурсов и отвлекать продакт овнера от важных решений. В свою очередь это приводит к интересному последствию — сложность гипотез, которые мы можем проверить, постоянно снижается.
Так зачем нужны гипотезы? И нужны ли они?
Гипотезы нам нужны в качестве исследовательской оптики. Они позволяют нам сконцентрировать наши усилия на более конкретных вещах. Гипотеза — это инструмент операционализации, она позволяет нам перейти от абстрактных понятий к конкретным метрикам, действиям и словам респондентов. Это незаменимый инструмент, но это инструмент исследователя. Превращая гипотезу в инструмент коммуникации, или используя его в качестве метафоры, мы снижаем ее ценность, как инструмента. Причем хороший исследователь знает, что иногда можно обойтись и без гипотез. Например, в поисковом исследовании, или в выработке обоснованной теории. Современные стратегии смешивания качественных и количественных методов позволяют нам проводить исследования, весь смысл которых в формировании гипотез. А если гипотеза выступает в качестве брифа, то мы рискуем оказаться в порочном круге — для того, чтобы выработать гипотезы, нам нужно придумать гипотезы.
И что тогда делать?
На мой взгляд, мы забываем про такую прекрасную штуку, как исследовательский вопрос. Хороший пример исследователького вопроса: «Какие проблемы возникают в работе бухгалтеров?». Исследовательский вопрос часто подменяется целями и задачами, уходит на второй план. А зря, на мой взгляд. Чаще всего правильно поставленного вопроса достаточно, чтобы накидать предварительный план исследования, и даже сценарий интервью, или опрос. И при этом, чтобы сформулировать исследовательский вопрос, достаточно спросить «А что ты хочешь узнать?». Если человек понимает, зачем ему нужно исследование, с большой долей вероятности он сможет сформулировать исследовательский вопрос. С ним гораздо сложнее ошибиться. И все-таки, давайте применять наши же методы исследований к нашим методам работы. Ключевая пользовательская задача заказчика исследования — это узнать новую информацию, а не проверить гипотезы. Как мы видим, это далеко не всегда одно и тоже. Поэтому, что я предлагаю — давайте начинать с формулировки исследовательского вопроса, а не с гипотез. Заказчику проще задать вопросы, потому что цель — получить ответы. А мы, исследователи, уже разберемся, как эти ответы получить. И научим других, если нужно и интересно. Никто ж ведь не мешает проводить брейншторм-сессии по формулированию гипотез. И вообще, подключать команду на любом этапе исследования — это круто и полезно. Главное — не увлекаться и использовать исследовательские инструменты по-назначению.
И да, не забывайте комментировать, критиковать, задавать вопросы. Я уверен, у многих из нас есть мнение по этому вопросу. Так не стесняйтесь поделиться им!
