Наша работа - искать проблемы. Поэтому хорошее не замечается само
TL;DR: Дизлайков на сообщения нашего ИИ-интервьюера больше, чем лайков, - но не потому, что продукт плохой. Недовольные реагируют чаще довольных, а довольные молчат: это негативный перекос обратной связи. Поэтому мы начали считать и лайки - чтобы видеть, что работает, а не только чинить негатив.
В нашем рабочем чате это однажды сформулировали предельно точно:
Специфика работы такая - искать баги и проблемы. А замечать хорошее никто специально не настраивает.
В этой реплике - корень всей истории. Наша работа по своей природе нацелена на поиск плохого, и это нормально. Но из-за этого хорошее становится невидимым - и его приходится подсвечивать осознанно.
Почему по дизлайкам кажется, что всё плохо
Когда смотришь на ленту реакций к нашему ИИ-интервьюеру, может кольнуть: дизлайков больше, чем лайков. Легко прочитать это как приговор продукту. Но это не диагноз - это устройство обратной связи.
Плохое сильнее хорошего
У этого есть имя и исследование. Рой Баумайстер с коллегами в обзоре « Bad Is Stronger Than Good » (2001) показал: плохое мы обрабатываем глубже, запоминаем сильнее и реагируем на него быстрее, чем на хорошее. Это эволюционный механизм - замечать угрозу важнее для выживания, чем замечать приятное. Поэтому в любой системе обратной связи негатив звучит громче.
В прикладном виде это видно по обратной связи: недовольные реагируют заметно чаще довольных и делают это сами, без побуждения, - а довольный обычно молчит, если его не попросить. О плохом опыте человек ещё и расскажет большему числу людей, чем о хорошем. Негатив просто громче по своей природе.
Коротко, почему дизлайков всегда больше - и это подтверждают исследования:
- плохое эволюционно заметнее: мозг сильнее реагирует на угрозу, чем на приятное - негативный перекос ( Пол Розин , Эдвард Ройзман , « Negativity Bias, Negativity Dominance, and Contagion », 2001);
- жаловаться тянет сильнее, чем хвалить: о плохом опыте люди рассказывают большему числу людей, чем о хорошем (известно ещё с исследования для Coca-Cola, 1980; хотя разрыв часто преувеличивают - Юджин Андерсон , Journal of Service Research, 1998);
- довольные молчат, а крайние мнения пишут чаще: из-за самоотбора отзывы имеют смещённое «J-образное» распределение ( Нан Ху , Пол Павлоу , Дженнифер Чжан , « On Self-Selection Biases in Online Product Reviews », MIS Quarterly, 2017).
Почему нельзя судить продукт по дизлайкам
Если мерить продукт только по жалобам и дизлайкам, происходят две плохие вещи. Первая: оптимизируется только боль, а то, что уже работает хорошо, остаётся в слепой зоне. Вторая, не менее важная: лента негатива демотивирует команду - создаётся ощущение «всё плохо», хотя на деле это просто громкое меньшинство.
Команде важно помнить: лента дизлайков смещена в негатив по своей природе - реагирует в основном недовольный край. Это громкое меньшинство, а не оценка вашей работы.
Мы уже писали про молчаливое большинство в «95% пользователей молчат» : те, кому всё нравится, обычно молчат. Их не видно - но их кратно больше.
Это похоже на знаменитую ошибку выжившего - только наоборот. Во Вторую мировую броню самолётов хотели усиливать там, где у вернувшихся машин было больше пробоин, пока не сработала логика, которую связывают с математиком Абрахамом Вальдом : смотреть надо на тех, кто не вернулся, - их пробоины просто не видно. У нас та же ловушка, перевёрнутая: видны те, кто отреагировал на проблему, а молча довольные невидимы. Механизм тут простой - самоотбор: реакции оставляет не случайная выборка, а недовольный край.
Кнопка лайка меняет расклад
Здесь важная оговорка. Эта асимметрия - про склонность недовольных реагировать чаще там, где довольный обычно молчит и никуда не идёт. Но у нас лайк стоит прямо рядом с дизлайком, и поставить его так же просто. Когда позитивная реакция не требует усилий, часть перекоса обнуляется - и реальная картина мягче, чем кажется по одним дизлайкам. Вывод не «у нас всё прекрасно», а трезвый: по одним жалобам картина искажена в сторону негатива, довольных в ленте недосчитываешь по определению.
Зачем мы считаем лайки
Лайк и дизлайк на каждое сообщение ИИ - это встроенный контур качества: рекрутеры и нанимающие менеджеры размечают реальные диалоги, и интервью улучшается на этой обратной связи, а не остаётся «чёрным ящиком».
Раньше в этой ленте качества копились в основном дизлайки - по ним удобно чинить. Но мы сознательно начали показывать и считать ещё и лайки. Когда видишь, что именно нравится, появляется цель это наращивать. Это разворот оптики: идти к позитиву, а не только убегать от проблем.
Что это значит для продукта и клиента
В статье «За время платят зарплату. За вклад - мы создаём своё будущее» мы говорили, что бизнес строится на возврате. Но возврат вырастает из ценности продукта. Дизлайки показывают, где чинить. Лайки показывают, где ценность. А с поправкой на то, что довольные пишут редко, в ленте мы недосчитываем хорошего по определению - оно создаётся, но не оставляет следа. Для клиента за этим - накопительная выгода: каждый размеченный диалог делает следующее интервью точнее, и продукт со временем отбирает кандидатов лучше застывшего по сценарию бота.
Что с этим делать
Дизлайков всегда будет больше - так устроена обратная связь, а не наш продукт. Давайте считать и лайки. На экране их меньше - но сами довольные пишут редко. За каждым видимым лайком стоят те, кто молча остался доволен.