Роман Поборчий

Жизнь прекрасна и удивительна


Previous Entry Поделиться Next Entry
Дебильные фотографии птиц
prs

Речь здесь пойдёт о том, почему я не хочу массово постить необычные и смешные запросы, которые встречаются мне в работе. Темой взят один из запросов, попавших в подборку смешных, собранную ценителем из прямого эфира Яндекса. Конечно, мне часто встречаются запросы как непонятные, так и понятные, но забавные. Но я не буду делиться ими с широкой публикой, и вот почему.

Во-первых, мы, в отличие от некоторых других компаний любим своих пользователей и не смеёмся над ними вслух.

Во-вторых, недавно случилась история, которая объясняет, почему этого делать не надо по, так сказать, техническим причинам. Запросы пользователей у нас, конечно, видят и асессоры, которые их оценивают. Многим асессорам трудно удержаться от того, чтобы поделиться радостью с окружающими, например, в своем блоге, несмотря даже на NDA. Нужно понимать, что асессоры часто видят запросы, за которыми мы следим некоторое время, оценивая все новые документы, которые начинают по ним находиться.

И вот ВНЕЗАПНО сразу по нескольким запросам из набора стал находиться блог некоей девушки, которая работает у нас асессором. Ну, вы понимаете. А в оценке, таким образом, наступило смещение. Другие асессоры затруднились её блогу поставить оценку, и по делу: это результаты, которые вообще появились в природе только потому, что мы оцениваем этот запрос. Что мы измеряем-то?

Все живы, девушке напомнили про NDA и попросили этот пост стереть, никаких других мер на первый раз не приняли. Но самому мне такое повторять не с руки. :-)
Метки:

  • 1
(Удалённый комментарий)
Групповую — нетипично. Чаще всего каждый пункт выдачи они оценивают индивидуально, независимо от остальных. Очевидные минусы в том, что иногда результат хорош или плох в зависимости от контекста, и при индивидуальных оценках это не ловится. Очевидные плюсы в том, что так оценки можно переиспользовать (а групповую оценку надо пеоеделывать, когда выдача изменилась).

(Удалённый комментарий)
Да, дальше считаем единую чиселку для выдачи по этим оценкам. Считаем pfound, но в принципе способов много (MAP, ERR, NDCG, whatever).

  • 1
?

Log in

No account? Create an account