-
Notifications
You must be signed in to change notification settings - Fork 174
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Precision@5 и recall@5 #12
Comments
Мы рекомендуем все просмотренные товары и считаем точность и полноту на них. Но порядок в котором мы из порекомендуем не совпадёт с тем, в котором они были просмотрены. |
@ilirhin мне кажется, вопрос о другом - что делать с теми сессиями, где число просмотренных пользователем товаров меньше 5. Очевидный выход - не учитывать эти сессии в расчетах. Если же пытаться их учитывать, то, вообще говоря, это уже не будет Precision@5 и Recall@5, поскольку 5 рекомендаций просто не наберется. В задании ничего об этом не говорится. |
Да, но все формулы останутся корректными, если в сессии была хоть одна покупка, поэтому при оценке участвуют все сессии, где есть покупки, независимо от того, есть ли в них просмотренные объекты и сколько их. |
Тогда такой вопрос, если в сессии меньше 5 просмотренных товаров, то в precision@5 нам следует делить на 5 или на количество товаров в просмотренных? Ведь, по-сути, мы рекомендуем только их. |
И если "статистика просмотров и покупок строится только по обучающей выборке, а не по сессии к которой делается рекомендация", то какой смысл имеют предыдущие комментарии? Ведь, например, для расчетов по тестовому файлу мы используем рекомендации по тренировочному файлу В ЦЕЛОМ, без рассмотрения отдельных сессий, так же? |
Есть обучающая выборка, по ней мы стоим два словаря частот: частоты появлений в просмотренных, частоты появления в покупках. Это в каком-то смысле обучение рекомендательной системы (РС). Далее нужно сделать применение РС к выборкам (обучающей и тестовой). РС работает так: просмотренные объекты (без дубликатов) в сессии сортируются по убыванию частоты из словаря РС. Это и есть рекомендация. |
@ilirhin а можно еще комментарий по моему вопросу? :) |
Абсолютно верно замечено, что precision@5 не имеет смысла считать, когда просмотренных меньше 5. Тем не менее подсчитать его всё равно нужно, потому что вот так захотел заказчик :) |
Индустрия =D On Thu, Oct 13, 2016 at 1:04 AM Ilya [email protected] wrote:
|
Я считал precision@5 = [relevant items among first 5 items] / [min(5, length of recommendation pull)] |
@Vasiliy-Molotov в 4-м комментарии сказано, что количество просмотренных товаров не важно для вида формул, я понимаю это как указание на деление на 5 :) |
Именно так :) |
а если в строке ноль релевантных, то какой для нее recall? |
@bastak @ilirhin @evfro |
@vasanima проблема здесь не в конкретной реализации, а в том, что процедура оценки качества модели не была четко сформулирована, оставляя свободу интерпретации на стороне выполняющих задание. Найти аргументацию можно и под тот, и под другой способ оценки, но в данном случае все упирается в то, что считают "правильным" составители задания, т.к. именно на основе этого принимается решение об успешности выполнения задания студентом. |
Здравствуйте. Когда считаем Precision@5 и recall@5 в сессии, где меньше 5 просмотренных товаров, мы рекомендуем все просмотренные товары и считаем точность и полноту на них, или вообще не учитываем такие сессии, ничего на них не считаем и в оценках средних точности и полноты их не учитываем?
The text was updated successfully, but these errors were encountered: