October 27th, 2013

Keen

О зависимости оценок за игру от результатов игры

В предыдущих дискуссиях в этом сообществе были выдвинуты как минимум две гипотезы касательно зависимости оценок (за пакет или ведение), данных командой, от результата этой команды на игре. Гипотезы утверждают следующее:
1. Оценка за игру (пакет или ведение) сильно кореллирует с результатом игры, т.е чем лучше результат команды, тем выше оценки, которые она ставит за игру, и наоборот.
2. Оценка за игру сильно кореллирует с прогрессом или регрессом команды на данной игре относительно предыдущих игр, т.е если команда занимает более высокое место чем от нее ожидается, то она дает более высокие оценки, а если команда занимает более низкое место чем от нее ожидается, то она занижает оценки.

Интуитивно, обе гипотезы кажутся логичными, ведь оценки зависят от эмоций, которые в свою очередь зависят от результата, так что корелляцию следует ожидать.

Но гипотезы гипотезами, а теорию нужно проверять фактами. Авторы гипотез утверждают что они их проверяли. Теперь попробую я. Впрочем, когда-то уже проверял и как минимум первая гипотеза не очень то и подтверждается. Но ладно, проверим еще раз на результатах вчерашней игры хайфской лиги (октябрь 2013).

Collapse )
Выводы:
1. Зависимость между результатом игры и оценкой существует, но она слабовыраженная и в основном проявляется в экстремальных случаях, когда команда занимает неожиданно хорошее или плохое место.
2. Некоторые считают, что существование зависимости между местом и оценкой доказывает нецелесообразность самих оценок и их следует отменить. С этим можно было бы согласиться если бы корелляция приближалась к 100%, но этого вовсе не наблюдается, а значит можно учесть эту зависимость и удалить ее из оценок метематическим путем. К сожалению, я уже не помню как это делается в общем случае, но в данном случае по-видимому достаточно просто убрать или подправить явно экстремальные оценки. Например, если +2 Стартапа за ведение поменять на +1, то средняя оценка за ведение практически не изменяется (7.8 вместо 7.9), зато корелляция практически исчезает (падает ниже 4%). Можно даже еще лучше: уменьшить оценки Стартапа и ДТ на полбалла, а оценки Вала и Вопр. Знака увеличить на полбалла (это 4 команды с самым значительным отклонением от единицы, у Знака - 0.5). При этом, средняя оценка не меняется вообще, а корелляция становится -3%.
3. При всем при этом, следует помнить, что данный опыт проведен на слишком малой группе чтобы делать надежные выводы, так что хорошо бы его повторить хотя бы несколько раз прежде чем начинать что-то менять в существующей системе, которая, судя по всему, остается действенной и популярной, по крайней мере в Хайфе.

П.С. Полные результаты вычислений в виде экселевской таблицы могу выслать личной почтой всем заинтересованным.
сова

Оценки за вопросы и ведение - опрос

Всем добрый день!
Хочу поблагодарить за комментарии к моему посту об оценках.
Было очень интересно услышать ваше мнение.
В ходе обсуждения было высказано несколько предложений, которые я обьединила в этот опрос.
Проголосуйте пожалуйста!

Оказалось , что опрос редактировать нельзя, поэтому маленькое пояснение:
"Оценка должна быть одна" = оценка , которая оценивает общее впечатление от игры: вопросы, ведение и настроение

Poll #1940660 Оценка за пакет

Хотели ли бы вы что то изменить в оценке пакета ДК?

Местные пакеты должны оцениваться отдельно/получать приориет над внешними
20(39.2%)
Оценка за игру должна быть одна,
3(5.9%)
Хотел бы оценивать каждый вопрос отдельно (как в Хайфе), это дает более подробную и точную оценку
11(21.6%)
Хотел бы дополнительно оценивать каждый вопрос в сети (как Канделябр), это дает более подробную и точную оценку
13(25.5%)
Мне все нравится, ничего менять не надо
4(7.8%)