hw2_em_algo_chgk.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "e288bc01",
   "metadata": {},
   "source": [
    "# $\\color{blue}{\\text{MADE}}$ $\\bullet$ $\\color{red}{\\text{Advanced ML}}$ $\\bullet$ HW №2\n",
    "### Преподаватель: [*Сергей Николенко*](https://logic.pdmi.ras.ru/~sergey/index.html)\n",
    "### Выполнил: $\\text{Саит Шарипов, группа MADE-DS-22}$\n",
    "### 🦉 EM-алгоритм и рейтинг-система спортивного ЧГК\n",
    "* * *"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e10bae6b",
   "metadata": {},
   "source": [
    "# 📝 [Описание задания](https://docs.google.com/document/d/1MapaSpMax0cEnnY2-QJ2XMgzVHpj_UrucJK-1r5FgA8/edit):"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6419d6dc",
   "metadata": {},
   "source": [
    "Второе домашнее задание — самое большое в курсе, в нём придётся и концептуально подумать о происходящем, и технические трудности тоже порешать. Как и раньше, в качестве решения ожидается ссылка на jupyter-ноутбук на вашем github (или публичный, или с доступом для snikolenko); ссылку обязательно нужно прислать в виде сданного домашнего задания на портале Академии. Как всегда, любые комментарии, новые идеи и рассуждения на тему категорически приветствуются.\n",
    "\n",
    "Второе задание — это полноценный проект по анализу данных, начиная от анализа постановки задачи и заканчивая сравнением результатов разных моделей. Задача реальная и серьёзная, хотя тему я выбрал развлекательную: мы будем строить **вероятностную рейтинг-систему для спортивного “Что? Где? Когда?” (ЧГК)**.\n",
    "\n",
    "**Background:** в спортивном “Что? Где? Когда?” соревнующиеся команды отвечают на одни и те же вопросы. После минуты обсуждения команды записывают и сдают свои ответы на карточках; побеждает тот, кто ответил на большее число вопросов. Турнир обычно состоит из нескольких десятков вопросов (обычно $36$ или $45$, иногда $60$, больше редко). Часто бывают синхронные турниры, когда на одни и те же вопросы отвечают команды на сотнях игровых площадок по всему миру, т.е. в одном турнире могут играть сотни, а то и тысячи команд. Соответственно, нам нужно:\n",
    "* построить рейтинг-лист, который способен нетривиально предсказывать результаты будущих турниров;\n",
    "* при этом, поскольку ЧГК — это хобби, и контрактов тут никаких нет, игроки постоянно переходят из команды в команду, сильный игрок может на один турнир сесть поиграть за другую команду и т.д.; поэтому единицей рейтинг-листа должна быть не команда, а отдельный игрок;\n",
    "* а что сильно упрощает задачу и переводит её в область домашних заданий на EM-алгоритм — это характер данных: начиная с какого-то момента, в базу результатов начали вносить все повопросные результаты команд, т.е. в данных будут записи вида “какая команда на какой вопрос правильно ответила”.\n",
    "\n",
    "Я сделал за вас только первый шаг: выкачал через API [сайта рейтинга ЧГК](https://rating.chgk.info/) все нужные данные, чтобы сайт не прилёг под вашими многочисленными скрейперами. :) Полученные данные лежат в формате `pickle` вот здесь: 👉🏻 [ссылка на данные](https://www.dropbox.com/s/s4qj0fpsn378m2i/chgk.zip?dl=0).\n",
    "\n",
    "1. Прочитайте и проанализируйте данные, выберите турниры, в которых есть данные о составах команд и повопросных результатах (поле `mask` в `results.pkl`). Для унификации предлагаю:\n",
    "    * взять в тренировочный набор турниры с `dateStart` из $2019$ года; \n",
    "    * в тестовый — турниры с `dateStart` из $2020$ года.\n",
    "2. Постройте `baseline`-модель на основе линейной или логистической регрессии, которая будет обучать рейтинг-лист игроков. Замечания и подсказки:\n",
    "    * повопросные результаты — это фактически результаты броска монетки, и их предсказание скорее всего имеет отношение к бинарной классификации;\n",
    "    * в разных турнирах вопросы совсем разного уровня сложности, поэтому модель должна это учитывать; скорее всего, модель должна будет явно обучать не только силу каждого игрока, но и сложность каждого вопроса;\n",
    "    * для `baseline`-модели можно забыть о командах и считать, что повопросные результаты команды просто относятся к каждому из её игроков.\n",
    "3. Качество рейтинг-системы оценивается качеством предсказаний результатов турниров. Но сами повопросные результаты наши модели предсказывать вряд ли смогут, ведь неизвестно, насколько сложными окажутся вопросы в будущих турнирах; да и не нужны эти предсказания сами по себе. Поэтому:\n",
    "    * предложите способ предсказать результаты нового турнира с известными составами, но неизвестными вопросами, в виде ранжирования команд;\n",
    "    * в качестве метрики качества на тестовом наборе давайте считать ранговые корреляции Спирмена и Кендалла (их можно взять в пакете scipy) между реальным ранжированием в результатах турнира и предсказанным моделью, усреднённые по тестовому множеству турниров$^1$.\n",
    "4. Теперь главное: ЧГК — это всё-таки командная игра. Поэтому:\n",
    "    * предложите способ учитывать то, что на вопрос отвечают сразу несколько игроков; скорее всего, понадобятся скрытые переменные; не стесняйтесь делать упрощающие предположения, но теперь переменные “игрок X ответил на вопрос Y” при условии данных должны стать зависимыми для игроков одной и той же команды;\n",
    "    * разработайте EM-схему для обучения этой модели, реализуйте её в коде;\n",
    "    * обучите несколько итераций, убедитесь, что целевые метрики со временем растут (скорее всего, ненамного, но расти должны), выберите лучшую модель, используя целевые метрики.\n",
    "5. А что там с вопросами? Постройте “рейтинг-лист” турниров по сложности вопросов. Соответствует ли он интуиции (например, на чемпионате мира в целом должны быть сложные вопросы, а на турнирах для школьников — простые)? Если будет интересно: постройте топ сложных и простых вопросов со ссылками на конкретные записи в [базе вопросов ЧГК](https://db.chgk.info/) (это чисто техническое дело, тут никакого ML нету).\n",
    "6. 🎁 *Бонус*: постройте топ игроков по предсказанной вашей моделью силе игры, а рядом с именами игроков напишите общее число вопросов, которое они сыграли. Скорее всего, вы увидите, что топ занят игроками, которые сыграли совсем мало вопросов, около $100$ или даже меньше; если вы поищете их в официальном рейтинге ЧГК, вы увидите, что это какие-то непонятные ноунеймы$^2$. В baseline-модели, скорее всего, такой эффект будет гораздо слабее.\n",
    "\n",
    "    Это естественное свойство модели: за счёт EM-схемы влияние $1-2$ удачно сыгранных турниров будет только усиливаться, потому что неудачных турниров, чтобы его компенсировать, у этих игроков нет. Более того, это не мешает метрикам качества, потому что если эти игроки сыграли всего $1-2$ турнира в $2019$-м, скорее всего они ничего или очень мало сыграли и в $2020$, и их рейтинги никак не влияют на качество тестовых предсказаний. Но для реального рейтинга такое свойство, конечно, было бы крайне нежелательным. Давайте попробуем его исправить:\n",
    "    * сначала жёстко: выберите разумную отсечку по числу вопросов, учитывая, что в одном турнире их обычно $30-50$;\n",
    "    * можно ли просто выбросить игроков, которые мало играли, и переобучить модель? почему? предложите, как нужно изменить модель, чтобы не учитывать слишком мало сыгравших, и переобучите модель;\n",
    "    * но всё-таки это не слишком хорошее решение: если выбрать маленькую отсечку, будут ноунеймы в топе, а если большую, то получится, что у нового игрока слишком долго не будет рейтинга; скорее всего, никакой “золотой середины” тут не получится;\n",
    "    * предложите более концептуальное решение для топа игроков в рейтинг-листе; если получится, реализуйте его на практике (за это уж точно будут серьёзные бонусные баллы).\n",
    "7. 🎁 *Бонус*: игроки со временем учатся играть лучше (а иногда бывает и наоборот). А в нашей модели получается, что первые неудачные турниры новичка будут тянуть его рейтинг вниз всю жизнь — это нехорошо, рейтинг должен быть достаточно гибким и иметь возможность меняться даже у игроков, отыгравших сотни турниров. Давайте попробуем этого добиться:\n",
    "    * если хватит вычислительных ресурсов, сначала сделайте `baseline` совсем без таких схем, обучив рейтинги на всех турнирах с повопросными результатами, а не только на турнирах $2019$ года; улучшилось ли качество предсказаний на $2020$?\n",
    "    * одну схему со временем мы уже использовали: брали для обучения только последний год турниров; примерно так делают, например, в теннисной чемпионской гонке; у этой схемы есть свои преимущества, но есть и недостатки (например, достаточно мало играть год, чтобы полностью пропасть из рейтинга);\n",
    "    * предложите варианты базовой модели или алгоритма её обучения, которые могли бы реализовать изменения рейтинга со временем; если получится, реализуйте их на практике, проверьте, улучшатся ли предсказания на $2020$.\n",
    "---\n",
    "$^1$Для самопроверки: у меня средняя корреляция Спирмена на тестовом множестве $2020$ года во всех моделях, включая baselines, получалась порядка $0.7-0.8$, а корреляция Кендалла — порядка $0.5-0.6$. Если у вас корреляции вышли за $0.9$ или, наоборот, упали ниже $0.3$, скорее всего где-то баг.\n",
    "\n",
    "$^2$Для самопроверки: а вот те игроки, кто сыграл от тысячи вопросов и больше и при этом всё равно попал в топ-$100$ весов модели, должны быть настоящими топовыми игроками из ведущих команд официального рейтинга. Если это не так, опять же, скорее всего где-то баг.\n",
    "\n",
    "---\n",
    "\n",
    "\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2002cc80",
   "metadata": {},
   "source": [
    "# ✅ Решение"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4d26ebd8",
   "metadata": {},
   "source": [
    "## 0️⃣ Импорт библиотек"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "1b9c2529",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:27.257382Z",
     "start_time": "2022-04-25T19:43:25.181956Z"
    }
   },
   "outputs": [],
   "source": [
    "import warnings\n",
    "warnings.filterwarnings('ignore')\n",
    "\n",
    "from tqdm import tqdm\n",
    "\n",
    "import numpy as np\n",
    "import pandas as pd\n",
    "\n",
    "import re\n",
    "import pickle\n",
    "import requests\n",
    "\n",
    "from sklearn.preprocessing import OneHotEncoder\n",
    "from sklearn.linear_model import LogisticRegression\n",
    "from sklearn.linear_model import LinearRegression\n",
    "\n",
    "from scipy import stats\n",
    "from scipy.special import logit, expit"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0c27c240",
   "metadata": {},
   "source": [
    "## 1️⃣ Чтение и анализ данных\n",
    "Прочитайте и проанализируйте данные, выберите турниры, в которых есть данные о составах команд и повопросных результатах (поле `mask` в `results.pkl`). Для унификации предлагаю:\n",
    "* взять в тренировочный набор турниры с `dateStart` из $2019$ года; \n",
    "* в тестовый — турниры с `dateStart` из $2020$ года."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9fc620b0",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-13T13:58:37.210057Z",
     "start_time": "2022-04-13T13:58:37.202646Z"
    }
   },
   "source": [
    "<font color='Navy'><i> \n",
    "✏️ Читаем данные.\n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "c2db18db",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:39.455248Z",
     "start_time": "2022-04-25T19:43:27.259331Z"
    }
   },
   "outputs": [],
   "source": [
    "with open('chgk_data/results.pkl', 'rb') as fin:\n",
    "    results = pickle.load(fin)\n",
    "    \n",
    "with open('chgk_data/tournaments.pkl', 'rb') as fin:\n",
    "    tournaments = pickle.load(fin)\n",
    "    \n",
    "with open('chgk_data/players.pkl', 'rb') as fin:\n",
    "    players = pickle.load(fin)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ac6798ff",
   "metadata": {},
   "source": [
    "<font color='Navy'><i> \n",
    "✏️ Обработаем `tournaments`.\n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "87e9ad90",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:40.733906Z",
     "start_time": "2022-04-25T19:43:39.456673Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>tour_name</th>\n",
       "      <th>dateStart</th>\n",
       "      <th>dateEnd</th>\n",
       "      <th>type</th>\n",
       "      <th>questionQty</th>\n",
       "      <th>year</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>3788</th>\n",
       "      <td>4628</td>\n",
       "      <td>Семь сорок</td>\n",
       "      <td>2020-12-30</td>\n",
       "      <td>2020-12-30</td>\n",
       "      <td>Синхрон</td>\n",
       "      <td>{'1': 12, '2': 12, '3': 12}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3921</th>\n",
       "      <td>4772</td>\n",
       "      <td>Синхрон северных стран. Зимний выпуск</td>\n",
       "      <td>2019-01-05</td>\n",
       "      <td>2019-01-09</td>\n",
       "      <td>Синхрон</td>\n",
       "      <td>{'1': 12, '2': 12, '3': 12}</td>\n",
       "      <td>2019</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4100</th>\n",
       "      <td>4957</td>\n",
       "      <td>Синхрон Биркиркары</td>\n",
       "      <td>2020-02-20</td>\n",
       "      <td>2020-02-27</td>\n",
       "      <td>Синхрон</td>\n",
       "      <td>{'1': 13, '2': 13, '3': 13}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4115</th>\n",
       "      <td>4973</td>\n",
       "      <td>Балтийский Берег. 3 игра</td>\n",
       "      <td>2019-01-25</td>\n",
       "      <td>2019-01-29</td>\n",
       "      <td>Синхрон</td>\n",
       "      <td>{'1': 12, '2': 12, '3': 12}</td>\n",
       "      <td>2019</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4116</th>\n",
       "      <td>4974</td>\n",
       "      <td>Балтийский Берег. 4 игра</td>\n",
       "      <td>2019-03-01</td>\n",
       "      <td>2019-03-05</td>\n",
       "      <td>Синхрон</td>\n",
       "      <td>{'1': 12, '2': 12, '3': 12}</td>\n",
       "      <td>2019</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5523</th>\n",
       "      <td>6481</td>\n",
       "      <td>Онлайн: 15:00 (а)Синхрон-lite. Лига старта. Эп...</td>\n",
       "      <td>2020-05-05</td>\n",
       "      <td>2020-05-05</td>\n",
       "      <td>Обычный</td>\n",
       "      <td>{'1': 12, '2': 12, '3': 12}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5524</th>\n",
       "      <td>6482</td>\n",
       "      <td>Онлайн: 19:00 Зелёный шум</td>\n",
       "      <td>2020-05-07</td>\n",
       "      <td>2020-05-07</td>\n",
       "      <td>Обычный</td>\n",
       "      <td>{'1': 13, '2': 13, '3': 13}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5525</th>\n",
       "      <td>6483</td>\n",
       "      <td>Онлайн: 19:00 (а)Синхрон-lite. Лига старта. Эп...</td>\n",
       "      <td>2020-05-08</td>\n",
       "      <td>2020-05-08</td>\n",
       "      <td>Обычный</td>\n",
       "      <td>{'1': 12, '2': 12, '3': 12}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5526</th>\n",
       "      <td>6484</td>\n",
       "      <td>Онлайн: 22:00 Не числом, а умением - 2 (NEW!)</td>\n",
       "      <td>2020-05-04</td>\n",
       "      <td>2020-05-04</td>\n",
       "      <td>Обычный</td>\n",
       "      <td>{'1': 12, '2': 12}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5527</th>\n",
       "      <td>6485</td>\n",
       "      <td>Онлайн: 19:00 Не числом, а умением</td>\n",
       "      <td>2020-05-06</td>\n",
       "      <td>2020-05-06</td>\n",
       "      <td>Обычный</td>\n",
       "      <td>{'1': 12, '2': 12}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>1105 rows × 7 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "        id                                          tour_name   dateStart  \\\n",
       "3788  4628                                         Семь сорок  2020-12-30   \n",
       "3921  4772              Синхрон северных стран. Зимний выпуск  2019-01-05   \n",
       "4100  4957                                 Синхрон Биркиркары  2020-02-20   \n",
       "4115  4973                           Балтийский Берег. 3 игра  2019-01-25   \n",
       "4116  4974                           Балтийский Берег. 4 игра  2019-03-01   \n",
       "...    ...                                                ...         ...   \n",
       "5523  6481  Онлайн: 15:00 (а)Синхрон-lite. Лига старта. Эп...  2020-05-05   \n",
       "5524  6482                          Онлайн: 19:00 Зелёный шум  2020-05-07   \n",
       "5525  6483  Онлайн: 19:00 (а)Синхрон-lite. Лига старта. Эп...  2020-05-08   \n",
       "5526  6484      Онлайн: 22:00 Не числом, а умением - 2 (NEW!)  2020-05-04   \n",
       "5527  6485                 Онлайн: 19:00 Не числом, а умением  2020-05-06   \n",
       "\n",
       "         dateEnd     type                  questionQty  year  \n",
       "3788  2020-12-30  Синхрон  {'1': 12, '2': 12, '3': 12}  2020  \n",
       "3921  2019-01-09  Синхрон  {'1': 12, '2': 12, '3': 12}  2019  \n",
       "4100  2020-02-27  Синхрон  {'1': 13, '2': 13, '3': 13}  2020  \n",
       "4115  2019-01-29  Синхрон  {'1': 12, '2': 12, '3': 12}  2019  \n",
       "4116  2019-03-05  Синхрон  {'1': 12, '2': 12, '3': 12}  2019  \n",
       "...          ...      ...                          ...   ...  \n",
       "5523  2020-05-05  Обычный  {'1': 12, '2': 12, '3': 12}  2020  \n",
       "5524  2020-05-07  Обычный  {'1': 13, '2': 13, '3': 13}  2020  \n",
       "5525  2020-05-08  Обычный  {'1': 12, '2': 12, '3': 12}  2020  \n",
       "5526  2020-05-04  Обычный           {'1': 12, '2': 12}  2020  \n",
       "5527  2020-05-06  Обычный           {'1': 12, '2': 12}  2020  \n",
       "\n",
       "[1105 rows x 7 columns]"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tournaments_df = pd.DataFrame(tournaments.values())\n",
    "tournaments_df = tournaments_df.drop(['season', 'orgcommittee', 'synchData'], axis=1) # удалим лишние поля\n",
    "tournaments_df.rename(columns={'name': 'tour_name'}, inplace=True)\n",
    "\n",
    "# Преобразуем тип турнира в читаемый вид.\n",
    "tour_type = tournaments_df['type'].apply(pd.Series)\n",
    "tour_type = tour_type.drop(['id'], axis=1)\n",
    "tournaments_df['type'] = tour_type['name']\n",
    "\n",
    "# Дату в читаемый вид.\n",
    "tournaments_df['dateStart'] = pd.to_datetime(tournaments_df['dateStart'], utc=True).dt.date\n",
    "tournaments_df['dateEnd'] = pd.to_datetime(tournaments_df['dateEnd'], utc=True).dt.date\n",
    "tournaments_df['year'] = pd.to_datetime(tournaments_df['dateStart']).dt.year\n",
    "\n",
    "# Оставим только турниры из 2019 и 2020 года.\n",
    "tournaments_df = tournaments_df[(tournaments_df['year'] == 2019) | (tournaments_df['year'] == 2020)]\n",
    "\n",
    "tournaments_df.set_index('id')\n",
    "tournaments_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "7354eb49",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:40.740423Z",
     "start_time": "2022-04-25T19:43:40.736831Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['Синхрон', 'Асинхрон', 'Обычный', 'Строго синхронный',\n",
       "       'Общий зачёт'], dtype=object)"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tournaments_df['type'].unique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "84f9d1d0",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:40.754105Z",
     "start_time": "2022-04-25T19:43:40.742050Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>tour_name</th>\n",
       "      <th>dateStart</th>\n",
       "      <th>dateEnd</th>\n",
       "      <th>type</th>\n",
       "      <th>questionQty</th>\n",
       "      <th>year</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>3788</th>\n",
       "      <td>4628</td>\n",
       "      <td>Семь сорок</td>\n",
       "      <td>2020-12-30</td>\n",
       "      <td>2020-12-30</td>\n",
       "      <td>Синхрон</td>\n",
       "      <td>{'1': 12, '2': 12, '3': 12}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3921</th>\n",
       "      <td>4772</td>\n",
       "      <td>Синхрон северных стран. Зимний выпуск</td>\n",
       "      <td>2019-01-05</td>\n",
       "      <td>2019-01-09</td>\n",
       "      <td>Синхрон</td>\n",
       "      <td>{'1': 12, '2': 12, '3': 12}</td>\n",
       "      <td>2019</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4100</th>\n",
       "      <td>4957</td>\n",
       "      <td>Синхрон Биркиркары</td>\n",
       "      <td>2020-02-20</td>\n",
       "      <td>2020-02-27</td>\n",
       "      <td>Синхрон</td>\n",
       "      <td>{'1': 13, '2': 13, '3': 13}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4115</th>\n",
       "      <td>4973</td>\n",
       "      <td>Балтийский Берег. 3 игра</td>\n",
       "      <td>2019-01-25</td>\n",
       "      <td>2019-01-29</td>\n",
       "      <td>Синхрон</td>\n",
       "      <td>{'1': 12, '2': 12, '3': 12}</td>\n",
       "      <td>2019</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4116</th>\n",
       "      <td>4974</td>\n",
       "      <td>Балтийский Берег. 4 игра</td>\n",
       "      <td>2019-03-01</td>\n",
       "      <td>2019-03-05</td>\n",
       "      <td>Синхрон</td>\n",
       "      <td>{'1': 12, '2': 12, '3': 12}</td>\n",
       "      <td>2019</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5523</th>\n",
       "      <td>6481</td>\n",
       "      <td>Онлайн: 15:00 (а)Синхрон-lite. Лига старта. Эп...</td>\n",
       "      <td>2020-05-05</td>\n",
       "      <td>2020-05-05</td>\n",
       "      <td>Обычный</td>\n",
       "      <td>{'1': 12, '2': 12, '3': 12}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5524</th>\n",
       "      <td>6482</td>\n",
       "      <td>Онлайн: 19:00 Зелёный шум</td>\n",
       "      <td>2020-05-07</td>\n",
       "      <td>2020-05-07</td>\n",
       "      <td>Обычный</td>\n",
       "      <td>{'1': 13, '2': 13, '3': 13}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5525</th>\n",
       "      <td>6483</td>\n",
       "      <td>Онлайн: 19:00 (а)Синхрон-lite. Лига старта. Эп...</td>\n",
       "      <td>2020-05-08</td>\n",
       "      <td>2020-05-08</td>\n",
       "      <td>Обычный</td>\n",
       "      <td>{'1': 12, '2': 12, '3': 12}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5526</th>\n",
       "      <td>6484</td>\n",
       "      <td>Онлайн: 22:00 Не числом, а умением - 2 (NEW!)</td>\n",
       "      <td>2020-05-04</td>\n",
       "      <td>2020-05-04</td>\n",
       "      <td>Обычный</td>\n",
       "      <td>{'1': 12, '2': 12}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5527</th>\n",
       "      <td>6485</td>\n",
       "      <td>Онлайн: 19:00 Не числом, а умением</td>\n",
       "      <td>2020-05-06</td>\n",
       "      <td>2020-05-06</td>\n",
       "      <td>Обычный</td>\n",
       "      <td>{'1': 12, '2': 12}</td>\n",
       "      <td>2020</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>1093 rows × 7 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "        id                                          tour_name   dateStart  \\\n",
       "3788  4628                                         Семь сорок  2020-12-30   \n",
       "3921  4772              Синхрон северных стран. Зимний выпуск  2019-01-05   \n",
       "4100  4957                                 Синхрон Биркиркары  2020-02-20   \n",
       "4115  4973                           Балтийский Берег. 3 игра  2019-01-25   \n",
       "4116  4974                           Балтийский Берег. 4 игра  2019-03-01   \n",
       "...    ...                                                ...         ...   \n",
       "5523  6481  Онлайн: 15:00 (а)Синхрон-lite. Лига старта. Эп...  2020-05-05   \n",
       "5524  6482                          Онлайн: 19:00 Зелёный шум  2020-05-07   \n",
       "5525  6483  Онлайн: 19:00 (а)Синхрон-lite. Лига старта. Эп...  2020-05-08   \n",
       "5526  6484      Онлайн: 22:00 Не числом, а умением - 2 (NEW!)  2020-05-04   \n",
       "5527  6485                 Онлайн: 19:00 Не числом, а умением  2020-05-06   \n",
       "\n",
       "         dateEnd     type                  questionQty  year  \n",
       "3788  2020-12-30  Синхрон  {'1': 12, '2': 12, '3': 12}  2020  \n",
       "3921  2019-01-09  Синхрон  {'1': 12, '2': 12, '3': 12}  2019  \n",
       "4100  2020-02-27  Синхрон  {'1': 13, '2': 13, '3': 13}  2020  \n",
       "4115  2019-01-29  Синхрон  {'1': 12, '2': 12, '3': 12}  2019  \n",
       "4116  2019-03-05  Синхрон  {'1': 12, '2': 12, '3': 12}  2019  \n",
       "...          ...      ...                          ...   ...  \n",
       "5523  2020-05-05  Обычный  {'1': 12, '2': 12, '3': 12}  2020  \n",
       "5524  2020-05-07  Обычный  {'1': 13, '2': 13, '3': 13}  2020  \n",
       "5525  2020-05-08  Обычный  {'1': 12, '2': 12, '3': 12}  2020  \n",
       "5526  2020-05-04  Обычный           {'1': 12, '2': 12}  2020  \n",
       "5527  2020-05-06  Обычный           {'1': 12, '2': 12}  2020  \n",
       "\n",
       "[1093 rows x 7 columns]"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tournaments_df[tournaments_df['type'] != 'Общий зачёт']"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "690d77d4",
   "metadata": {},
   "source": [
    "<font color='Navy'><i> \n",
    "👆🏻 Видим, что таких турниров мало, но они длятся очень долго, судя по всему от них стоит избавится, чтобы не произошо дублирования с турнирами, которые участвуют в этом 'Общем зачёте'.\n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "a827ddfb",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:40.758714Z",
     "start_time": "2022-04-25T19:43:40.755754Z"
    }
   },
   "outputs": [],
   "source": [
    "tournaments_df = tournaments_df[tournaments_df['type'] != 'Общий зачёт']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "455c2ab5",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:40.764615Z",
     "start_time": "2022-04-25T19:43:40.760130Z"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "680\n",
      "413\n"
     ]
    }
   ],
   "source": [
    "print(len(tournaments_df[tournaments_df['year'] == 2019]))\n",
    "print(len(tournaments_df[tournaments_df['year'] == 2020]))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dccdf56c",
   "metadata": {},
   "source": [
    "<font color='Navy'><i> \n",
    "✏️ Обработаем `players`. Соединим вместе имя, отчество и фамилию игроков.\n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "cf1adaa0",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:41.197419Z",
     "start_time": "2022-04-25T19:43:40.766272Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id</th>\n",
       "      <th>name</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>Алексей _ Абабилов</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>10</td>\n",
       "      <td>Игорь  Абалов</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>11</td>\n",
       "      <td>Наталья Юрьевна Абалымова</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>12</td>\n",
       "      <td>Артур Евгеньевич Абальян</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>13</td>\n",
       "      <td>Эрик Евгеньевич Абальян</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>204058</th>\n",
       "      <td>224700</td>\n",
       "      <td>Артём Евгеньевич Садов</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>204059</th>\n",
       "      <td>224701</td>\n",
       "      <td>Даниил Олегович Трефилов</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>204060</th>\n",
       "      <td>224702</td>\n",
       "      <td>Владимир Араратович Басенцян</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>204061</th>\n",
       "      <td>224703</td>\n",
       "      <td>Руслан Ринатович Дауранов</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>204062</th>\n",
       "      <td>224704</td>\n",
       "      <td>Александр Викторович Гапонов</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>204063 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "            id                          name\n",
       "0            1            Алексей _ Абабилов\n",
       "1           10                 Игорь  Абалов\n",
       "2           11     Наталья Юрьевна Абалымова\n",
       "3           12      Артур Евгеньевич Абальян\n",
       "4           13       Эрик Евгеньевич Абальян\n",
       "...        ...                           ...\n",
       "204058  224700        Артём Евгеньевич Садов\n",
       "204059  224701      Даниил Олегович Трефилов\n",
       "204060  224702  Владимир Араратович Басенцян\n",
       "204061  224703     Руслан Ринатович Дауранов\n",
       "204062  224704  Александр Викторович Гапонов\n",
       "\n",
       "[204063 rows x 2 columns]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "players_df = pd.DataFrame(players.values())\n",
    "players_df['patronymic'].fillna(value='_', inplace=True)\n",
    "players_df['Name'] = (players_df['name'].str.cat(players_df['patronymic'], sep =' ')).str.cat(players_df['surname'], sep =' ')\n",
    "players_df.pop('name')\n",
    "players_df.pop('patronymic')\n",
    "players_df.pop('surname')\n",
    "players_df.rename(columns={'Name': 'name'}, inplace=True)\n",
    "\n",
    "players_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "56f2aaa1",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:41.288239Z",
     "start_time": "2022-04-25T19:43:41.199377Z"
    }
   },
   "outputs": [],
   "source": [
    "# Создадим словарь p_id -> p_name.\n",
    "p_id_name_dict = {}\n",
    "for p in players_df.values:\n",
    "    p_id_name_dict[p[0]] = p[-1]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a7e3612e",
   "metadata": {},
   "source": [
    "<font color='Navy'><i> \n",
    "✏️ Строчка ниже свидетельствует о том, что матчить `results` и `tournaments` надо по ключам `results` и полю `tournaments_df['id']` соответсвенно.\n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "0e16b545",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:41.297189Z",
     "start_time": "2022-04-25T19:43:41.292266Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "False"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "set(results.keys()) == set(list(tournaments_df['id']))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f9f11de4",
   "metadata": {},
   "source": [
    "<font color='Navy'><i> \n",
    "✏️ Посмотрим, что бывает в `mask` кроме $1$ и $0$.\n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "61356f76",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:43.688767Z",
     "start_time": "2022-04-25T19:43:41.298714Z"
    }
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████| 5528/5528 [00:02<00:00, 2361.92it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'?', 'X'}\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "no_zero_one = set()\n",
    "for tour_id, teams in tqdm(results.items()):\n",
    "    for i, team in enumerate(teams):\n",
    "        if 'mask' not in team or team['mask'] is None:\n",
    "            continue\n",
    "        for j in team['mask']:\n",
    "            if j != '0' and j != '1':\n",
    "                no_zero_one.add(j)\n",
    "                \n",
    "print(no_zero_one)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "89071da8",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:43.776377Z",
     "start_time": "2022-04-25T19:43:43.691315Z"
    }
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████| 5528/5528 [00:00<00:00, 73378.19it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "mask присутствует в 1026 турнирах\n",
      "mask не присутствует в 26 турнирах\n",
      "В mask есть только ? в 1 турнирах\n",
      "В mask есть только X в 108 турнирах\n",
      "В mask есть ? и X в 2 турнирах\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "have_X = 0\n",
    "have_question = 0\n",
    "have_X_question = 0\n",
    "no_mask = 0\n",
    "have_mask = 0\n",
    "\n",
    "for tour_id, teams in tqdm(results.items()):\n",
    "    if tour_id in tournaments_df['id']:\n",
    "        flag_have_max = True\n",
    "        flag_no_question = True\n",
    "        flag_no_X = True\n",
    "        for i, team in enumerate(teams):\n",
    "            if 'mask' not in team or team['mask'] is None:\n",
    "                flag_have_max = False\n",
    "            else:\n",
    "                if '?' in team['mask']:\n",
    "                    flag_no_question = False\n",
    "                if 'X' in team['mask']:\n",
    "                    flag_no_X = False\n",
    "        no_mask += not(flag_have_max)\n",
    "        have_mask += flag_have_max\n",
    "        have_X_question += not(flag_no_question) and not(flag_no_X)\n",
    "        have_question += not(flag_no_question)\n",
    "        have_X += not(flag_no_X)\n",
    "\n",
    "print(\"mask присутствует в {} турнирах\".format(have_mask))\n",
    "print(\"mask не присутствует в {} турнирах\".format(no_mask))\n",
    "print(\"В mask есть только ? в {} турнирах\".format(have_question - have_X_question))\n",
    "print(\"В mask есть только X в {} турнирах\".format(have_X - have_X_question))\n",
    "print(\"В mask есть ? и X в {} турнирах\".format(have_X_question))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a661037f",
   "metadata": {},
   "source": [
    "<font color='Navy'><i> \n",
    "👆🏻 Видим, что можем отбросить $3$ турнира, но зато не будем гадать, чем заполнить ? в `mask`. А что же делать с X?...\n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9f6394bd",
   "metadata": {},
   "source": [
    "<font color='Navy'><i> \n",
    "✏️ Есть гипотеза, что X - это снятый вопрос. То есть судьи решили, что вопрос некорректный, и сняли для всех команд турнира. Проверим:\n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "9592d282",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:43.800226Z",
     "start_time": "2022-04-25T19:43:43.777919Z"
    }
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      " 60%|█████████████████████              | 3330/5528 [00:00<00:00, 208631.32it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "В  турнире c id=4150 в команде с id=6874 X в позициях [32]\n",
      "В  турнире c id=4150 в команде с id=316 X в позициях [32]\n",
      "В  турнире c id=4150 в команде с id=57024 X в позициях [32]\n",
      "В  турнире c id=4150 в команде с id=641 X в позициях [32]\n",
      "В  турнире c id=4150 в команде с id=4109 X в позициях [32]\n",
      "В  турнире c id=4150 в команде с id=26956 X в позициях [32]\n",
      "В  турнире c id=4150 в команде с id=41578 X в позициях [32]\n",
      "В  турнире c id=4150 в команде с id=49804 X в позициях [32]\n",
      "В  турнире c id=4150 в команде с id=414 X в позициях [32]\n",
      "В  турнире c id=4150 в команде с id=6198 X в позициях [32]\n",
      "\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "for tour_id, teams in tqdm(results.items()):\n",
    "    i = 0\n",
    "    flag_print = False\n",
    "    if tour_id in tournaments_df['id']:\n",
    "        for i, team in enumerate(teams):\n",
    "            if 'mask' not in team or team['mask'] is None:\n",
    "                break\n",
    "            if 'X' in team['mask']:\n",
    "                i += 1\n",
    "                poss = [m.start() for m in re.finditer('X', team['mask'])]\n",
    "                flag_print = True\n",
    "                print(\"В  турнире c id={} в команде с id={} X в позициях {}\".format(tour_id, team['team']['id'], poss))\n",
    "                if i == 10:\n",
    "                    break\n",
    "    if flag_print:\n",
    "        print()\n",
    "        break"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8a471a43",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-13T23:45:59.421276Z",
     "start_time": "2022-04-13T23:45:59.417030Z"
    }
   },
   "source": [
    "<font color='Navy'><i> \n",
    "✏️ Гипотеза подтвердилась, поэтому `mask` с X можно не отбрасывать, просто не булем учитывать X.\n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "37e478ab",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:43.881495Z",
     "start_time": "2022-04-25T19:43:43.801959Z"
    }
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████| 5528/5528 [00:00<00:00, 75476.86it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "mask полная в 999 турнирах.\n",
      "mask неполная в 27 турнирах.\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "mask_eq = 0\n",
    "mask_diff = 0\n",
    "\n",
    "\n",
    "for tour_id, teams in tqdm(results.items()):\n",
    "    if tour_id in tournaments_df['id']:\n",
    "        mask_lens = set()\n",
    "        flag_have_mask = True\n",
    "        for i, team in enumerate(teams):\n",
    "            if 'mask' not in team or team['mask'] is None:\n",
    "                flag_have_mask = False\n",
    "                break\n",
    "            mask_lens.add(len(team['mask']))\n",
    "        if flag_have_mask:\n",
    "            if len(mask_lens) > 1:\n",
    "                mask_diff += 1\n",
    "            else:\n",
    "                mask_eq += 1\n",
    "        \n",
    "print(\"mask полная в {} турнирах.\".format(mask_eq))\n",
    "print(\"mask неполная в {} турнирах.\".format(mask_diff))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0c5b9b63",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-13T23:15:41.174987Z",
     "start_time": "2022-04-13T23:15:41.171165Z"
    }
   },
   "source": [
    "<font color='Navy'><i> \n",
    "👆🏻 Видим, что иногда некоторые команды в турнире играли не столько же, сколько их соперники. Благо, что таких турниров не много и мы их можем отбросить.\n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "025e5da7",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:44.683731Z",
     "start_time": "2022-04-25T19:43:43.883190Z"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Изначально турниров: 5528\n",
      "Убрали турниры не из 2019-2020 года. Осталось турниров: 1093\n",
      "Убрали турниры, в которых не указаны результаты. Осталось турниров: 864\n",
      "Убрали турниры в которых нет данных о составах команд. Осталось турниров: 845\n",
      "Убрали турниры в которых нет данных о повопросных результатах. Осталось турниров: 811\n",
      "Убрали турниры в которых есть команда, у которой в маске есть ?. Осталось турниров: 796\n",
      "Убрали турниры, в которых у команд разное количество ответов. Осталось турниров: 794\n"
     ]
    }
   ],
   "source": [
    "good_tour_id = set(results.keys())\n",
    "print(\"Изначально турниров: {}\".format(len(good_tour_id)))\n",
    "\n",
    "\n",
    "bad_tour_id = set()\n",
    "for tour_id in good_tour_id:\n",
    "    # Избавляемся от турниров не из 2019-2020 годов.\n",
    "    if not tournaments_df['id'].isin([tour_id]).any():\n",
    "        bad_tour_id.add(tour_id)\n",
    "good_tour_id = good_tour_id - bad_tour_id\n",
    "print(\"Убрали турниры не из 2019-2020 года. Осталось турниров: {}\".format(len(good_tour_id)))\n",
    "\n",
    "bad_tour_id = set()\n",
    "for tour_id in good_tour_id:\n",
    "    # Избавляемся от турниров, в которых не указаны результаты.\n",
    "    if len(results[tour_id]) == 0:\n",
    "        bad_tour_id.add(tour_id)\n",
    "good_tour_id = good_tour_id - bad_tour_id\n",
    "print(\"Убрали турниры, в которых не указаны результаты. Осталось турниров: {}\".format(len(good_tour_id)))\n",
    "        \n",
    "    \n",
    "bad_tour_id = set()\n",
    "for tour_id in good_tour_id:\n",
    "    teams = results[tour_id]\n",
    "    for i, team in enumerate(teams):\n",
    "        # Убираем турниры, в которых нет данных о составах команд.\n",
    "        if len(team['teamMembers']) == 0:\n",
    "            bad_tour_id.add(tour_id)\n",
    "            break\n",
    "good_tour_id = good_tour_id - bad_tour_id\n",
    "print(\"Убрали турниры в которых нет данных о составах команд. Осталось турниров: {}\".format(len(good_tour_id)))\n",
    "\n",
    "\n",
    "bad_tour_id = set()\n",
    "for tour_id in good_tour_id:\n",
    "    teams = results[tour_id]\n",
    "    for i, team in enumerate(teams):\n",
    "        # Убираем турниры, в которых нет данных о повопросных результатах\n",
    "        if 'mask' not in team or team['mask'] is None:\n",
    "            bad_tour_id.add(tour_id)\n",
    "            break\n",
    "good_tour_id = good_tour_id - bad_tour_id\n",
    "print(\"Убрали турниры в которых нет данных о повопросных результатах. Осталось турниров: {}\".format(len(good_tour_id)))\n",
    "\n",
    "\n",
    "bad_tour_id = set()\n",
    "for tour_id in good_tour_id:\n",
    "    teams = results[tour_id]\n",
    "    for i, team in enumerate(teams):\n",
    "        # Убираем турниры, в которых есть команда, у которой в маске есть ?\n",
    "        if '?' in team['mask']:\n",
    "            bad_tour_id.add(tour_id)\n",
    "            break\n",
    "good_tour_id = good_tour_id - bad_tour_id\n",
    "print(\"Убрали турниры в которых есть команда, у которой в маске есть ?. Осталось турниров: {}\".format(len(good_tour_id)))\n",
    "\n",
    "\n",
    "# Убираем турниры, в которых у команд разное количество ответов\n",
    "bad_tour_id = set()\n",
    "for tour_id in good_tour_id:\n",
    "    teams = results[tour_id]\n",
    "    mask_lens = set()\n",
    "    for i, team in enumerate(teams):\n",
    "        mask_lens.add(len(team['mask']))\n",
    "    if len(mask_lens) > 1:\n",
    "        bad_tour_id.add(tour_id)\n",
    "good_tour_id = good_tour_id - bad_tour_id\n",
    "print(\"Убрали турниры, в которых у команд разное количество ответов. Осталось турниров: {}\".format(len(good_tour_id)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "id": "c3566152",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T20:30:18.580564Z",
     "start_time": "2022-04-25T20:30:18.562213Z"
    }
   },
   "outputs": [],
   "source": [
    "tours_id = tournaments_df['id'].values\n",
    "tours_name = tournaments_df['tour_name'].values\n",
    "\n",
    "tour_id_name_dict = {}\n",
    "\n",
    "for t, n in zip(tours_id, tours_name):\n",
    "    tour_id_name_dict[t] = n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "647eacfb",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:43:44.690220Z",
     "start_time": "2022-04-25T19:43:44.685816Z"
    }
   },
   "outputs": [],
   "source": [
    "# Создаем словарь, в котором для каждого турнира будем хранить год, чтобы быстро обращаться\n",
    "dict_tour_id_year = {}\n",
    "for t in tournaments_df.values:\n",
    "    dict_tour_id_year[t[0]] = t[-1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "id": "08086d68",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T20:18:43.323042Z",
     "start_time": "2022-04-25T20:18:03.518060Z"
    }
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████| 794/794 [00:15<00:00, 51.74it/s]\n"
     ]
    }
   ],
   "source": [
    "tour_team_question_df = {\n",
    "    \"year\": [],\n",
    "    \"tour_id\": [],\n",
    "    \"teams_id\": [],\n",
    "    \"qustions_id\": [],\n",
    "}\n",
    "\n",
    "team_members_df = {\n",
    "    \"year\": [],\n",
    "    \"team_id\": [],\n",
    "    \"team_name\": [],\n",
    "    \"players_id\": [],\n",
    "}\n",
    "\n",
    "df = {\n",
    "    'year': [], # year\n",
    "    'tour_id': [], # tour\n",
    "    't_id': [], # team\n",
    "    'p_id': [], # player\n",
    "    'q_id': [], # question\n",
    "    'y': [],    # Did team answer?\n",
    "}\n",
    "\n",
    "tour_id_to_teams_id_dict20 = {}\n",
    "team_id_to_players_id_dict20 = {}\n",
    "tour_id_to_teams_results_dict20 = {}\n",
    "tour_id_to_questions_dict19 = {}\n",
    "\n",
    "\n",
    "q_id_cnt = 0\n",
    "\n",
    "for tour_id in tqdm(good_tour_id):\n",
    "    teams_id = []\n",
    "    year_tour = dict_tour_id_year[tour_id]\n",
    "    if year_tour == 2020:\n",
    "        tour_id_to_teams_results_dict20[tour_id] = {}\n",
    "    list_of_teams = results[tour_id]\n",
    "    flag_first_team = True\n",
    "    qustions_id = []\n",
    "    for team in list_of_teams:\n",
    "        players_id = []\n",
    "        team_id = team['team']['id']\n",
    "        teams_id.append(team_id)\n",
    "        team_name = team['team']['name']\n",
    "        team_mask = team['mask']\n",
    "        team_mask = team_mask.replace('X', '') # убрали все X из маски\n",
    "        team_members = team['teamMembers']\n",
    "        team_res = 0\n",
    "        \n",
    "        # Cоставление id вопросов турнира:\n",
    "        if flag_first_team:\n",
    "            for m in team_mask:\n",
    "                q_id_cnt += 1\n",
    "                qustions_id.append(q_id_cnt)\n",
    "                \n",
    "            flag_first_team = False\n",
    "\n",
    "        for m in team_mask:\n",
    "            team_res += (1 - int(m == '0'))\n",
    "        \n",
    "        # Для каждого члена команды    \n",
    "        for member in team_members:\n",
    "            player_id = member['player']['id']\n",
    "            players_id.append(player_id)\n",
    "            \n",
    "            # Для каждого вопроса в маске\n",
    "            for i, q_id in enumerate(qustions_id): \n",
    "                df['tour_id'].append(tour_id)\n",
    "                df['year'].append(year_tour)\n",
    "                df['t_id'].append(team_id)\n",
    "                df['p_id'].append(player_id)\n",
    "                df['q_id'].append(q_id)\n",
    "                df['y'].append(1 - int(team_mask[i] == '0'))\n",
    "        \n",
    "        team_members_df[\"year\"].append(year_tour)\n",
    "        team_members_df[\"team_id\"].append(team_id)\n",
    "        team_members_df[\"team_name\"].append(team_name)\n",
    "        team_members_df[\"players_id\"].append(players_id)\n",
    "        if year_tour == 2020:\n",
    "            team_id_to_players_id_dict20[team_id] = players_id\n",
    "            tour_id_to_teams_results_dict20[tour_id][team_id] = team_res\n",
    "        \n",
    "        \n",
    "        \n",
    "    tour_team_question_df[\"year\"].append(year_tour)\n",
    "    tour_team_question_df[\"tour_id\"].append(tour_id)\n",
    "    tour_team_question_df[\"teams_id\"].append(teams_id)\n",
    "    if year_tour == 2020:\n",
    "        tour_id_to_teams_id_dict20[tour_id] = teams_id\n",
    "    tour_team_question_df[\"qustions_id\"].append(qustions_id)\n",
    "    if year_tour == 2019:\n",
    "        tour_id_to_questions_dict19[tour_id] = qustions_id\n",
    "tour_team_question_df = pd.DataFrame(tour_team_question_df)\n",
    "team_members_df = pd.DataFrame(team_members_df)\n",
    "df = pd.DataFrame(df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "173d0c30",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:44:23.083519Z",
     "start_time": "2022-04-25T19:44:23.073257Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>year</th>\n",
       "      <th>tour_id</th>\n",
       "      <th>t_id</th>\n",
       "      <th>p_id</th>\n",
       "      <th>q_id</th>\n",
       "      <th>y</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2019</td>\n",
       "      <td>6144</td>\n",
       "      <td>27254</td>\n",
       "      <td>27469</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2019</td>\n",
       "      <td>6144</td>\n",
       "      <td>27254</td>\n",
       "      <td>27469</td>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2019</td>\n",
       "      <td>6144</td>\n",
       "      <td>27254</td>\n",
       "      <td>27469</td>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2019</td>\n",
       "      <td>6144</td>\n",
       "      <td>27254</td>\n",
       "      <td>27469</td>\n",
       "      <td>4</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2019</td>\n",
       "      <td>6144</td>\n",
       "      <td>27254</td>\n",
       "      <td>27469</td>\n",
       "      <td>5</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   year  tour_id   t_id   p_id  q_id  y\n",
       "0  2019     6144  27254  27469     1  1\n",
       "1  2019     6144  27254  27469     2  0\n",
       "2  2019     6144  27254  27469     3  1\n",
       "3  2019     6144  27254  27469     4  0\n",
       "4  2019     6144  27254  27469     5  0"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "7d9319fa",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:44:23.093986Z",
     "start_time": "2022-04-25T19:44:23.085234Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>year</th>\n",
       "      <th>team_id</th>\n",
       "      <th>team_name</th>\n",
       "      <th>players_id</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2019</td>\n",
       "      <td>27254</td>\n",
       "      <td>Altavista</td>\n",
       "      <td>[27469, 57286, 155103, 41104, 57288, 155102]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2019</td>\n",
       "      <td>55270</td>\n",
       "      <td>МГТУ - Легионеры</td>\n",
       "      <td>[147450, 139991, 132228, 100148, 176349, 83428]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2019</td>\n",
       "      <td>55015</td>\n",
       "      <td>Lorem Ipsum</td>\n",
       "      <td>[17686, 26243, 73105, 132648, 116892, 133839]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2019</td>\n",
       "      <td>51228</td>\n",
       "      <td>Одиночество в SETI</td>\n",
       "      <td>[12511, 95403, 22635, 41845, 69244, 34796]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2019</td>\n",
       "      <td>46099</td>\n",
       "      <td>Команда Дмитрия Слоуща</td>\n",
       "      <td>[29521, 631, 159638, 92631, 33935, 25113]</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   year  team_id               team_name  \\\n",
       "0  2019    27254               Altavista   \n",
       "1  2019    55270        МГТУ - Легионеры   \n",
       "2  2019    55015             Lorem Ipsum   \n",
       "3  2019    51228      Одиночество в SETI   \n",
       "4  2019    46099  Команда Дмитрия Слоуща   \n",
       "\n",
       "                                        players_id  \n",
       "0     [27469, 57286, 155103, 41104, 57288, 155102]  \n",
       "1  [147450, 139991, 132228, 100148, 176349, 83428]  \n",
       "2    [17686, 26243, 73105, 132648, 116892, 133839]  \n",
       "3       [12511, 95403, 22635, 41845, 69244, 34796]  \n",
       "4        [29521, 631, 159638, 92631, 33935, 25113]  "
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "team_members_df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "d447d3b0",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:44:23.106097Z",
     "start_time": "2022-04-25T19:44:23.095512Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>year</th>\n",
       "      <th>tour_id</th>\n",
       "      <th>teams_id</th>\n",
       "      <th>qustions_id</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2019</td>\n",
       "      <td>6144</td>\n",
       "      <td>[27254, 55270, 55015, 51228, 46099, 76244, 267...</td>\n",
       "      <td>[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2019</td>\n",
       "      <td>6145</td>\n",
       "      <td>[57542, 76272, 76288, 65319, 28163, 76282, 613...</td>\n",
       "      <td>[37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 4...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2019</td>\n",
       "      <td>6146</td>\n",
       "      <td>[46916, 48762, 65697, 55270, 76470, 70840, 758...</td>\n",
       "      <td>[82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 9...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2019</td>\n",
       "      <td>6147</td>\n",
       "      <td>[72610, 66481, 72773, 66687, 73568, 70296, 735...</td>\n",
       "      <td>[118, 119, 120, 121, 122, 123, 124, 125, 126, ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2019</td>\n",
       "      <td>6149</td>\n",
       "      <td>[60432, 27269, 53714, 67543, 175, 167, 27610, ...</td>\n",
       "      <td>[166, 167, 168, 169, 170, 171, 172, 173, 174, ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   year  tour_id                                           teams_id  \\\n",
       "0  2019     6144  [27254, 55270, 55015, 51228, 46099, 76244, 267...   \n",
       "1  2019     6145  [57542, 76272, 76288, 65319, 28163, 76282, 613...   \n",
       "2  2019     6146  [46916, 48762, 65697, 55270, 76470, 70840, 758...   \n",
       "3  2019     6147  [72610, 66481, 72773, 66687, 73568, 70296, 735...   \n",
       "4  2019     6149  [60432, 27269, 53714, 67543, 175, 167, 27610, ...   \n",
       "\n",
       "                                         qustions_id  \n",
       "0  [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14...  \n",
       "1  [37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 4...  \n",
       "2  [82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 9...  \n",
       "3  [118, 119, 120, 121, 122, 123, 124, 125, 126, ...  \n",
       "4  [166, 167, 168, 169, 170, 171, 172, 173, 174, ...  "
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tour_team_question_df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d0a3ba37",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-24T21:20:30.853081Z",
     "start_time": "2022-04-24T21:20:30.810201Z"
    }
   },
   "source": [
    "<font color='Navy'><i> \n",
    "✏️ Делим данные на train и test:\n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "900ed3e7",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:44:24.001032Z",
     "start_time": "2022-04-25T19:44:23.107629Z"
    }
   },
   "outputs": [],
   "source": [
    "train_df = df[df['year'] == 2019]\n",
    "test_df = df[df['year'] == 2020]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "d4bb65cc",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:44:24.743202Z",
     "start_time": "2022-04-25T19:44:24.002461Z"
    }
   },
   "outputs": [],
   "source": [
    "train_df.drop(columns=['year'], inplace=True)\n",
    "test_df.drop(columns=['year'], inplace=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "55e9ef47",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:44:24.752957Z",
     "start_time": "2022-04-25T19:44:24.745049Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>tour_id</th>\n",
       "      <th>t_id</th>\n",
       "      <th>p_id</th>\n",
       "      <th>q_id</th>\n",
       "      <th>y</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>6144</td>\n",
       "      <td>27254</td>\n",
       "      <td>27469</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>6144</td>\n",
       "      <td>27254</td>\n",
       "      <td>27469</td>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>6144</td>\n",
       "      <td>27254</td>\n",
       "      <td>27469</td>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>6144</td>\n",
       "      <td>27254</td>\n",
       "      <td>27469</td>\n",
       "      <td>4</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>6144</td>\n",
       "      <td>27254</td>\n",
       "      <td>27469</td>\n",
       "      <td>5</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18165400</th>\n",
       "      <td>6141</td>\n",
       "      <td>27115</td>\n",
       "      <td>40360</td>\n",
       "      <td>36300</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18165401</th>\n",
       "      <td>6141</td>\n",
       "      <td>27115</td>\n",
       "      <td>40360</td>\n",
       "      <td>36301</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18165402</th>\n",
       "      <td>6141</td>\n",
       "      <td>27115</td>\n",
       "      <td>40360</td>\n",
       "      <td>36302</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18165403</th>\n",
       "      <td>6141</td>\n",
       "      <td>27115</td>\n",
       "      <td>40360</td>\n",
       "      <td>36303</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18165404</th>\n",
       "      <td>6141</td>\n",
       "      <td>27115</td>\n",
       "      <td>40360</td>\n",
       "      <td>36304</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>14738040 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "          tour_id   t_id   p_id   q_id  y\n",
       "0            6144  27254  27469      1  1\n",
       "1            6144  27254  27469      2  0\n",
       "2            6144  27254  27469      3  1\n",
       "3            6144  27254  27469      4  0\n",
       "4            6144  27254  27469      5  0\n",
       "...           ...    ...    ...    ... ..\n",
       "18165400     6141  27115  40360  36300  0\n",
       "18165401     6141  27115  40360  36301  0\n",
       "18165402     6141  27115  40360  36302  0\n",
       "18165403     6141  27115  40360  36303  0\n",
       "18165404     6141  27115  40360  36304  0\n",
       "\n",
       "[14738040 rows x 5 columns]"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_df"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fdfc8e36",
   "metadata": {},
   "source": [
    "## 2️⃣ Baseline на основе логистической регрессии\n",
    "Постройте `baseline`-модель на основе линейной или логистической регрессии, которая будет обучать рейтинг-лист игроков. Замечания и подсказки:\n",
    "* повопросные результаты — это фактически результаты броска монетки, и их предсказание скорее всего имеет отношение к бинарной классификации;\n",
    "* в разных турнирах вопросы совсем разного уровня сложности, поэтому модель должна это учитывать; скорее всего, модель должна будет явно обучать не только силу каждого игрока, но и сложность каждого вопроса;\n",
    "* для `baseline`-модели можно забыть о командах и считать, что повопросные результаты команды просто относятся к каждому из её игроков."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "75e7202e",
   "metadata": {},
   "source": [
    "<font color='Navy'><i> \n",
    "▪️ С помощью логистической регрессии будем предсказывать вероятность $\\mathbb{P}(p_i \\text{ ответил на }q_j)$.  \n",
    "▪️ Будем считать, что если на вопрос ответила команда, то ответили все её игроки.  \n",
    "▪️ В качестве признаком будем использовать ohe-векторы игрока и вопроса.  \n",
    "▪️ После обучения модели веса перед игроками будут символизировать их силу f (force), а веса перед вопросами будут символизировать их сложность d (difficulty).  \n",
    "▪️ Учет того, что в разных турнирах вопросы совсем разного уровня сложности, будет достигаться ровно за счёт того, что некоторые игроки ответили на данный вопрос, а некоторые нет и таким образом будет выставлена оптимальная сложность вопроса.  \n",
    "▪️ При этом нельзя считать, что сложность вопроса есть доля команд, которые на него не ответили, поскольку как сказано выше турниры имеют разную сложность. \n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "36e28cfe",
   "metadata": {},
   "source": [
    "### 2.1. One hot encoding для id игроков и вопросов"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "id": "4f18857d",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:44:28.849467Z",
     "start_time": "2022-04-25T19:44:24.754358Z"
    }
   },
   "outputs": [],
   "source": [
    "# указываем handle_unknown='ignore', так как в общем случае в тесте могут быть категории, которые мы не знаем\n",
    "ohe = OneHotEncoder(handle_unknown='ignore')\n",
    "\n",
    "X_train = ohe.fit_transform(train_df[['p_id', 'q_id']])\n",
    "X_test = ohe.transform(test_df[['p_id', 'q_id']])\n",
    "\n",
    "y_train = train_df['y']\n",
    "y_test = test_df['y']"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "190d089c",
   "metadata": {},
   "source": [
    "### 2.2. Обучение логистической регрессии"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "af24e878",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:48:24.415094Z",
     "start_time": "2022-04-25T19:44:28.852104Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "LogisticRegression(solver='saga')"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "logreg_model = LogisticRegression(solver=\"saga\")\n",
    "logreg_model.fit(X_train, y_train)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "79974043",
   "metadata": {},
   "source": [
    "<font color='Navy'><i> \n",
    "✏️ Достаем силу игроков и сложность вопросов из весов логистической регрессии\n",
    "</i></font>\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "id": "73e752ee",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:48:24.625229Z",
     "start_time": "2022-04-25T19:48:24.419410Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(train_df.p_id.unique()) + len(train_df.q_id.unique()) == len(logreg_model.coef_[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "39fa85a1",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:48:24.793086Z",
     "start_time": "2022-04-25T19:48:24.627788Z"
    }
   },
   "outputs": [],
   "source": [
    "players_force = logreg_model.coef_[0][:len(train_df.p_id.unique())]\n",
    "questions_difficulty = logreg_model.coef_[0][len(train_df.p_id.unique()):]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2d3ea0e6",
   "metadata": {},
   "source": [
    "### 2.3. top-$100$ игроков из весов baseline-модели "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "id": "6668e1f1",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:48:25.151406Z",
     "start_time": "2022-04-25T19:48:24.803745Z"
    }
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "53398it [00:00, 252595.91it/s]\n"
     ]
    }
   ],
   "source": [
    "top_k = 100\n",
    "\n",
    "players_rating_baseline = []\n",
    "\n",
    "player_id_to_player_force_dict = {}\n",
    "\n",
    "for i, p_id in tqdm(enumerate(ohe.categories_[0])):\n",
    "    p_name = p_id_name_dict[p_id]\n",
    "    p_force = players_force[i]\n",
    "    player_id_to_player_force_dict[p_id] = p_force\n",
    "    players_rating_baseline.append({'p_id': p_id, 'p_name': p_name, 'p_force': p_force})\n",
    "    \n",
    "players_rating_baseline = sorted(players_rating_baseline, key=lambda d: d['p_force'], reverse=True)\n",
    "players_rating_baseline = pd.DataFrame(players_rating_baseline)\n",
    "players_rating_baseline['pred_rating_pos'] = players_rating_baseline.index + 1\n",
    "\n",
    "short_players_rating_baseline = players_rating_baseline[:top_k]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "11157868",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:49:14.925420Z",
     "start_time": "2022-04-25T19:48:25.153244Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>p_id</th>\n",
       "      <th>p_name</th>\n",
       "      <th>p_force</th>\n",
       "      <th>pred_rating_pos</th>\n",
       "      <th>true_rating_pos</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>27403</td>\n",
       "      <td>Максим Михайлович Руссо</td>\n",
       "      <td>4.067195</td>\n",
       "      <td>1</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>4270</td>\n",
       "      <td>Александра Владимировна Брутер</td>\n",
       "      <td>3.936101</td>\n",
       "      <td>2</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>28751</td>\n",
       "      <td>Иван Николаевич Семушин</td>\n",
       "      <td>3.880612</td>\n",
       "      <td>3</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>27822</td>\n",
       "      <td>Михаил Владимирович Савченков</td>\n",
       "      <td>3.790631</td>\n",
       "      <td>4</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>30152</td>\n",
       "      <td>Артём Сергеевич Сорожкин</td>\n",
       "      <td>3.723719</td>\n",
       "      <td>5</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>30270</td>\n",
       "      <td>Сергей Леонидович Спешков</td>\n",
       "      <td>3.711229</td>\n",
       "      <td>6</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>20691</td>\n",
       "      <td>Станислав Григорьевич Мереминский</td>\n",
       "      <td>3.593963</td>\n",
       "      <td>7</td>\n",
       "      <td>96</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>18036</td>\n",
       "      <td>Михаил Ильич Левандовский</td>\n",
       "      <td>3.541633</td>\n",
       "      <td>8</td>\n",
       "      <td>28</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>22799</td>\n",
       "      <td>Сергей Игоревич Николенко</td>\n",
       "      <td>3.466650</td>\n",
       "      <td>9</td>\n",
       "      <td>16</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>26089</td>\n",
       "      <td>Ирина Сергеевна Прокофьева</td>\n",
       "      <td>3.464489</td>\n",
       "      <td>10</td>\n",
       "      <td>34</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>22935</td>\n",
       "      <td>Илья Сергеевич Новиков</td>\n",
       "      <td>3.455774</td>\n",
       "      <td>11</td>\n",
       "      <td>183</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>87637</td>\n",
       "      <td>Антон Владимирович Саксонов</td>\n",
       "      <td>3.449941</td>\n",
       "      <td>12</td>\n",
       "      <td>159</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>18332</td>\n",
       "      <td>Александр Витальевич Либер</td>\n",
       "      <td>3.446110</td>\n",
       "      <td>13</td>\n",
       "      <td>7</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>34328</td>\n",
       "      <td>Михаил Сергеевич Царёв</td>\n",
       "      <td>3.420905</td>\n",
       "      <td>14</td>\n",
       "      <td>238</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>13689</td>\n",
       "      <td>Дмитрий Александрович Карякин</td>\n",
       "      <td>3.415349</td>\n",
       "      <td>15</td>\n",
       "      <td>175</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>21698</td>\n",
       "      <td>Александр Владимирович Мосягин</td>\n",
       "      <td>3.411258</td>\n",
       "      <td>16</td>\n",
       "      <td>103</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>74001</td>\n",
       "      <td>Игорь Викторович Мокин</td>\n",
       "      <td>3.401615</td>\n",
       "      <td>17</td>\n",
       "      <td>150</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>7008</td>\n",
       "      <td>Алексей Владимирович Гилёв</td>\n",
       "      <td>3.396683</td>\n",
       "      <td>18</td>\n",
       "      <td>13</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>19915</td>\n",
       "      <td>Александр Валерьевич Марков</td>\n",
       "      <td>3.396613</td>\n",
       "      <td>19</td>\n",
       "      <td>15</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>21487</td>\n",
       "      <td>Борис Яковлевич Моносов</td>\n",
       "      <td>3.393754</td>\n",
       "      <td>20</td>\n",
       "      <td>129</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "     p_id                             p_name   p_force  pred_rating_pos  \\\n",
       "0   27403            Максим Михайлович Руссо  4.067195                1   \n",
       "1    4270     Александра Владимировна Брутер  3.936101                2   \n",
       "2   28751            Иван Николаевич Семушин  3.880612                3   \n",
       "3   27822      Михаил Владимирович Савченков  3.790631                4   \n",
       "4   30152           Артём Сергеевич Сорожкин  3.723719                5   \n",
       "5   30270          Сергей Леонидович Спешков  3.711229                6   \n",
       "6   20691  Станислав Григорьевич Мереминский  3.593963                7   \n",
       "7   18036          Михаил Ильич Левандовский  3.541633                8   \n",
       "8   22799          Сергей Игоревич Николенко  3.466650                9   \n",
       "9   26089         Ирина Сергеевна Прокофьева  3.464489               10   \n",
       "10  22935             Илья Сергеевич Новиков  3.455774               11   \n",
       "11  87637        Антон Владимирович Саксонов  3.449941               12   \n",
       "12  18332         Александр Витальевич Либер  3.446110               13   \n",
       "13  34328             Михаил Сергеевич Царёв  3.420905               14   \n",
       "14  13689      Дмитрий Александрович Карякин  3.415349               15   \n",
       "15  21698     Александр Владимирович Мосягин  3.411258               16   \n",
       "16  74001             Игорь Викторович Мокин  3.401615               17   \n",
       "17   7008         Алексей Владимирович Гилёв  3.396683               18   \n",
       "18  19915        Александр Валерьевич Марков  3.396613               19   \n",
       "19  21487            Борис Яковлевич Моносов  3.393754               20   \n",
       "\n",
       "    true_rating_pos  \n",
       "0                 5  \n",
       "1                 6  \n",
       "2                 2  \n",
       "3                 3  \n",
       "4                 1  \n",
       "5                 4  \n",
       "6                96  \n",
       "7                28  \n",
       "8                16  \n",
       "9                34  \n",
       "10              183  \n",
       "11              159  \n",
       "12                7  \n",
       "13              238  \n",
       "14              175  \n",
       "15              103  \n",
       "16              150  \n",
       "17               13  \n",
       "18               15  \n",
       "19              129  "
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def get_real_rating_position(p_id):\n",
    "    \"\"\"По id ирока получаем его текущуюю позицию в рейтинге ЧГК на 2020 год.\"\"\"\n",
    "    url = \"https://rating.chgk.info/api/players/{}/rating\".format(p_id)\n",
    "    try:\n",
    "        js = requests.get(url).json()\n",
    "        for x in js:\n",
    "            if x['date'][:4] == '2020':\n",
    "                true_rating_pos = int(x['rating_position'])\n",
    "                break\n",
    "    except:\n",
    "        true_rating_pos = -1\n",
    "    \n",
    "    return true_rating_pos\n",
    "\n",
    "short_players_rating_baseline['true_rating_pos'] = short_players_rating_baseline['p_id'].apply(get_real_rating_position)\n",
    "short_players_rating_baseline[:20]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "id": "568376bd",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:49:14.931722Z",
     "start_time": "2022-04-25T19:49:14.927246Z"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "46 человек из реального top-100 попали в baseline top-100\n"
     ]
    }
   ],
   "source": [
    "tmp = len(short_players_rating_baseline[short_players_rating_baseline['true_rating_pos'] <= 100])\n",
    "print(\"{} человек из реального top-100 попали в baseline top-100\".format(tmp))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ffe2f795",
   "metadata": {},
   "source": [
    "## 3️⃣ Качество baseline рейтинг-системы \n",
    "Качество рейтинг-системы оценивается качеством предсказаний результатов турниров. Но сами повопросные результаты наши модели предсказывать вряд ли смогут, ведь неизвестно, насколько сложными окажутся вопросы в будущих турнирах; да и не нужны эти предсказания сами по себе. Поэтому:\n",
    "* предложите способ предсказать результаты нового турнира с известными составами, но неизвестными вопросами, в виде ранжирования команд;\n",
    "* в качестве метрики качества на тестовом наборе давайте считать ранговые корреляции Спирмена и Кендалла (их можно взять в пакете scipy) между реальным ранжированием в результатах турнира и предсказанным моделью, усреднённые по тестовому множеству турниров$^1$.\n",
    "---\n",
    "$^1$Для самопроверки: у меня средняя корреляция Спирмена на тестовом множестве $2020$ года во всех моделях, включая baselines, получалась порядка $0.7-0.8$, а корреляция Кендалла — порядка $0.5-0.6$. Если у вас корреляции вышли за $0.9$ или, наоборот, упали ниже $0.3$, скорее всего где-то баг."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a5a96e8f",
   "metadata": {},
   "source": [
    "<font color='Navy'><i> \n",
    "▪️ Будем считать, что рейтинг команды = среднему рейтингу игроков в ней.  \n",
    "▪️ Ранжирование команд осуществим по рейтингу команд, вычисленному таким образом.  \n",
    "▪️ Реальное ранжирование команд осуществим по числу отвеченных вопросов.  \n",
    "▪️ Для каждого турнира вычислим ранговые корреляции Спирмена и Кендалла между реальным ранжированием команд в турнире и предсказанным моделью.  \n",
    "▪️ Усредним вычсиленные корреляции по турнирам.\n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "id": "f65bfd6f",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T19:49:15.417641Z",
     "start_time": "2022-04-25T19:49:14.933319Z"
    }
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████| 155/155 [00:00<00:00, 325.14it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Корреляция Спирмена для baseline модели: 0.7589100764463393\n",
      "Корреляция Кендалла для baseline модели: 0.5995266595237723\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "spearman_corrs = []\n",
    "kendall_corrs = []\n",
    "\n",
    "for tour_id, teams in tqdm(tour_id_to_teams_id_dict20.items()):\n",
    "    pred_ratings = []\n",
    "    true_ratings = []\n",
    "    for team_id in teams:\n",
    "        true_res = tour_id_to_teams_results_dict20[tour_id][team_id]\n",
    "        pred_res = 0\n",
    "        players_cnt = 0\n",
    "        for p_id in team_id_to_players_id_dict20[team_id]:\n",
    "            if p_id in player_id_to_player_force_dict:\n",
    "                pred_res += player_id_to_player_force_dict[p_id]\n",
    "                players_cnt += 1\n",
    "        if players_cnt == 0:\n",
    "            continue\n",
    "        pred_res /= players_cnt\n",
    "        pred_ratings.append(pred_res)\n",
    "        true_ratings.append(true_res)\n",
    "        \n",
    "    spearman_corrs.append(stats.spearmanr(true_ratings, pred_ratings).correlation)\n",
    "    kendall_corrs.append(stats.kendalltau(true_ratings, pred_ratings).correlation)\n",
    "        \n",
    "print(\"Корреляция Спирмена для baseline модели: {}\".format(np.mean(np.array(spearman_corrs))))\n",
    "print(\"Корреляция Кендалла для baseline модели: {}\".format(np.mean(np.array(kendall_corrs))))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a65138ed",
   "metadata": {},
   "source": [
    "## 4️⃣ EM-схема\n",
    "Теперь главное: ЧГК — это всё-таки командная игра. Поэтому:\n",
    "   * предложите способ учитывать то, что на вопрос отвечают сразу несколько игроков; скорее всего, понадобятся скрытые переменные; не стесняйтесь делать упрощающие предположения, но теперь переменные “игрок X ответил на вопрос Y” при условии данных должны стать зависимыми для игроков одной и той же команды;\n",
    "   * разработайте EM-схему для обучения этой модели, реализуйте её в коде;\n",
    "   * обучите несколько итераций, убедитесь, что целевые метрики со временем растут (скорее всего, ненамного, но расти должны), выберите лучшую модель, используя целевые метрики."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cd602d20",
   "metadata": {},
   "source": [
    "<font color='Navy'><i> \n",
    "▪️ Пусть $res_{tq}$ - это ответ команды t на вопрос q (для train мы это знаем).  \n",
    "▪️ Пусть скрытая переменная $z_{pq}$ - это $\\mathbb{P}(\\text{игрок }p \\text{ ответил на вопрос }q)$.   \n",
    "▪️ **E шаг:** Вычисляем $$ \\mathbb{E}[z_{pq}] =\n",
    "  \\begin{cases}\n",
    "    \\mathbb{P}(z_{pq} = 1 \\mid res_{tq} = 1)       & \\quad \\text{если } res_{tq} = 1\\\\\n",
    "    0  & \\quad \\text{если } res_{tq} = 0\n",
    "  \\end{cases}\n",
    "$$  \n",
    "где $$\\mathbb{P}(z_{pq} = 1 \\mid res_{tq} = 1) = \\frac{\\mathbb{P}(\\text{игрок }p \\text{ ответил на вопрос }q)}{1 - \\prod_{\\text{сокомандники } p}\\big(1 - \\mathbb{P}(\\text{сокомандник} \\text{ ответил на вопрос }q)\\big)}$$ \n",
    "А эти вероятности мы как раз предсказали с помощью логистической регрессии в M шаге.  \n",
    "▪️ **M шаг:** обучаем логистическую регрессию (как в baseline) предсказывать мягкую метку $\\mathbb{E}[z_{pq}]$.  \n",
    "В качестве начального приближения параметров можем взять baseline. \n",
    "</i></font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "id": "70402b94",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T20:33:29.125379Z",
     "start_time": "2022-04-25T20:33:26.850708Z"
    }
   },
   "outputs": [],
   "source": [
    "# Начальная инициализация.\n",
    "step_k = 5\n",
    "eps = 1e-8\n",
    "em_model = LinearRegression()\n",
    "em_train_df = train_df.copy(deep=True)\n",
    "em_train_df.drop(columns=['y'], inplace=True)\n",
    "em_train_df['pred_for_player'] = logreg_model.predict_proba(X_train)[:, 1]\n",
    "best_metric = 0\n",
    "best_model = None "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 91,
   "id": "c6edc7e8",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T20:37:16.837892Z",
     "start_time": "2022-04-25T20:33:29.127436Z"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Корреляция Спирмена для EM-схемы: 0.7522882612950267\n"
     ]
    }
   ],
   "source": [
    "for i in range(1, step_k + 1):\n",
    "\n",
    "    # E шаг.\n",
    "    em_train_df['invers_pred_for_player'] = 1 - em_train_df['pred_for_player']\n",
    "    tmp = 1 - em_train_df.groupby(['tour_id', 't_id', 'q_id'])['invers_pred_for_player'].prod()\n",
    "    tmp = tmp.rename('pred_for_team')\n",
    "    \n",
    "    \n",
    "    em_train_df = pd.merge(em_train_df, tmp, on=['tour_id', 't_id', 'q_id'])\n",
    "    tmp = em_train_df['pred_for_player'] / em_train_df['pred_for_team']\n",
    "    \n",
    "    \n",
    "    em_train_df['z'] = tmp\n",
    "    em_train_df['z'] = np.where(y_train == 1, tmp, 0)\n",
    "    em_train_df['z'] = np.clip(em_train_df['z'], eps, 1 - eps)\n",
    "\n",
    "    # M шаг.\n",
    "    \n",
    "    \n",
    "    # https://stackoverflow.com/questions/42800769/scikit-learn-classification-on-soft-labels\n",
    "    \n",
    "    \n",
    "    \n",
    "    em_model.fit(X_train, logit(em_train_df['z']))\n",
    "    em_train_df.drop(columns=['z', 'invers_pred_for_player'], inplace=True)\n",
    "#     teams_id = em_train_df['t_id'].values\n",
    "#     preds_for_team = em_train_df['pred_for_team'].values\n",
    "    em_train_df['pred_for_player'] = expit(em_model.predict(X_train))\n",
    "    em_train_df['pred_for_player'] = np.clip(em_train_df['pred_for_player'], eps, 1 - eps)\n",
    "    em_train_df.drop(columns=['pred_for_team'], inplace=True)\n",
    "\n",
    "    # Подсчет корреляций.\n",
    "#     print(\"EM алгоритм. Шаг {}.\".format(i))\n",
    "\n",
    "#     team_rating_dict = {}\n",
    "#     for t, r in zip(teams_id, preds_for_team):\n",
    "#         team_rating_dict[t] = r\n",
    "    em_players_force = em_model.coef_.ravel()[:len(em_train_df.p_id.unique())].astype(float)\n",
    "    em_player_id_to_player_force_dict = {}\n",
    "    for i, p_id in enumerate(ohe.categories_[0]):\n",
    "        p_force = em_players_force[i]\n",
    "        em_player_id_to_player_force_dict[p_id] = p_force\n",
    "\n",
    "    em_spearman_corrs = []\n",
    "    em_kendall_corrs = []\n",
    "\n",
    "    for tour_id, teams in tour_id_to_teams_id_dict20.items():\n",
    "        pred_ratings = []\n",
    "        true_ratings = []\n",
    "        for team_id in teams:\n",
    "            true_res = tour_id_to_teams_results_dict20[tour_id][team_id]\n",
    "            pred_res = 1\n",
    "            players_cnt = 0\n",
    "            for p_id in team_id_to_players_id_dict20[team_id]:\n",
    "                if p_id in em_player_id_to_player_force_dict:\n",
    "                    pred_res += em_player_id_to_player_force_dict[p_id]\n",
    "                    players_cnt += 1\n",
    "                else:\n",
    "                    continue\n",
    "            if players_cnt == 0:\n",
    "                continue\n",
    "            pred_res /= players_cnt\n",
    "            pred_ratings.append(pred_res)\n",
    "            true_ratings.append(true_res)\n",
    "\n",
    "        em_spearman_corrs.append(stats.spearmanr(true_ratings, pred_ratings).correlation)\n",
    "        em_kendall_corrs.append(stats.kendalltau(true_ratings, pred_ratings).correlation)\n",
    "\n",
    "    spearman_metric = np.mean(np.array(em_spearman_corrs))\n",
    "    kendall_metric = np.mean(np.array(em_kendall_corrs))\n",
    "\n",
    "#     print(\"Корреляция Спирмена для EM-схемы: {}\".format(spearman_metric))\n",
    "#     print(\"Корреляция Кендалла для EM-схемы: {}\".format(kendall_metric))\n",
    "#     print()\n",
    "\n",
    "    if best_metric < spearman_metric:\n",
    "        best_metric = spearman_metric\n",
    "        best_model = em_model\n",
    "        \n",
    "print(\"Корреляция Спирмена для EM-схемы: {}\".format(best_metric))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "137db8b3",
   "metadata": {},
   "source": [
    "Хммм, корреляция немного ухудшилась по сравнению с baseline..."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5f1dc7b9",
   "metadata": {},
   "source": [
    "## 5️⃣\n",
    "А что там с вопросами? Постройте “рейтинг-лист” турниров по сложности вопросов. Соответствует ли он интуиции (например, на чемпионате мира в целом должны быть сложные вопросы, а на турнирах для школьников — простые)? Если будет интересно: постройте топ сложных и простых вопросов со ссылками на конкретные записи в [базе вопросов ЧГК](https://db.chgk.info/) (это чисто техническое дело, тут никакого ML нету)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 74,
   "id": "d3e0344c",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T20:20:57.643121Z",
     "start_time": "2022-04-25T20:20:57.639055Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 74,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(ohe.categories_[1]) == len(questions_difficulty)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 78,
   "id": "6ed856d3",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T20:27:29.319708Z",
     "start_time": "2022-04-25T20:27:29.294202Z"
    }
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "29396it [00:00, 1442679.99it/s]\n"
     ]
    }
   ],
   "source": [
    "question_id_to_difficult_dict = {}\n",
    "\n",
    "for i, q_id in tqdm(enumerate(ohe.categories_[1])):\n",
    "    question_id_to_difficult_dict[q_id] = questions_difficulty[i]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "id": "7c75cab5",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T20:30:43.313078Z",
     "start_time": "2022-04-25T20:30:43.294674Z"
    }
   },
   "outputs": [],
   "source": [
    "tour_id_diff = []\n",
    "\n",
    "for tour_id, qs in tour_id_to_questions_dict19.items():\n",
    "    d = 0\n",
    "    for q_id in qs:\n",
    "        d += question_id_to_difficult_dict[q_id]\n",
    "    tour_id_diff.append({'tour_id': tour_id, 'tour_name':tour_id_name_dict[tour_id], 'difficulty': d})\n",
    "\n",
    "tour_id_diff = sorted(tour_id_diff, key=lambda d: d['difficulty'], reverse=True)\n",
    "tour_id_diff = pd.DataFrame(tour_id_diff)\n",
    "tour_id_diff['rating_pos'] = tour_id_diff.index + 1"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "42df4722",
   "metadata": {},
   "source": [
    "### Топ-20 легких турниров"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 87,
   "id": "a6218b28",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T20:30:44.637154Z",
     "start_time": "2022-04-25T20:30:44.628723Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>tour_id</th>\n",
       "      <th>tour_name</th>\n",
       "      <th>difficulty</th>\n",
       "      <th>rating_pos</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>5592</td>\n",
       "      <td>Студенческая лига ЧТ</td>\n",
       "      <td>151.715998</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>6008</td>\n",
       "      <td>Малый кубок Физтеха</td>\n",
       "      <td>139.223412</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>5660</td>\n",
       "      <td>Первая лига ЧТ</td>\n",
       "      <td>112.461543</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>6011</td>\n",
       "      <td>Щит и Меч</td>\n",
       "      <td>102.157978</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>5388</td>\n",
       "      <td>Олимпиада Приволжского федерального округа. Финал</td>\n",
       "      <td>94.296974</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>5488</td>\n",
       "      <td>Чемпионат Беларуси среди школьников</td>\n",
       "      <td>93.844232</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>5644</td>\n",
       "      <td>Школьный чемпионат России</td>\n",
       "      <td>93.682548</td>\n",
       "      <td>7</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>5658</td>\n",
       "      <td>Кубок Югры</td>\n",
       "      <td>93.619940</td>\n",
       "      <td>8</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>5457</td>\n",
       "      <td>Студенческий чемпионат Калининградской области</td>\n",
       "      <td>92.028708</td>\n",
       "      <td>9</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>5013</td>\n",
       "      <td>(а)Синхрон-lite. Лига старта. Эпизод V</td>\n",
       "      <td>89.268433</td>\n",
       "      <td>10</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>5791</td>\n",
       "      <td>Кубок княгини Ольги среди школьников</td>\n",
       "      <td>85.959213</td>\n",
       "      <td>11</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>5009</td>\n",
       "      <td>(а)Синхрон-lite. Лига старта. Эпизод III</td>\n",
       "      <td>81.776240</td>\n",
       "      <td>12</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>5438</td>\n",
       "      <td>Синхрон Лиги Разума</td>\n",
       "      <td>80.865070</td>\n",
       "      <td>13</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>5698</td>\n",
       "      <td>(а)Синхрон-lite. Лига старта. Эпизод VII</td>\n",
       "      <td>80.521579</td>\n",
       "      <td>14</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>5706</td>\n",
       "      <td>(а)Синхрон-lite. Лига старта. Эпизод XI</td>\n",
       "      <td>79.354125</td>\n",
       "      <td>15</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>5012</td>\n",
       "      <td>Школьный Синхрон-lite. Выпуск 2.5</td>\n",
       "      <td>78.906570</td>\n",
       "      <td>16</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>5653</td>\n",
       "      <td>Чемпионат Европы среди школьников</td>\n",
       "      <td>77.217619</td>\n",
       "      <td>17</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>5980</td>\n",
       "      <td>Большая перемена</td>\n",
       "      <td>75.028885</td>\n",
       "      <td>18</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>6173</td>\n",
       "      <td>Кубок Мэра Казани</td>\n",
       "      <td>73.191906</td>\n",
       "      <td>19</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>5011</td>\n",
       "      <td>(а)Синхрон-lite. Лига старта. Эпизод IV</td>\n",
       "      <td>73.179543</td>\n",
       "      <td>20</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    tour_id                                          tour_name  difficulty  \\\n",
       "0      5592                               Студенческая лига ЧТ  151.715998   \n",
       "1      6008                                Малый кубок Физтеха  139.223412   \n",
       "2      5660                                     Первая лига ЧТ  112.461543   \n",
       "3      6011                                          Щит и Меч  102.157978   \n",
       "4      5388  Олимпиада Приволжского федерального округа. Финал   94.296974   \n",
       "5      5488                Чемпионат Беларуси среди школьников   93.844232   \n",
       "6      5644                          Школьный чемпионат России   93.682548   \n",
       "7      5658                                         Кубок Югры   93.619940   \n",
       "8      5457     Студенческий чемпионат Калининградской области   92.028708   \n",
       "9      5013             (а)Синхрон-lite. Лига старта. Эпизод V   89.268433   \n",
       "10     5791               Кубок княгини Ольги среди школьников   85.959213   \n",
       "11     5009           (а)Синхрон-lite. Лига старта. Эпизод III   81.776240   \n",
       "12     5438                                Синхрон Лиги Разума   80.865070   \n",
       "13     5698           (а)Синхрон-lite. Лига старта. Эпизод VII   80.521579   \n",
       "14     5706            (а)Синхрон-lite. Лига старта. Эпизод XI   79.354125   \n",
       "15     5012                  Школьный Синхрон-lite. Выпуск 2.5   78.906570   \n",
       "16     5653                  Чемпионат Европы среди школьников   77.217619   \n",
       "17     5980                                   Большая перемена   75.028885   \n",
       "18     6173                                  Кубок Мэра Казани   73.191906   \n",
       "19     5011            (а)Синхрон-lite. Лига старта. Эпизод IV   73.179543   \n",
       "\n",
       "    rating_pos  \n",
       "0            1  \n",
       "1            2  \n",
       "2            3  \n",
       "3            4  \n",
       "4            5  \n",
       "5            6  \n",
       "6            7  \n",
       "7            8  \n",
       "8            9  \n",
       "9           10  \n",
       "10          11  \n",
       "11          12  \n",
       "12          13  \n",
       "13          14  \n",
       "14          15  \n",
       "15          16  \n",
       "16          17  \n",
       "17          18  \n",
       "18          19  \n",
       "19          20  "
      ]
     },
     "execution_count": 87,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tour_id_diff[:20]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "64ac7021",
   "metadata": {},
   "source": [
    "### Топ-20 трудных турниров"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "id": "0162e491",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2022-04-25T20:31:33.151720Z",
     "start_time": "2022-04-25T20:31:33.143407Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>tour_id</th>\n",
       "      <th>tour_name</th>\n",
       "      <th>difficulty</th>\n",
       "      <th>rating_pos</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>619</th>\n",
       "      <td>6023</td>\n",
       "      <td>Гостиный двор</td>\n",
       "      <td>-58.382585</td>\n",
       "      <td>620</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>620</th>\n",
       "      <td>5083</td>\n",
       "      <td>Ускользающая сова</td>\n",
       "      <td>-58.666906</td>\n",
       "      <td>621</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>621</th>\n",
       "      <td>5693</td>\n",
       "      <td>Знание – Сила VI</td>\n",
       "      <td>-58.823826</td>\n",
       "      <td>622</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>622</th>\n",
       "      <td>5343</td>\n",
       "      <td>Кубок Физтеха</td>\n",
       "      <td>-60.512847</td>\n",
       "      <td>623</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>623</th>\n",
       "      <td>5993</td>\n",
       "      <td>Енисейская знать</td>\n",
       "      <td>-61.697280</td>\n",
       "      <td>624</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>624</th>\n",
       "      <td>5303</td>\n",
       "      <td>Мемориал Дмитрия Коноваленко</td>\n",
       "      <td>-62.007055</td>\n",
       "      <td>625</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>625</th>\n",
       "      <td>5773</td>\n",
       "      <td>Кубок Европы среди студентов</td>\n",
       "      <td>-62.316698</td>\n",
       "      <td>626</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>626</th>\n",
       "      <td>5587</td>\n",
       "      <td>Записки охотника</td>\n",
       "      <td>-62.700589</td>\n",
       "      <td>627</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>627</th>\n",
       "      <td>5368</td>\n",
       "      <td>AU</td>\n",
       "      <td>-64.657295</td>\n",
       "      <td>628</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>628</th>\n",
       "      <td>5903</td>\n",
       "      <td>Беловежская Зима</td>\n",
       "      <td>-65.280248</td>\n",
       "      <td>629</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>629</th>\n",
       "      <td>5451</td>\n",
       "      <td>Весна в ЛЭТИ</td>\n",
       "      <td>-68.094952</td>\n",
       "      <td>630</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>630</th>\n",
       "      <td>6101</td>\n",
       "      <td>Воображаемый музей</td>\n",
       "      <td>-69.341019</td>\n",
       "      <td>631</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>631</th>\n",
       "      <td>5684</td>\n",
       "      <td>Синхрон высшей лиги Москвы</td>\n",
       "      <td>-71.322173</td>\n",
       "      <td>632</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>632</th>\n",
       "      <td>5159</td>\n",
       "      <td>Первенство правого полушария</td>\n",
       "      <td>-72.531870</td>\n",
       "      <td>633</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>633</th>\n",
       "      <td>5025</td>\n",
       "      <td>Кубок городов</td>\n",
       "      <td>-80.035538</td>\n",
       "      <td>634</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>634</th>\n",
       "      <td>5795</td>\n",
       "      <td>Кубок Москвы</td>\n",
       "      <td>-85.273518</td>\n",
       "      <td>635</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>635</th>\n",
       "      <td>5928</td>\n",
       "      <td>Угрюмый Ёрш</td>\n",
       "      <td>-100.860946</td>\n",
       "      <td>636</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>636</th>\n",
       "      <td>5465</td>\n",
       "      <td>Чемпионат России</td>\n",
       "      <td>-136.686301</td>\n",
       "      <td>637</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>637</th>\n",
       "      <td>6150</td>\n",
       "      <td>Чемпионат Санкт-Петербурга. Высшая лига</td>\n",
       "      <td>-193.800870</td>\n",
       "      <td>638</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>638</th>\n",
       "      <td>6149</td>\n",
       "      <td>Чемпионат Санкт-Петербурга. Первая лига</td>\n",
       "      <td>-791.197929</td>\n",
       "      <td>639</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "     tour_id                                tour_name  difficulty  rating_pos\n",
       "619     6023                            Гостиный двор  -58.382585         620\n",
       "620     5083                        Ускользающая сова  -58.666906         621\n",
       "621     5693                         Знание – Сила VI  -58.823826         622\n",
       "622     5343                            Кубок Физтеха  -60.512847         623\n",
       "623     5993                         Енисейская знать  -61.697280         624\n",
       "624     5303             Мемориал Дмитрия Коноваленко  -62.007055         625\n",
       "625     5773             Кубок Европы среди студентов  -62.316698         626\n",
       "626     5587                         Записки охотника  -62.700589         627\n",
       "627     5368                                       AU  -64.657295         628\n",
       "628     5903                         Беловежская Зима  -65.280248         629\n",
       "629     5451                             Весна в ЛЭТИ  -68.094952         630\n",
       "630     6101                       Воображаемый музей  -69.341019         631\n",
       "631     5684               Синхрон высшей лиги Москвы  -71.322173         632\n",
       "632     5159             Первенство правого полушария  -72.531870         633\n",
       "633     5025                            Кубок городов  -80.035538         634\n",
       "634     5795                             Кубок Москвы  -85.273518         635\n",
       "635     5928                              Угрюмый Ёрш -100.860946         636\n",
       "636     5465                         Чемпионат России -136.686301         637\n",
       "637     6150  Чемпионат Санкт-Петербурга. Высшая лига -193.800870         638\n",
       "638     6149  Чемпионат Санкт-Петербурга. Первая лига -791.197929         639"
      ]
     },
     "execution_count": 89,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tour_id_diff[-20:]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "be313bc5",
   "metadata": {},
   "source": [
    "Видим, что среди трудных турниров различные крупные чемпионаты, а среди легких школьные и студенческие турниры."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5361b6ec",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python [conda env:DS] *",
   "language": "python",
   "name": "conda-env-DS-py"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.12"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": false,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {
    "height": "calc(100% - 180px)",
    "left": "10px",
    "top": "150px",
    "width": "190.675px"
   },
   "toc_section_display": true,
   "toc_window_display": true
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}