merging_dataset.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "21229d7e",
   "metadata": {},
   "source": [
    "# **$\\color{red}{\\text{Packages}}$**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "ec93296f",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import warnings\n",
    "warnings.filterwarnings(\"ignore\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fdf7a4e9",
   "metadata": {},
   "source": [
    "# **$\\color{red}{\\text{ODIN Dataset}}$**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "333d7bda",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(200054, 247)"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# import odin dataset\n",
    "df_odin = pd.read_csv(\"ODiN2022_Databestand.csv\",encoding='unicode_escape', delimiter=\";\")\n",
    "df_odin.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "7658c2c4-4297-4a40-9706-f68bb0580089",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>OP</th>\n",
       "      <th>OPID</th>\n",
       "      <th>Steekproef</th>\n",
       "      <th>Mode</th>\n",
       "      <th>HHPers</th>\n",
       "      <th>HHSam</th>\n",
       "      <th>HHPlOP</th>\n",
       "      <th>HHLft1</th>\n",
       "      <th>HHLft2</th>\n",
       "      <th>HHLft3</th>\n",
       "      <th>...</th>\n",
       "      <th>RReisduur</th>\n",
       "      <th>RReisduurBL</th>\n",
       "      <th>RVertStat</th>\n",
       "      <th>RAankStat</th>\n",
       "      <th>RTSamen</th>\n",
       "      <th>RCorrSnelh</th>\n",
       "      <th>RVliegVer</th>\n",
       "      <th>FactorH</th>\n",
       "      <th>FactorP</th>\n",
       "      <th>FactorV</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>300000269880</td>\n",
       "      <td>8</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>#NULL!</td>\n",
       "      <td>#NULL!</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>#NULL!</td>\n",
       "      <td>#NULL!</td>\n",
       "      <td>#NULL!</td>\n",
       "      <td>148</td>\n",
       "      <td>148</td>\n",
       "      <td>54076</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>300000882980</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>5</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>13</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>176</td>\n",
       "      <td>353</td>\n",
       "      <td>128711</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>2 rows × 247 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "   OP          OPID  Steekproef  Mode  HHPers  HHSam  HHPlOP  HHLft1  HHLft2  \\\n",
       "0   1  300000269880           8     1       1      1       1       0       0   \n",
       "1   1  300000882980           1     1       2      2       3       0       0   \n",
       "\n",
       "   HHLft3  ...  RReisduur  RReisduurBL  RVertStat  RAankStat  RTSamen  \\\n",
       "0       0  ...     #NULL!       #NULL!        NaN        NaN   #NULL!   \n",
       "1       0  ...          5            0        0.0        0.0       13   \n",
       "\n",
       "   RCorrSnelh  RVliegVer  FactorH  FactorP  FactorV  \n",
       "0      #NULL!     #NULL!      148      148    54076  \n",
       "1           0          0      176      353   128711  \n",
       "\n",
       "[2 rows x 247 columns]"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_odin.head(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "e75b84fb",
   "metadata": {},
   "outputs": [],
   "source": [
    "# rename all the variables of the dataset including those that in the later stadium might be excluded from the final dataset\n",
    "df_odin.rename(columns={'HHPers': \"Aantal personen in huishouden\", \"HHSam\": \"Huishoudsamenstelling\", \n",
    "                \"HHPlOP\": \"Plaats OP in huishouden tov huishoudkern\",  \"HHLft1\": \"Aantal huishoudleden jonger dan 6 jaar\",\n",
    "                   \"HHLft2\": \"Aantal huishoudleden van 6 t/m 11 jaar\",\"HHLft3\": \"Aantal huishoudleden van 12 t/m 17 jaar\",\n",
    "                   \"HHLft4\": \"Aantal huishoudleden van 18 jaar of ouder\", \"WoPC\": \"Postcode woonadres\", \"WoGem\": \"Woongemeente\", \n",
    "                   \"Sted\": \"Stedelijkheidsklasse woongemeente\",\"GemGr\": \"Inwoneraantalklasse woongemeente\",\n",
    "                   \"Prov\": \"Provincie woongemeente\", \"Corop\": \"Coropgebied woongemeente\",  \n",
    "                   \"BuurtAdam\": \"Buurtcombinatie Amsterdam\",\"MRA\": \"Metropoolregio Amsterdam\",\n",
    "                   \"MRDH\": \"Metropoolregio Rotterdam Den Haag\",\"Utr\": \"Provincie Utrecht\", \"Geslacht\": \"Geslacht OP\",\n",
    "                   \"Leeftijd\": \"Leeftijd OP\", \"KLeeft\": \"Leeftijdsklasse OP\", \n",
    "                  \"Herkomst\": \"Migratieachtergrond OP\", \"BetWerk\": \"Betaald werk OP\",\"OnbBez\": \"Onbetaalde bezigheid OP\", \n",
    "                   \"MaatsPart\": \"Maatschappelijke participatie OP\", \"Opleiding\": \"Hoogst voltooide opleiding OP\",\n",
    "                   \"HHBestInkG\": \"Besteedbaar inkomen van het huishouden (10% groepen)\", \n",
    "                   \"HHGestInkG\": \"Gestandaardiseerd besteedbaar inkomen van het huishouden (10% groepen)\", \n",
    "                   \"HHLaagInk\": \"Afwijking lage-inkomensgrens\", \"HHSocInk\": \"Afwijking sociaal minimum\", \n",
    "                   \"HHWelvG\": \"Welvaart van het huishouden (10% groepen)\", \n",
    "                   \"HHRijbewijsAu\": \"Aantal autorijbewijzen in huishouden\", \n",
    "                   \"HHRijbewijsMo\": \"Aantal motorfietsrijbewijzen in huishouden\", \n",
    "                   \"HHRijbewijsBr\": \"Aantal bromfietsrijbewijzen in huishouden\", \n",
    "                   \"OPRijbewijsAu\": \"OP bezit rijbewijs auto\", \"OPRijbewijsMo\": \"OP bezit rijbewijs motorfiets\",\n",
    "                   \"OPRijbewijsBr\": \"OP bezit rijbewijs bromfiets\", \"HHAuto\": \"Aantal personenautos in huishouden\", \n",
    "                   \"HHAutoL\": \"Aantal personenauto’s geleased of op naam van een bedrijf in huishouden\", \n",
    "                   \"OPAuto\": \"Aantal personenauto’s op naam OP\", \n",
    "                   \"BrandstofPa1\": \"Eerste brandstof jongste personenauto op naam huishouden\",  \n",
    "                   \"XBrandstofPa1\": \"Tweede brandstof jongste personenauto op naam huishouden\",  \n",
    "                   \"BrandstofEPa1\": \"Type elektrische auto jongste personenauto op naam huishouden\",\n",
    "                   \"BouwjaarPa1\": \"Bouwjaar jongste personenauto op naam huishouden\", \n",
    "                   \"KBouwjaarPa1\": \"Bouwjaarklasse jongste personenauto op naam huishouden\", \n",
    "                  \"KGewichtPa1\": \"Gewichtsklasse jongste personenauto op naam huishouden\", \n",
    "                   \"TenaamPa1\": \"Tenaamstelling jongste personenauto op naam huishouden\", \n",
    "                  \"BrandstofPa2\": \"Eerste brandstof een na jongste personenauto op naam huishouden\",  \n",
    "                   \"XBrandstofPa2\": \"Tweede brandstof een na jongste personenauto op naam huishouden\",  \n",
    "                   \"BrandstofEPa2\": \"Type elektrische auto een na jongste personenauto op naam huishouden\", \n",
    "                   \"BouwjaarPa2\": \"Bouwjaar een na jongste personzenauto op naam huishouden\", \n",
    "                   \"KBouwjaarPa2\": \"Bouwjaarklasse een na jongste personenauto op naam huishouden\", \n",
    "                   \"KGewichtPa2\": \"Gewichtsklasse een na jongste personenauto op naam huishouden\",\n",
    "                   \"TenaamPa2\": \"Tenaamstelling een na jongste personenauto op naam huishouden\",\n",
    "                   \"BrandstofPaL\": \"Eerste brandstof leaseauto of personenauto op naam bedrijf in huishouden\", \n",
    "                   \"XBrandstofPaL\": \"Tweede brandstof leaseauto of personenauto op naam bedrijf in huishouden\",\n",
    "                   \"BrandstofEPaL\": \"Type elektrische auto leaseauto of personenauto op naam bedrijf in huishouden\",\n",
    "                   \"BouwjaarPaL\": \"Bouwjaar leaseauto of personenauto op naam bedrijf in huishouden\", \n",
    "                   \"KBouwjaarPaL\": \"Bouwjaarklasse leaseauto of personenauto op naam bedrijf in huishouden\", \n",
    "                   \"KGewichtPaL\": \"Gewichtsklasse leaseauto of personenauto op naam bedrijf in huishouden\", \n",
    "                   \"HHMotor\": \"Aantal motoren in huishouden\", \"OPMotor\": \"Aantal motoren op naam OP\",\n",
    "                   \"HHBrom\": \"Aantal bromfietsen in huishouden\", \"OPBrom\": \"Aantal bromfietsen op naam OP\", \n",
    "                   \"HHSnor\": \"Aantal snorfietsen op naam huishouden\", \"OPSnor\": \"Aantal snorfietsen op naam OP\",\n",
    "                   \"HHEFiets\": \"Elektrische fiets in huishouden\", \"HHBezitVm\": \"Vervoermiddelenbezit huishouden\",\n",
    "                   \"OPBezitVm\": \"Vervoermiddelenbezit OP\",\"FqLopen\": \"Frequentie wandelen/lopen buitenshuis\", \n",
    "                   \"FqNEFiets\": \"Frequentie gebruik niet-elektrische fiets\",\n",
    "                   \"FqEFiets\": \"Frequentie gebruik elektrische fiets\",\"FqBTM\": \"Frequentie gebruik bus, tram en/of metro\", \n",
    "                   \"FqTrein\": \"Frequentie gebruik trein\", \"FqAutoB\": \"Frequentie gebruik auto als bestuurder\", \n",
    "                   \"FqAutoP\": \"Frequentie gebruik auto als passagier\",\"FqMotor\": \"Frequentie gebruik motor\",\n",
    "                   \"FqBrSnor\": \"Frequentie gebruik brom- en/of snorfiets\", \n",
    "                   \"OVStKaart\": \"OP bezit Studenten OV-chipkaart\", \"WrkVervw\": \"Vervoerwijze met meeste kilometers naar werk\", \n",
    "                   \"WrkVerg\": \"Ontvangt vergoeding van werkgever voor reis naar werk\", \n",
    "                   \"VergVast\": \"Reiskostenvergoeding is vast bedrag per periode\", \n",
    "                   \"VergKm\": \"Vergoeding per daadwerkelijke gereden kilometer\", \"VergBrSt\": \"Vergoeding van brandstofkosten\", \n",
    "                  \"VergOV\": \"Vergoeding van OV-abonnement of OV-reizen\",\n",
    "                   \"VergAans\": \"Vergoeding van aanschafkosten vervoermiddel\",\n",
    "                   \"VergVoer\": \"Leasevoertuig of bedrijfsvoertuig werkgever\",\"VergBudg\": \"Vergoeding is mobiliteitsbudget\",\n",
    "                   \"VergPark\": \"Parkeerkosten\", \"VergStal\": \"Stallingskosten\", \"VergAnd\": \"Andere vergoeding\", \n",
    "                   \"BerWrk\": \"Werklocatie, hoe vaak wel te bereiken als u er naartoe wilt?\", \n",
    "                   \"RdWrkA\": \"Reden A werklocatie niet altijd kunnen bereiken\", \n",
    "                   \"RdWrkB\": \"Reden B werklocatie niet altijd kunnen bereiken\", \n",
    "                   \"BerOnd\": \"Onderwijslocatie, hoe vaak wel te bereiken als u er naartoe wilt?\",\n",
    "                   \"RdOndA\": \"Reden A onderwijslocatie niet altijd kunnen bereiken\",\n",
    "                   \"RdOndB\": \"Reden B onderwijslocatie niet altijd kunnen bereiken\",\n",
    "                   \"BerSup\": \"Supermarkt, hoe vaak wel te bereiken als u er naartoe wilt?\", \n",
    "                   \"RdSupA\": \"Reden A supermarkt niet altijd kunnen bereiken\",\n",
    "                   \"RdSupB\": \"Reden B supermarkt niet altijd kunnen bereiken\",\n",
    "                  \"BerZiek\": \"Ziekenhuis, hoe vaak wel te bereiken als u er naartoe wilt?\",\n",
    "                   \"RdZiekA\": \"Reden A ziekenhuis niet altijd kunnen bereiken\",\n",
    "                   \"RdZiekB\": \"Reden B ziekenhuis niet altijd kunnen bereiken\",\n",
    "                   \"BerArts\": \"Huisarts, hoe vaak wel te bereiken als u er naartoe wilt?\",\n",
    "                   \"RdArtsA\": \"Reden A huisarts niet altijd kunnen bereiken\",\n",
    "                   \"RdArtsB\": \"Reden B huisarts niet altijd kunnen bereiken\",\n",
    "                   \"BerStat\": \"Treinstation, hoe vaak wel te bereiken als u er naartoe wilt?\",\n",
    "                   \"RdStatA\": \"Reden A treinstation niet altijd kunnen bereiken\",\n",
    "                   \"RdStatB\": \"Reden B treinstation niet altijd kunnen bereiken\",\n",
    "                   \"BerHalte\": \"Halte bus, tram of metro, hoe vaak wel te bereiken als u er naartoe wilt?\",\n",
    "                   \"RdHalteA\": \"Reden A halte bus, tram of metro niet altijd kunnen bereiken\",\n",
    "                   \"RdHalteB\": \"Reden B halte bus, tram of metro niet altijd kunnen bereiken\",\n",
    "                   \"BerFam\": \"Familie en vrienden, hoe vaak wel te bereiken als u er naartoe wilt?\",\n",
    "                   \"RdFamA\": \"Reden A familie en vrienden niet altijd kunnen bereiken\",\n",
    "                   \"RdFamB\": \"Reden B familie en vrienden niet altijd kunnen bereiken\",\n",
    "                   \"BerSport\": \"Sportlocatie of hobbyvereniging, hoe vaak wel te bereiken als u er naartoe wilt?\",\n",
    "                   \"RdSportA\": \"Reden A sportlocatie of hobbyvereniging niet altijd kunnen bereiken\",\n",
    "                   \"RdSportB\": \"Reden B sportlocatie of hobbyvereniging niet altijd kunnen bereiken\",\n",
    "                   \"Jaar\": \"Rapportagejaar\" ,\"Maand\": \"Rapportagemaand\", \"Week\":\"Rapportageweek\",\"Dag\": \"Rapportagedag\",\n",
    "                   \"Weekdag\": \"Rapportage weekdag\",\"Feestdag\": \"Rapportagedag is feestdag\",\n",
    "                   \"Weggeweest\": \"OP is weggeweest in Nederland\",\"RedenNW\": \"Reden niet weggeweest\",\n",
    "                   \"RedenNWZ\": \"Niet weggeweest: duur ziekte\", \"RedenNWW\": \"Niet weggeweest: type weer\", \n",
    "                   \"RedenNWB\": \"Niet weggeweest: reden verblijf buitenland\",\n",
    "                   \"AantVpl\": \"Aantal reguliere verplaatsingen OP in Nederland\",\n",
    "                   \"AantOVVpl\": \"Aantal reguliere OV-verplaatsingen OP in Nederland\",\n",
    "                   \"AantSVpl\": \"Aantal serieverplaatsingen zonder beroepsmatig met vrachtwagen OP in Nederland\",\n",
    "                   \"EFiets\": \"Gebruikte type elektrische fiets\",\"AutoEig\": \"Auto op eigen naam gebruikt\",\n",
    "                   'AutoHhL': \"Auto op naam huishoudlid gebruikt\",\"AutoLWg\": \"Leasauto van werkgever gebruikt\",\n",
    "                   \"AutoLPl\": \"Leasauto via private lease gebruikt\",\"AutoBed\": \"Auto op naam van een bedrijf gebruikt\",\n",
    "                   \"AutoDOrg\": \"Deelauto van een organisatie gebruikt\",\n",
    "                   \"AutoDPart\": \"Deelauto van particulier via online platform gebruikt\",\n",
    "                   \"AutoDBek\": \"Deelauto met vrienden/bekenden gebruikt\",\"AutoLeen\": \"Leenauto of geleende auto gebruikt\",\n",
    "                   \"AutoHuur\": \"Huurauto gebruikt\",\"AutoAnd\": \"Andere soort auto gebruikt\",\n",
    "                   \"ByzDag\": \"Bijzonderheden op rapportagedag\",\"ByzAdr\": \"Bijzonderheid: andere adressen\", \n",
    "                   \"ByzVvm\": \"Bijzonderheid: andere vervoermiddelen\",\"ByzTyd\": \"Bijzonderheid: andere tijdstippen\",\n",
    "                   \"ByzDuur\": \"Bijzonderheid: andere reisduur\",\"ByzRoute\": \"Bijzonderheid: andere route\",\n",
    "                   \"ByzReden\": \"Reden ander reispatroon\",\n",
    "                   \"ReisduurOP\": \"Totale reisduur reguliere verplaatsingen OP in Nederland (in minuten)\", \n",
    "                   \"AfstandOP\": \"Totaal afgelegde afstand reguliere verplaatsingen OP in Nederland (in hectometers)\",\n",
    "                   \"AfstandSOP\": \"Totaal afgelegde afstand serieverplaatsingen OP in Nederland (in hectometers)\",\n",
    "                   \"Verpl\": \"Nieuwe verplaatsing\",\"VerplID\": \"Uniek id voor iedere verplaatsing\",\n",
    "                   \"VerplNr\": \"Verplaatsingsnummer\",\"Toer\": \"Vertrekpunt verplaatsing is aankomstpunt\",\n",
    "                   \"AantRit\": \"Aantal ritten verplaatsing\",\"Doel\": \"Bestemming/Doel\",\"MotiefV\": \"Motief\",\n",
    "                   \"KMotiefV\": \"Klassenindeling motief\",\"MeerWink\": \"Meerdere winkels bezocht\",\"AardWerk\": \"Aard werkzaamheden\",\n",
    "                   \"VertLoc\": \"Vertreklocatie verplaatsing\",\"VertGeb\": \"Vertrekgebied\",\"VertPC\": \"Postcode vertrekpunt\",\n",
    "                   \"VertPCBL\": \"Postcode vertrekpunt in het buitenland\",\"VertGem\": \"Vertrekgemeente\",\n",
    "                   \"VertProv\": \"Vertrekprovincie\",\"VertCorop\": \"Coropgebied vertrekpunt\", \n",
    "                   \"VertMRA\": \"Metropoolregio Amsterdam vertrekpunt\",\"VertMRDH\": \"Metropoolregio Rotterdam Den Haag vertrekpunt\",\n",
    "                  \"VertUtr\": \"Provincie Utrecht vertrekpunt\",\"AankGeb\":\"Aankomstgebied\",\"AankPC\": \"Postcode aankomstpunt\",\n",
    "                   \"AankPCBL\": \"Postcode aankomstpunt in het buitenland\",\"AankGem\": \"Aankomstgemeente\",\n",
    "                   \"AankProv\": \"Aankomstprovincie\",\"AankCorop\": \"Coropgebied aankomstpunt\", \n",
    "                   \"AankMRA\": \"Metropoolregio Amsterdam aankomstpunt\",\n",
    "                   \"AankMRDH\": \"Metropoolregio Rotterdam Den Haag aankomstpunt\",\"AankUtr\": \"Provincie Utrecht aankomstpunt\",\n",
    "                   \"PCG\":\"Nederlandse postcode grensovergang\",\"GemG\": \"Nederlandse gemeente grensovergang\",\n",
    "                   \"PCBLG\":\"Buitenlandse postcode grensovergang\",\"AfstV\": \"Verplaatsingsafstand in Nederland (in hectometers)\",\n",
    "                   \"KAfstV\":\"Verplaatsingsafstandsklasse in Nederland\",\"Hvm\":\"Hoofdvervoermiddel verplaatsing\",\n",
    "                   \"HvmRol\": \"Rol in het hoofdvervoermiddel\",\"KHvm\":\"Hoofdvervoermiddelklasse verplaatsing\",\n",
    "                   \"VertUur\": \"Vertrekuur verplaatsing\",\"VertMin\": \"Vertrekminuut verplaatsing\",\n",
    "                   \"KVertTijd\":\"Vertrektijdklasse\",\"AankUur\": \"Aankomstuur verplaatsing\",\n",
    "                   \"AankMin\": \"Aankomstminuut verplaatsing\",\"Reisduur\": \"Reisduur in Nederland (in minuten)\",\n",
    "                   \"KReisduur\": \"Reisduurklasse in Nederland\",\"ActDuur\": \"Activiteitsduur (in minuten)\",\n",
    "                   \"Kind6\": \"Kind(eren) jonger dan 6 mee\",\"VolgWerk\": \"Opeenvolging werkverplaatsingen\",\n",
    "                   \"SAantAdr\": \"Aantal bezochte adressen serieverplaatsing\",\"SDezPlts\": \"Alle adressen in dezelfde plaats\",\n",
    "                   \"SPlaats1\": \"Plaatsnaam 1\",\"SPlaats2\": \"Plaatsnaam 2\",\"SPlaats3\": \"Plaatsnaam 3\",\"SPlaats4\": \"Plaatsnaam 4\",\n",
    "                   \"SPlaats5\": \"Plaatsnaam 5\",\"AfstS\": \"Afstand serieverplaatsing in Nederland (in hectometers)\",\n",
    "                   \"AfstSBL\":\"Afstand serieverplaatsing in het buitenland (in hectometers)\",\n",
    "                   \"SVvm1\": \"Eerste vervoermiddel serieverplaatsing\",\"SVvm2\": \"Tweede vervoermiddel serieverplaatsing\",\n",
    "                   \"SVvm3\": \"Derde vervoermiddel serieverplaatsing\",\"SVvm4\": \"Vierde vervoermiddel serieverplaatsing\",\n",
    "                   \"SBegUur\": \"Beginuur serie\", \"SBegMin\": \"Beginminuut serie\",\"SEindUur\": \"Einduur serie\",\n",
    "                   \"SEindMin\": \"Eindminuut serie\",\"CorrVerpl\": \"Correctie verplaatsingen naar ritten\",\n",
    "                   \"GehBLVer\": \"Geheel buitenlandse verplaatsing verwijderd\",\"Rit\": \"Nieuwe rit\",\n",
    "                   \"RitID\": \"Uniek id voor iedere rit\", \"RitNr\": \"Ritnummer\",\n",
    "                   \"AfstR\": \"Ritafstand in Nederland (in hectometers)\",\"Inwoneraantalklasse woongemeente\"\n",
    "                   \"AfstRBL\": \"Ritafstand in het buitenland (in hectometers)\",\"KAfstR\": \"Ritafstandsklasse in Nederland\",\n",
    "                   \"Rvm\": \"Ritvervoermiddel\",\"RvmRol\": \"Rol in het ritvervoermiddel\",\"RAantIn\": \"Aantal inzittenden auto\",\n",
    "                   \"KRvm\": \"Ritvervoermiddelklasse\",\"RVertUur\": \"Ritvertrekuur\",\"RVertMin\": \"Ritvertrekminuut\",\n",
    "                   \"RAankUur\": \"Ritaankomstuur\",\"RAankMin\": \"Ritaankomstminuut\",\n",
    "                   \"RReisduur\": \"Ritreisduur in Nederland (in minuten)\",\n",
    "                   \"RReisduurBL\": \"Ritreisduur in het buitenland (in minuten)\",\"RVertStat\": \"Vertrekstation treinrit\",\n",
    "                   \"RAankStat\": \"Aankomststation treinrit\",\"RTSamen\": \"Groepsgrootte reisgezelschap trein\",\n",
    "                   \"RCorrSnelh\": \"Correctie vanwege snelheid\",\"RVliegVer\": \"Vliegtuigrit verwijderd\",\n",
    "                   \"FactorH\": \"Weegfactor huishouden\",\"FactorP\": \"Weegfactor persoon\",\"FactorV\": \"Weegfactor verplaatsing\"\n",
    "                  }, inplace=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "46fec1aa",
   "metadata": {},
   "source": [
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "id": "d5c7f21b",
   "metadata": {},
   "outputs": [],
   "source": [
    "# select not relevent columns\n",
    "exclude_columns = ['Steekproef',\"Mode\",\"Coropgebied woongemeente\",\"Buurtcombinatie Amsterdam\",\"Metropoolregio Amsterdam\",\n",
    "                   \"Metropoolregio Rotterdam Den Haag\",\"Provincie Utrecht\",\"Vertrekprovincie\", \n",
    "                  \"Rapportage\", \"OP is weggeweest in Nederland\", \"Reden niet weggeweest\", \"Aankomstprovincie\",\n",
    "                  \"Niet weggeweest: duur ziekte\",\"Niet weggeweest: type weer\",\n",
    "                   \"Niet weggeweest: reden verblijf buitenland\",\"Verplaatsingsafstand in Nederland (in hectometers)\",\n",
    "                  \"Aantal serieverplaatsingen zonder beroepsmatig met vrachtwagen OP in Nederland\",\n",
    "                  \"Andere soort auto gebruikt\", \"Bijzonderheden op rapportagedag\", \n",
    "                  \"Bijzonderheid: andere adressen\", \"Bijzonderheid: andere vervoermiddelen\", \n",
    "                  \"Bijzonderheid: andere tijdstippen\",\"Bijzonderheid: andere reisduur\",\n",
    "                   \"Bijzonderheid: andere route\",\"Reden ander reispatroon\",\n",
    "                  \"Motief\", \"Postcode vertrekpunt in het buitenland\",\"Coropgebied vertrekpunt\",\n",
    "                  \"Metropoolregio Amsterdam vertrekpunt\", \"Metropoolregio Rotterdam Den Haag vertrekpunt\", \n",
    "                  \"Provincie Utrecht vertrekpunt\",\"Postcode aankomstpunt in het buitenland\",\n",
    "                  \"Coropgebied aankomstpunt\",\"Metropoolregio Amsterdam aankomstpunt\",\n",
    "                   \"Metropoolregio Rotterdam Den Haag aankomstpunt\",\n",
    "                   \"Provincie Utrecht aankomstpunt\", \"Buitenlandse postcode grensovergang\",\n",
    "                  \"Afstand serieverplaatsing in het buitenland (in hectometers)\",\n",
    "                   \"Geheel buitenlandse verplaatsing verwijderd\",\"Ritafstand in het buitenland (in hectometers)\",\n",
    "                   \"Ritreisduur in het buitenland (in minuten)\",\"Vliegtuigrit verwijderd\",\n",
    "                  \"Weegfactor huishouden\", \"Weegfactor persoon\", \"Weegfactor verplaatsing\", \n",
    "                  \"Correctie vanwege snelheid\",\"Frequentie gebruik auto als bestuurder\",\n",
    "                  \"Onbetaalde bezigheid OP\",\"Afwijking lage-inkomensgrens\",\n",
    "                  \"Afwijking sociaal minimum\",\n",
    "                  \"Tweede brandstof jongste personenauto op naam huishouden\",\n",
    "                  \"Type elektrische auto jongste personenauto op naam huishouden\",\n",
    "                  \"Bouwjaar jongste personenauto op naam huishouden\",\n",
    "                  \"Bouwjaarklasse jongste personenauto op naam huishouden\",\n",
    "                  \"Bouwjaarklasse jongste personenauto op naam huishouden\",\n",
    "                  \"Gewichtsklasse jongste personenauto op naam huishouden\",\n",
    "                  \"Tenaamstelling jongste personenauto op naam huishouden\",\n",
    "                  \"Eerste brandstof een na jongste personenauto op naam huishouden\",\n",
    "                  \"Tweede brandstof een na jongste personenauto op naam huishouden\",\n",
    "                  \"Type elektrische auto een na jongste personenauto op naam huishouden\",\n",
    "                  \"Bouwjaar een na jongste personenauto op naam huishouden\",\n",
    "                  \"Bouwjaarklasse een na jongste personenauto op naam huishouden\",\n",
    "                  \"Gewichtsklasse een na jongste personenauto op naam huishouden\",\n",
    "                  \"Tenaamstelling een na jongste personenauto op naam huishouden\",\n",
    "                  \"Eerste brandstof leaseauto of personenauto op naam bedrijf in huishouden\",\n",
    "                  \"Tweede brandstof leaseauto of personenauto op naam bedrijf in huishouden\",\n",
    "                  \"Type elektrische auto leaseauto of personenauto op naam bedrijf in huishouden\",\n",
    "                  \"Bouwjaar leaseauto of personenauto op naam bedrijf in huishouden\",\n",
    "                  \"Bouwjaarklasse leaseauto of personenauto op naam bedrijf in huishouden\",\n",
    "                  \"Gewichtsklasse leaseauto of personenauto op naam bedrijf in huishouden\",\n",
    "                  \"Aantal motoren op naam OP\",\"Aantal bromfietsen op naam OP\", \"Aantal snorfietsen op naam OP\",\n",
    "                  \"Reden B werklocatie niet altijd kunnen bereiken\",\n",
    "                  \"Reden B onderwijslocatie niet altijd kunnen bereiken\",\n",
    "                  \"Reden B supermarkt niet altijd kunnen bereiken\",\"Reden B ziekenhuis niet altijd kunnen bereiken\",\n",
    "                  \"Reden B huisarts niet altijd kunnen bereiken\",\n",
    "                   \"Besteedbaar inkomen van het huishouden (10% groepen)\",\n",
    "                  \"Reden B treinstation niet altijd kunnen bereiken\",\"Reden B halte bus, tram of metro niet altijd kunnen bereiken\", \n",
    "                  \"Reden B familie en vrienden niet altijd kunnen bereiken\", \n",
    "                  \"Reden B sportlocatie of hobbyvereniging niet altijd kunnen bereiken\"\n",
    "                  , \"Gebruikte type elektrische fiets\",\n",
    "                   \"Bouwjaar een na jongste personzenauto op naam huishouden\", \n",
    "                  \"Auto op eigen naam gebruikt\", \"Auto op naam huishoudlid gebruikt\", \"Leasauto van werkgever gebruikt\", \n",
    "                  \"Leasauto via private lease gebruikt\",\"Auto op naam van een bedrijf gebruikt\", \n",
    "                  \"Deelauto van een organisatie gebruikt\", \"Deelauto van particulier via online platform gebruikt\", \n",
    "                  \"Deelauto met vrienden/bekenden gebruikt\",\"Leenauto of geleende auto gebruikt\", \n",
    "                  \"Huurauto gebruikt\", \"Andere soort auto gebruikt\", \"Bijzonderheden op rapportagedag\", \n",
    "                  \"Bijzonderheid: andere adressen \", \"Bijzonderheid: andere vervoermiddelen\", \n",
    "                   \"Bijzonderheid: andere tijdstippen\",\"Bijzonderheid: andere reisduur\",\n",
    "                   \"Bijzonderheid: andere route\", \"Reden ander reispatroon\", \"Bestemming/Doel\", \n",
    "                   \"Motief\",\"Reisduurklasse in Nederland\",\n",
    "                   \"Plaatsnaam 1\", \"Plaatsnaam 2\", \"Plaatsnaam 3\", \"Plaatsnaam 4\", \"Plaatsnaam 5\", \n",
    "                   \"Afstand serieverplaatsing in Nederland (in hectometers)\",\n",
    "                   \"Afstand serieverplaatsing in het buitenland (in hectometers)\",\n",
    "                   \"Eerste vervoermiddel serieverplaatsing\",\"Tweede vervoermiddel serieverplaatsing\",\n",
    "                   \"Derde vervoermiddel serieverplaatsing\",\"Vierde vervoermiddel serieverplaatsing\",\n",
    "                   \"Beginuur serie\",\"Beginminuut serie\",\"Einduur serie\",\"Eindminuut serie\",\n",
    "                   \"Nieuwe rit\", \"Uniek id voor iedere rit\",\"Ritaankomstminuut\",\n",
    "                   \"fstand in het buitenland (in hectometers)\",\"Ritafstandsklasse in Nederland\",\n",
    "                   \"Ritvervoermiddel\", \"Aantal inzittenden auto\",\"Rol in het ritvervoermiddel\",\n",
    "                   \"Ritvervoermiddelklasse\",\"Ritvertrekuur\",\"Ritaankomstuur\",\"Aantal motoren in huishouden\",\n",
    "                   \"Ritreisduur in Nederland (in minuten)\",\n",
    "                  \"Vertrekstation treinrit\",\"Aankomststation treinrit\",\"Groepsgrootte reisgezelschap trein\",\n",
    "                  \"Maatschappelijke participatie OP\", \"Vertreklocatie verplaatsing\",\n",
    "                 \"Aantal motorfietsrijbewijzen in huishouden\",\"Aantal bromfietsrijbewijzen in huishouden\",\n",
    "                   \"Aantal personenauto’s geleased of op naam van een bedrijf in huishouden\",\n",
    "                   \"Aantal personenauto’s op naam OP\",\"Aantal motoren in huishouden\", \"Aantal bromfietsen in huishouden\",\n",
    "                   \"Aantal snorfietsen op naam huishouden\",\"Vervoermiddelenbezit huishouden\"\n",
    "                  \"Frequentie gebruik motor\",\"Frequentie gebruik brom- en/of snorfiets\",\"Aantal reguliere OV-verplaatsingen OP in Nederland\",\n",
    "                  \"Vergoeding per daadwerkelijke gereden kilometer\", \"Reiskostenvergoeding is vast bedrag per periode\", \n",
    "                  \"Vergoeding van aanschafkosten vervoermiddel\",\"Leasevoertuig of bedrijfsvoertuig werkgever\", \n",
    "                  \"Vergoeding is mobiliteitsbudget\", \"Andere vergoeding\",\"Werklocatie, hoe vaak wel te bereiken als u er naartoe wilt?\", \n",
    "                  \"Reden A werklocatie niet altijd kunnen bereiken\",\"Onderwijslocatie, hoe vaak wel te bereiken als u er naartoe wilt?\", \n",
    "                  \"Reden A onderwijslocatie niet altijd kunnen bereiken\", \"Supermarkt, hoe vaak wel te bereiken als u er naartoe wilt?\",\n",
    "                  \"Reden A supermarkt niet altijd kunnen bereiken\", \"Ziekenhuis, hoe vaak wel te bereiken als u er naartoe wilt?\", \n",
    "                  \"Reden A ziekenhuis niet altijd kunnen bereiken\", \"Huisarts, hoe vaak wel te bereiken als u er naartoe wilt?\", \n",
    "                  \"Reden A huisarts niet altijd kunnen bereiken\",\"Treinstation, hoe vaak wel te bereiken als u er naartoe wilt?\", \n",
    "                  \"Reden A treinstation niet altijd kunnen bereiken\",\"Halte bus, tram of metro, hoe vaak wel te bereiken als u er naartoe wilt?\", \n",
    "                  \"Reden A halte bus, tram of metro niet altijd kunnen bereiken\", \"Familie en vrienden, hoe vaak wel te bereiken als u er naartoe wilt?\", \n",
    "                  \"Reden A familie en vrienden niet altijd kunnen bereiken\", \"Sportlocatie of hobbyvereniging, hoe vaak wel te bereiken als u er naartoe wilt?\", \n",
    "                  \"Reden A sportlocatie of hobbyvereniging niet altijd kunnen bereiken\", \"Aantal huishoudleden van 12 t/m 17 jaar\",\n",
    "                  \"Vertrekgebied\", \"Vertrekgemeente\", \"Aankomstgebied\", \"Aankomstgemeente\", \n",
    "                  \"Nederlandse postcode grensovergang\",\"Nederlandse gemeente grensovergang\",\n",
    "                  \"Verplaatsingsafstandsklasse in Nederland\",\"Correctie verplaatsingen naar ritten\", \n",
    "                  \"Geheel buitenlandse verplaatsing verwijderd\",\"Vervoerwijze met meeste kilometers naar werk\", \n",
    "                  \"Hoofdvervoermiddel verplaatsing\", \"OP\",\"Opeenvolging werkverplaatsingen\",\n",
    "                  \"Welvaart van het huishouden (10% groepen)\",\"Vervoermiddelenbezit OP\",\n",
    "                  \"Plaats OP in huishouden tov huishoudkern\", \"OP bezit rijbewijs motorfiets\", \"OP bezit rijbewijs bromfiets\",\n",
    "                  \"Stallingskosten\",\"Vervoermiddelenbezit huishouden\",\n",
    "                   \"Uniek id voor iedere verplaatsing\", \"Verplaatsingsnummer\",\"Vergoeding van OV-abonnement of OV-reizen\",\n",
    "                   \"Vertrekpunt verplaatsing is aankomstpunt\" , \"Betaald werk OP\"\n",
    "                   ,\"Aantal bezochte adressen serieverplaatsing\",\"Ritvertrekminuut\",\"Rapportage weekdag\"\n",
    "                 \"Aantal huishoudleden van 18 jaar of ouder\", \"Aantal huishoudleden van 6 t/m 11 jaar\",\"Huishoudsamenstelling\",\n",
    "                   \"Alle adressen in dezelfde plaats\" , \"Totaal afgelegde afstand reguliere verplaatsingen OP in Nederland (in hectometers)\"\n",
    "                 ,\"Aantal huishoudleden van 12 t/m 17 jaar\",\"OP bezit Studenten OV-chipkaart\",\n",
    "                   \"Meerdere winkels bezocht\", \"Rapportagejaar\", \"Aantal reguliere verplaatsingen OP in Nederland\",\n",
    "                   \"Totale reisduur reguliere verplaatsingen OP in Nederland (in minuten)\",\"Migratieachtergrond OP\",\n",
    "                   \"Totaal afgelegde afstand serieverplaatsingen OP in Nederland (in hectometers)\",\"Vertrektijdklasse\",\n",
    "                  \"Aard werkzaamheden\", \"Eerste brandstof jongste personenauto op naam huishouden\",'Aantal autorijbewijzen in huishouden',\n",
    "                    \"Auto op eigen naam gebruikt\", \"Frequentie gebruik motor\",\"Vergoeding van brandstofkosten\",\n",
    "                   \"Nieuwe verplaatsing\", \"Aankomstuur verplaatsing\",\"Rapportagemaand\",\"Kind(eren) jonger dan 6 mee\",\n",
    "                  \"Ritnummer\",\"Rol in het hoofdvervoermiddel\",\"Rapportagedag\",\"Rapportageweek\",\"Rapportagedag is feestdag\",\n",
    "                   \"Parkeerkosten\", \"Activiteitsduur (in minuten)\",\"Leeftijd OP\", \"Frequentie gebruik elektrische fiets\",\n",
    "                   \t\"Frequentie gebruik bus, tram en/of metro\", \"Inwoneraantalklasse woongemeente\", \n",
    "                   \"Frequentie gebruik trein\",\"Aantal huishoudleden van 18 jaar of ouder\",\"Stedelijkheidsklasse woongemeente\", \n",
    "                  \"Vertreklocatie verplaatsing\",\"AfstRBL\"\n",
    "                  ,'Aankomstminuut verplaatsing']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "id": "8f04bd2b",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>OPID</th>\n",
       "      <th>Aantal personen in huishouden</th>\n",
       "      <th>Aantal huishoudleden jonger dan 6 jaar</th>\n",
       "      <th>Postcode woonadres</th>\n",
       "      <th>Woongemeente</th>\n",
       "      <th>Provincie woongemeente</th>\n",
       "      <th>Geslacht OP</th>\n",
       "      <th>Leeftijdsklasse OP</th>\n",
       "      <th>Hoogst voltooide opleiding OP</th>\n",
       "      <th>Gestandaardiseerd besteedbaar inkomen van het huishouden (10% groepen)</th>\n",
       "      <th>OP bezit rijbewijs auto</th>\n",
       "      <th>Aantal personenautos in huishouden</th>\n",
       "      <th>Elektrische fiets in huishouden</th>\n",
       "      <th>Frequentie wandelen/lopen buitenshuis</th>\n",
       "      <th>Frequentie gebruik niet-elektrische fiets</th>\n",
       "      <th>Frequentie gebruik auto als passagier</th>\n",
       "      <th>Ontvangt vergoeding van werkgever voor reis naar werk</th>\n",
       "      <th>Rapportage weekdag</th>\n",
       "      <th>Aantal ritten verplaatsing</th>\n",
       "      <th>Klassenindeling motief</th>\n",
       "      <th>Postcode vertrekpunt</th>\n",
       "      <th>Postcode aankomstpunt</th>\n",
       "      <th>Hoofdvervoermiddelklasse verplaatsing</th>\n",
       "      <th>Vertrekuur verplaatsing</th>\n",
       "      <th>Vertrekminuut verplaatsing</th>\n",
       "      <th>Reisduur in Nederland (in minuten)</th>\n",
       "      <th>Ritafstand in Nederland (in hectometers)</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>300000269880</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>3812</td>\n",
       "      <td>307</td>\n",
       "      <td>7</td>\n",
       "      <td>2</td>\n",
       "      <td>18</td>\n",
       "      <td>2</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>5</td>\n",
       "      <td>5</td>\n",
       "      <td>5</td>\n",
       "      <td>3</td>\n",
       "      <td>4</td>\n",
       "      <td>#NULL!</td>\n",
       "      <td>#NULL!</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>#NULL!</td>\n",
       "      <td>#NULL!</td>\n",
       "      <td>#NULL!</td>\n",
       "      <td>#NULL!</td>\n",
       "      <td>#NULL!</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>300000882980</td>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "      <td>9481</td>\n",
       "      <td>1730</td>\n",
       "      <td>3</td>\n",
       "      <td>2</td>\n",
       "      <td>15</td>\n",
       "      <td>2</td>\n",
       "      <td>6</td>\n",
       "      <td>1</td>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "      <td>9</td>\n",
       "      <td>9481.0</td>\n",
       "      <td>9481.0</td>\n",
       "      <td>5</td>\n",
       "      <td>10</td>\n",
       "      <td>45</td>\n",
       "      <td>5</td>\n",
       "      <td>10</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "           OPID  Aantal personen in huishouden  \\\n",
       "0  300000269880                              1   \n",
       "1  300000882980                              2   \n",
       "\n",
       "   Aantal huishoudleden jonger dan 6 jaar  Postcode woonadres  Woongemeente  \\\n",
       "0                                       0                3812           307   \n",
       "1                                       0                9481          1730   \n",
       "\n",
       "   Provincie woongemeente  Geslacht OP  Leeftijdsklasse OP  \\\n",
       "0                       7            2                  18   \n",
       "1                       3            2                  15   \n",
       "\n",
       "   Hoogst voltooide opleiding OP  \\\n",
       "0                              2   \n",
       "1                              2   \n",
       "\n",
       "   Gestandaardiseerd besteedbaar inkomen van het huishouden (10% groepen)  \\\n",
       "0                                                  1                        \n",
       "1                                                  6                        \n",
       "\n",
       "   OP bezit rijbewijs auto  Aantal personenautos in huishouden  \\\n",
       "0                        0                                   0   \n",
       "1                        1                                   3   \n",
       "\n",
       "   Elektrische fiets in huishouden  Frequentie wandelen/lopen buitenshuis  \\\n",
       "0                                0                                      5   \n",
       "1                                1                                      1   \n",
       "\n",
       "   Frequentie gebruik niet-elektrische fiets  \\\n",
       "0                                          5   \n",
       "1                                          1   \n",
       "\n",
       "   Frequentie gebruik auto als passagier  \\\n",
       "0                                      5   \n",
       "1                                      2   \n",
       "\n",
       "   Ontvangt vergoeding van werkgever voor reis naar werk  Rapportage weekdag  \\\n",
       "0                                                  3                       4   \n",
       "1                                                  3                       3   \n",
       "\n",
       "  Aantal ritten verplaatsing Klassenindeling motief  Postcode vertrekpunt  \\\n",
       "0                     #NULL!                 #NULL!                   NaN   \n",
       "1                          1                      9                9481.0   \n",
       "\n",
       "   Postcode aankomstpunt Hoofdvervoermiddelklasse verplaatsing  \\\n",
       "0                    NaN                                #NULL!   \n",
       "1                 9481.0                                     5   \n",
       "\n",
       "  Vertrekuur verplaatsing Vertrekminuut verplaatsing  \\\n",
       "0                  #NULL!                     #NULL!   \n",
       "1                      10                         45   \n",
       "\n",
       "  Reisduur in Nederland (in minuten) Ritafstand in Nederland (in hectometers)  \n",
       "0                             #NULL!                                   #NULL!  \n",
       "1                                  5                                       10  "
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# keep only relevant features or features needed to create another relevant features\n",
    "df_odin2 = df_odin.loc[:, ~df_odin.columns.isin(exclude_columns)]\n",
    "\n",
    "pd.set_option('display.max_columns', None)\n",
    "df_odin2.head(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "id": "e66b88cc",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Translate variable names into English\n",
    "df_odin2.rename(columns={\n",
    "    \"Frequentie gebruik niet-elektrische fiets\": \"FrequencyOfUseOfNonEelectricBicycle\",\n",
    "    \"Frequentie gebruik auto als passagier\": \"FrequencyOfUseCcarAsAPassenger\", \n",
    "    \"Frequentie wandelen/lopen buitenshuis\": \"FrequencyOfWalkingOutdoors\",\n",
    "    \"Aantal personen in huishouden\": \"HouseholdSize\",\n",
    "    \"Leeftijdsklasse OP\": \"AgeClass\",\n",
    "    \"OPID\": \"UniqueIdentifier\",\n",
    "    'Aantal huishoudleden jonger dan 6 jaar': \"N.OFHouseholdMemberUnd6\", \n",
    "    \"Postcode woonadres\": \"HomePostalCode\",\n",
    "    \"Geslacht OP\": \"Gender\",\n",
    "    \"Hoogst voltooide opleiding OP\": \"EducationLevel\",\n",
    "    \"OP bezit rijbewijs auto\": \"License\",\n",
    "    \"Aantal personenautos in huishouden\": \"NumberOfCarsInHousehold\",\n",
    "    \"Klassenindeling motief\": \"TripPurpose\",\n",
    "    \"Postcode vertrekpunt\": \"DeparturePostalCode\",\n",
    "    \"Postcode aankomstpunt\": \"ArrivalPostalCode\",\n",
    "    \"Hoofdvervoermiddelklasse verplaatsing\": \"TransportMode\",\n",
    "\"Reisduur in Nederland (in minuten)\": \"TotalTravelDuration\",\n",
    "    \"Vertrekuur verplaatsing\": \"DepartureHour\",\n",
    "    \"Vertrekminuut verplaatsing\": \"DepartureMinute\",\n",
    "        \"Ritafstand in Nederland (in hectometers)\": \"TripLegDistance\",\n",
    "   \"Aantal ritten verplaatsing\": \"NumberOfTripLegs\",\n",
    "    \"Woongemeente\":\"Residential Municipality\",\n",
    "    \"Rapportage weekdag\": \"Weekday\",\n",
    "    \"Provincie woongemeente\":\"ResidentialProvince\",\n",
    "    \"Elektrische fiets in huishouden\":\"ElectriBicycleIHousehold\",\n",
    "    \"Gestandaardiseerd besteedbaar inkomen van het huishouden (10% groepen)\": \"DisposableIncome\",\n",
    "      \"Ontvangt vergoeding van werkgever voor reis naar werk\": \"WorkCommuteReimbursement\",\n",
    "    }, inplace=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "id": "f212f1c3",
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# Replace numbers with meaningful codes (label encoding)\n",
    "\n",
    "df_odin2[\"DisposableIncome\"].replace({1: 'First 10% group',2: 'Second 10% group',\n",
    "    3: 'Third 10% group',4: 'Fourth 10% group',5: 'Fifth 10% group',6: 'Sixth 10% group',7: 'Seventh 10% group',\n",
    "    8: 'Eighth 10% group',9: 'Ninth 10% group',10: 'Tenth 10% group',11: 'Income unknown'}, inplace=True )\n",
    "\n",
    "\n",
    "df_odin2[\"Weekday\"].replace({1: \"Sunday\", 2: \"Monday\",3: \"Tuesday\",4: \"Wednesday\", 5: \"Thursday\",6: \"Friday\",\n",
    "    7: \"Saturday\"}, inplace=True)\n",
    "\n",
    "df_odin2[\"ResidentialProvince\"].replace( { 1: 'Groningen',2: 'Fryslân',3: 'Drenthe', 4: 'Overijssel',5: 'Flevoland', 6: 'Gelderland',\n",
    "    7: 'Utrecht', 8: 'Noord-Holland', 9: 'Zuid-Holland',10: 'Zeeland', 11: 'Noord-Brabant',12: 'Limburg'}, inplace=True)\n",
    "\n",
    "\n",
    "df_odin2[\"HouseholdSize\"].replace({1: 1, 2:2,3: 3, 4: 4,5: 5, 6:6, 7:7, 8:8, 9:9, 10: \"10 or more\", \n",
    "                                  11: \"Unknown\"}, inplace=True)\n",
    "df_odin2[\"Gender\"].replace({1: \"Male\",2: \"Female\"}, inplace=True)\n",
    "\n",
    "df_odin2[\"License\"].replace({0: \"No\",1: \"Yes\",2: \"Unknown\"}, inplace=True)\n",
    "df_odin2[\"ElectriBicycleIHousehold\"].replace({0: \"No\",1: \"Yes\"}, inplace=True)\n",
    "\n",
    "df_odin2[\"NumberOfCarsInHousehold\"].replace({0: \"0\",1: \"1\",2: \"2\",3: \"3\",4: \"4\",5: \"5\",6: \"6\",7: \"7\", 8: \"8\",\n",
    "    9: \"9 or more\",10: \"Unknown\"}, inplace=True)\n",
    "\n",
    "df_odin2[\"TripPurpose\"].replace({\"1\": \"To and from work\", \"2\": \"Business/Professional\",\"3\": \"Services/Personal care\",\n",
    "    \"4\": \"Shopping/Grocery\",\"5\": \"Education/Course\",\"6\": \"Visit/Stay over\",\"7\": \"Recreational/Social\",\n",
    "    \"8\": \"Touring/Walking\", \"9\": \"Other motive\"}, inplace = True)\n",
    "\n",
    "\n",
    "df_odin2[\"WorkCommuteReimbursement\"].replace({0: \"No reimbursement\",1: \"Reimbursement provided\",\n",
    "    2: \"Unknown\",3: \"Not applicable\"}, inplace=True)\n",
    "\n",
    "\n",
    "df_odin2[\"TransportMode\"].replace({'1': 'Car - Driver','2': 'Car - Passenger','3': 'Train','4': 'Bus/tram/metro',\n",
    "    '5': 'Bicycle','6': 'Foot','7': 'Other'}, inplace=True)\n",
    "\n",
    "\n",
    "df_odin2[\"EducationLevel\"].replace({ 0: \"Unfinished education\", 1: \"Elementary\", 2: \"Lower vocational or pre-vocational\",\n",
    "    3: \"Intermediate vocational or higher general secondary\",4: \"Higher vocational or university\",\n",
    "    5: \"Other\", 6: \"Unknown\",7: \"Not asked (<15 years)\"}, inplace = True)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "id": "ee9058c1",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Replace numbers with meaningful codes (label encoding)\n",
    "\n",
    "df_odin2[\"Gender\"].replace({1: \"Male\",2: \"Female\"}, inplace=True)\n",
    "\n",
    "df_odin2[\"FrequencyOfWalkingOutdoors\"].replace(\n",
    "    {1: \"Daily or almost daily\",\n",
    "     2: \"Several times a week\",\n",
    "     3: \"Several times a month\",\n",
    "     4: \"Several times a year\",\n",
    "     5: \"Never or almost never\"}, inplace=True)\n",
    "\n",
    "df_odin2[\"FrequencyOfUseOfNonEelectricBicycle\"].replace(\n",
    "    {1: \"Daily or almost daily\",\n",
    "     2: \"Several times a week\",\n",
    "     3: \"Several times a month\",\n",
    "     4: \"Several times a year\",\n",
    "     5: \"Never or almost never\"}, inplace=True)\n",
    "\n",
    "df_odin2[\"FrequencyOfUseCcarAsAPassenger\"].replace(\n",
    "    {1: \"Daily or almost daily\",\n",
    "     2: \"Several times a week\",\n",
    "     3: \"Several times a month\",\n",
    "     4: \"Several times a year\",\n",
    "     5: \"Never or almost never\"}, inplace=True)\n",
    "\n",
    "\n",
    "\n",
    "df_odin2[\"EducationLevel\"].replace({ 0: \"Unfinished education\", 1: \"Elementary\", 2: \"Lower vocational or pre-vocational\",\n",
    "    3: \"Intermediate vocational or higher general secondary\",4: \"Higher vocational or university\",\n",
    "    5: \"Other\", 6: \"Unknown\",7: \"Not asked (<15 years)\"}, inplace = True)\n",
    "\n",
    "df_odin2[\"License\"].replace({0: \"No\",1: \"Yes\",2: \"Unknown\"}, inplace=True)\n",
    "df_odin2[\"NumberOfCarsInHousehold\"].replace({0: \"0\",1: \"1\",2: \"2\",3: \"3\",4: \"4\",5: \"5\",6: \"6\",7: \"7\", 8: \"8\",\n",
    "    9: \"9 or more\",10: \"Unknown\"}, inplace=True)\n",
    "\n",
    "df_odin2[\"TripPurpose\"].replace({\"1\": \"To and from work\", \"2\": \"Business/Professional\",\"3\": \"Services/Personal care\",\n",
    "    \"4\": \"Shopping/Grocery\",\"5\": \"Education/Course\",\"6\": \"Visit/Stay over\",\"7\": \"Recreational/Social\",\n",
    "    \"8\": \"Touring/Walking\", \"9\": \"Other motive\"}, inplace = True)\n",
    "\n",
    "\n",
    "df_odin2[\"TransportMode\"].replace({'1': 'Car - Driver','2': 'Car - Passenger','3': 'Train','4': 'Bus/tram/metro',\n",
    "    '5': 'Bicycle','6': 'Foot','7': 'Other'}, inplace=True)\n",
    "\n",
    "\n",
    "df_odin2[\"AgeClass\"].replace({2: '6 to 11 years', 3: '12 to 14 years',   4: '15 to 17 years', 5: '18 to 19 years',\n",
    "    6: '20 to 24 years', 7: '25 to 29 years',  8: '30 to 34 years',  9: '35 to 39 years',  10: '40 to 44 years',\n",
    "    11: '45 to 49 years', 12: '50 to 54 years', 13: '55 to 59 years', 14: '60 to 64 years',  15: '65 to 69 years',\n",
    "    16: '70 to 74 years',  17: '75 to 79 years', 18: '80 years or older'}, inplace=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "id": "396accd8",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['UniqueIdentifier', 'HouseholdSize', 'N.OFHouseholdMemberUnd6',\n",
       "       'HomePostalCode', 'Residential Municipality', 'ResidentialProvince',\n",
       "       'Gender', 'AgeClass', 'EducationLevel', 'DisposableIncome', 'License',\n",
       "       'NumberOfCarsInHousehold', 'ElectriBicycleIHousehold',\n",
       "       'FrequencyOfWalkingOutdoors', 'FrequencyOfUseOfNonEelectricBicycle',\n",
       "       'FrequencyOfUseCcarAsAPassenger', 'WorkCommuteReimbursement', 'Weekday',\n",
       "       'NumberOfTripLegs', 'TripPurpose', 'DeparturePostalCode',\n",
       "       'ArrivalPostalCode', 'TransportMode', 'DepartureHour',\n",
       "       'DepartureMinute', 'TotalTravelDuration', 'TripLegDistance'],\n",
       "      dtype='object')"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pd.set_option('display.max_columns', None)\n",
    "df_odin2.head()\n",
    "df_odin2.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "id": "0badb05b",
   "metadata": {},
   "outputs": [],
   "source": [
    "# remove trips with no movevments or trips outise the Netherlands\n",
    "df_odin2.drop(df_odin2[df_odin2['TripPurpose'] == '#NULL!'].index, inplace=True) # no movement\n",
    "df_odin2.drop(df_odin2[df_odin2[\"DeparturePostalCode\"]==0].index, inplace=True) # outside the Netherlands\n",
    "df_odin2.drop(df_odin2[df_odin2[\"ArrivalPostalCode\"]==0].index, inplace=True) # outise the netherlands\n",
    "df_odin2.drop(df_odin2[df_odin2['TransportMode'] == '#NULL!'].index, inplace=True) # no movement\n",
    "df_odin2.drop(df_odin2[df_odin2['DepartureMinute'] == '#NULL!'].index, inplace=True) # no movement \n",
    "df_odin2.drop(df_odin2[df_odin2['DepartureHour'] == '#NULL!'].index, inplace=True) # no movement \n",
    "df_odin2.drop(df_odin2[df_odin2['TotalTravelDuration'] == '#NULL!'].index, inplace=True) # no movement\n",
    "df_odin2.drop(df_odin2[df_odin2['TotalTravelDuration'] == '0'].index, inplace=True) # movement outside Netherland\n",
    "df_odin2.drop(df_odin2[df_odin2[\"TripLegDistance\"] == '#NULL!'].index, inplace=True) # no movementt\n",
    "df_odin2.drop(df_odin2[df_odin2[\"TripLegDistance\"] == '0'].index, inplace=True) # movement outside Netherland"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "id": "ef940cf7-1b36-4f50-b5da-0746a84c9f5c",
   "metadata": {},
   "outputs": [],
   "source": [
    "#Exclude respondents who indicate that they do not have a driver's license but report driving a car\n",
    "df_odin2.drop(df_odin2[(df_odin2[\"License\"] ==\"No\") & (df_odin2[\"TransportMode\"] == \"Car - Driver\")].index, inplace=True)\n",
    "\n",
    "# eight observations,\n",
    "df_odin2.drop(df_odin2[(df_odin2[\"AgeClass\"] == '15 to 17 years') & (df_odin2[\"TransportMode\"] == \"Car - Driver\")].index, inplace = True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "id": "6cae803c-b70d-4198-a170-9ef142d68afc",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(182341, 27)\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "17713"
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "print(df_odin2.shape)\n",
    "df_odin.shape[0]-df_odin2.shape[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "id": "a014fe82",
   "metadata": {},
   "outputs": [],
   "source": [
    "# objects to float \n",
    "columns = [ 'TotalTravelDuration', 'DepartureHour','DepartureMinute',\"TripLegDistance\"]\n",
    "for i in columns: \n",
    "    df_odin2[i] = df_odin2[i].astype(\"float64\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "id": "2bbf27fc",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(0, 27)\n"
     ]
    }
   ],
   "source": [
    "# remove duplicates\n",
    "# original dataset contains no duplicates however not all features that make an observation a unique can be selected and are relevant for this study\n",
    "print(df_odin2[df_odin2.duplicated()].shape)\n",
    "df_odin2.drop_duplicates(inplace=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "id": "8b50b27e",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "Index: 180464 entries, 1 to 200053\n",
      "Data columns (total 27 columns):\n",
      " #   Column                               Non-Null Count   Dtype  \n",
      "---  ------                               --------------   -----  \n",
      " 0   UniqueIdentifier                     180464 non-null  int64  \n",
      " 1   HouseholdSize                        180464 non-null  object \n",
      " 2   N.OFHouseholdMemberUnd6              180464 non-null  int64  \n",
      " 3   HomePostalCode                       180464 non-null  int64  \n",
      " 4   Residential Municipality             180464 non-null  int64  \n",
      " 5   ResidentialProvince                  180464 non-null  object \n",
      " 6   Gender                               180464 non-null  object \n",
      " 7   AgeClass                             180464 non-null  object \n",
      " 8   EducationLevel                       180464 non-null  object \n",
      " 9   DisposableIncome                     180464 non-null  object \n",
      " 10  License                              180464 non-null  object \n",
      " 11  NumberOfCarsInHousehold              180464 non-null  object \n",
      " 12  ElectriBicycleIHousehold             180464 non-null  object \n",
      " 13  FrequencyOfWalkingOutdoors           180464 non-null  object \n",
      " 14  FrequencyOfUseOfNonEelectricBicycle  180464 non-null  object \n",
      " 15  FrequencyOfUseCcarAsAPassenger       180464 non-null  object \n",
      " 16  WorkCommuteReimbursement             180464 non-null  object \n",
      " 17  Weekday                              180464 non-null  object \n",
      " 18  NumberOfTripLegs                     180464 non-null  object \n",
      " 19  TripPurpose                          180464 non-null  object \n",
      " 20  DeparturePostalCode                  180464 non-null  float64\n",
      " 21  ArrivalPostalCode                    180464 non-null  float64\n",
      " 22  TransportMode                        180464 non-null  object \n",
      " 23  DepartureHour                        180464 non-null  float64\n",
      " 24  DepartureMinute                      180464 non-null  float64\n",
      " 25  TotalTravelDuration                  180464 non-null  float64\n",
      " 26  TripLegDistance                      180464 non-null  float64\n",
      "dtypes: float64(6), int64(4), object(17)\n",
      "memory usage: 38.6+ MB\n"
     ]
    }
   ],
   "source": [
    "df_odin2.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "id": "48d81f5a",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(180464, 27)\n",
      "49716\n"
     ]
    }
   ],
   "source": [
    "print(df_odin2.shape)\n",
    "print(len(np.unique(df_odin2[\"UniqueIdentifier\"])))\n",
    "df_odin2.to_csv(\"odin_cleaned.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "34792875-deed-4760-a5d0-bcacb0eef4ea",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "f1675876-f83e-4842-9298-3ed7f29d5931",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}