toplam10filmIsmindenOzetlerineBakipBenzerFilmlerinBulunmasi.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "toplam10filmIsmindenOzetlerineBakipBenzerFilmlerinBulunmasi.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "machine_shape": "hm"
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "gpuClass": "standard",
    "accelerator": "TPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "source": [
        "Veri işleme ve analizi için pandas kütüphanesi kullanılacaktır. Pandas kütüphanesi pd rumuzu ile kısaltılmıştır."
      ],
      "metadata": {
        "id": "-IES9ZGkHVNH"
      }
    },
    {
      "cell_type": "code",
      "execution_count": 1,
      "metadata": {
        "id": "D4DSrSk9PiW8"
      },
      "outputs": [],
      "source": [
        "import pandas as pd"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Verilerimiz Google Drive (bulut) üzerinde olduğu için Google Colab ile Google Drive arasında bağlantı kurulacaktır."
      ],
      "metadata": {
        "id": "-duDlDDyIIYp"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from google.colab import drive\n",
        "drive.mount('/content/drive/')"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "g8ZpPY4-Pmv1",
        "outputId": "5048e247-c363-45ad-f670-ce2a549e748b"
      },
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Mounted at /content/drive/\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Google Drive içinde Colab Notebooks klasörünün içinde TDDI2022 isimli klasörde verilerimizi sakladığımız için bu klasöre erişilecektir.\n",
        "\n",
        "***NOT:*** Bu klasörü daha önce oluşturmadıysanız %md TDDI2022 komutu veya Google Drive Ara Yüzü ile klasörü oluşturunuz!"
      ],
      "metadata": {
        "id": "gmXrHZE_IShv"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "%cd drive/\n",
        "%cd MyDrive/\n",
        "%cd Colab Notebooks/\n",
        "# Google Drive içinde Colab Notebooks klasörünün içinde TDDI2022 diye bir klasör oluşturduktan sonra o klasöre erişiyoruz.\n",
        "# Bu klasörü daha önce oluşturmadıysanız %md TDDI2022 komutu veya Google Drive Ara Yüzü ile klasörü oluşturunuz!\n",
        "%cd TDDI2022/\n",
        "\n",
        "# Klasörün içeriğinin görülmesi için\n",
        "%ls"
      ],
      "metadata": {
        "id": "h47_PvbxT9QD"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "**Google Colab Pro** Hizmetlerinden yararlanarak hem daha iyi Grafik İşlem Birimine (GPU) hem de daha yüksek bellek birimine (RAM) erişerek büyük veriyi işleyeceğiz. Google Colab Pro hesabını verimli kullanmak için sadece gerektiğinde **'Çalışma zamanı'** menüsünden **'Çalışma zamanı türünü değiştir'** diyerek GPU/TPU ve Yüksek RAM seçeneklerini kullanacağız."
      ],
      "metadata": {
        "id": "fxLvlwyHzbvt"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "import tensorflow as tf\n",
        "device_name = tf.test.gpu_device_name()\n",
        "if device_name != '/device:GPU:0':\n",
        "  print('GPU aracı bulunamadı!') # Gereksiz kullanım olmaması ve Google Colab PRO hesabımızı verimli kullanmak için şimdilik sadece yüksek RAM'de çalışıyoruz.\n",
        "else:\n",
        "  print('GPU bulundu: {}'.format(device_name))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "9a0r4dkM4-59",
        "outputId": "6865a6b3-8cfd-4751-b108-0ae95cebbb40"
      },
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "GPU aracı bulunamadı!\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "gpu_info = !nvidia-smi\n",
        "gpu_info = '\\n'.join(gpu_info)\n",
        "if gpu_info.find('failed') >= 0:\n",
        "  print('Bir GPU\\'ya bağlanılamadı!')\n",
        "else:\n",
        "  print(gpu_info)\n",
        "\n",
        "from psutil import virtual_memory\n",
        "ram_gb = virtual_memory().total / 1e9\n",
        "print('Çalışma zamanınız {:.1f} gigabytes\\'lık RAM\\'a sahip\\n'.format(ram_gb))\n",
        "\n",
        "if ram_gb < 20:\n",
        "  print('Yüksek bir RAM Çalışma Zamanı KULLANMIYORSUNUZ!')\n",
        "else:\n",
        "  print('Yüksek bir RAM Çalışma Zamanı Kullanıyorsunuz!')"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "DmlTqrQ6za2t",
        "outputId": "55312be3-7fc8-419e-bcea-20a0d309db33"
      },
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Bir GPU'ya bağlanılamadı!\n",
            "Çalışma zamanınız 37.8 gigabytes'lık RAM'a sahip\n",
            "\n",
            "Yüksek bir RAM Çalışma Zamanı Kullanıyorsunuz!\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "TDDI2022 klasöründe bulunan ve proje kapsamında oluşturulan **filmOzetleriVeriKumesi_TURKCE.csv** dosyasının içindeki veriler **veri İskeleti** oluşturmak için pandas ile okunacaktır.\n",
        "\n",
        "Veri iskeleti oluşturulduktan sonra veri iskeleti ile ilgili bilgi ekrana yazdırılacaktır. Tam özetin yazdırılıp yazdırılmayacağı durumunu *verbose=True* (yazdırılsın) parametresi ile kontrol edilecektir. "
      ],
      "metadata": {
        "id": "_2QYxVBFIaZg"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "df = pd.read_csv('filmOzetleriVeriKumesi_TURKCE.csv')\n",
        "df.info(verbose=True)"
      ],
      "metadata": {
        "id": "ZMriHlEGPqbV",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "377f8572-bf2e-4a87-9093-e2cf072ab19b"
      },
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "<class 'pandas.core.frame.DataFrame'>\n",
            "RangeIndex: 34886 entries, 0 to 34885\n",
            "Data columns (total 9 columns):\n",
            " #   Column          Non-Null Count  Dtype \n",
            "---  ------          --------------  ----- \n",
            " 0   Unnamed: 0      34886 non-null  int64 \n",
            " 1   Çıkış Yılı      34886 non-null  int64 \n",
            " 2   Orijinal İsmi   34886 non-null  object\n",
            " 3   Yapıldığı Ülke  34886 non-null  object\n",
            " 4   Yönetmeni       34886 non-null  object\n",
            " 5   Oyuncu Kadrosu  33464 non-null  object\n",
            " 6   Türü            34858 non-null  object\n",
            " 7   Veri Kaynağı    34886 non-null  object\n",
            " 8   Olay Dizisi     34886 non-null  object\n",
            "dtypes: int64(2), object(7)\n",
            "memory usage: 2.4+ MB\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Unnamed: 0 isimli sütun / alan proje kapsamında kullanılması zorunlu olan veri içermediği için silinecektir."
      ],
      "metadata": {
        "id": "g0h1Dkzo7nE-"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "df = df.drop(columns='Unnamed: 0')\n",
        "df.info(verbose=True)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "RmGgRutS76XU",
        "outputId": "e500898b-a7d0-41fa-b206-35e19190b779"
      },
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "<class 'pandas.core.frame.DataFrame'>\n",
            "RangeIndex: 34886 entries, 0 to 34885\n",
            "Data columns (total 8 columns):\n",
            " #   Column          Non-Null Count  Dtype \n",
            "---  ------          --------------  ----- \n",
            " 0   Çıkış Yılı      34886 non-null  int64 \n",
            " 1   Orijinal İsmi   34886 non-null  object\n",
            " 2   Yapıldığı Ülke  34886 non-null  object\n",
            " 3   Yönetmeni       34886 non-null  object\n",
            " 4   Oyuncu Kadrosu  33464 non-null  object\n",
            " 5   Türü            34858 non-null  object\n",
            " 6   Veri Kaynağı    34886 non-null  object\n",
            " 7   Olay Dizisi     34886 non-null  object\n",
            "dtypes: int64(1), object(7)\n",
            "memory usage: 2.1+ MB\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Bellek ve işlem gücünden tasarruf etmek için df['Olay Dizisi'] alanında veri ön işlemleri yapmamız gerekiyor.\n",
        "\n",
        "**Kaynaklar:**\n",
        "* https://practicaldatascience.co.uk/machine-learning/how-to-preprocess-text-for-nlp-in-four-easy-steps"
      ],
      "metadata": {
        "id": "whkSb47-l036"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Film ararken işe yaramayacak \\n \\r \\\\ veya benzer karakterler veri iskeletinden temizlenecektir. "
      ],
      "metadata": {
        "id": "drTU7NWSIjin"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "df = df.replace('  ','')\n",
        "df = df.replace(' ','')\n",
        "df = df.replace('.','')\n",
        "df = df.replace(':','')\n",
        "df = df.replace('\\\\','')\n",
        "df = df.replace('\\n','')\n",
        "df = df.replace('\\r','')\n",
        "df = df.replace('i̇','i')\n",
        "df = df.replace('ý','ı')"
      ],
      "metadata": {
        "id": "ttq0BAf2KQ3_"
      },
      "execution_count": 8,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Özellikle olay dizisi orijinal kaynağı wiki olduğu için atıflardan kaynaklı [1] ve [2] gibi girdilere sahiptir. Bunları da temizlememiz gerekmektedir."
      ],
      "metadata": {
        "id": "-wY76O4oxy4p"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "df['Olay Dizisi'] = df['Olay Dizisi'].replace('1','')\n",
        "df['Olay Dizisi'] = df['Olay Dizisi'].replace('2','')\n",
        "df['Olay Dizisi'] = df['Olay Dizisi'].replace('3','')\n",
        "df['Olay Dizisi'] = df['Olay Dizisi'].replace('4','')\n",
        "df['Olay Dizisi'] = df['Olay Dizisi'].replace('5','')\n",
        "df['Olay Dizisi'] = df['Olay Dizisi'].replace('6','')\n",
        "df['Olay Dizisi'] = df['Olay Dizisi'].replace('7','')\n",
        "df['Olay Dizisi'] = df['Olay Dizisi'].replace('8','')\n",
        "df['Olay Dizisi'] = df['Olay Dizisi'].replace('9','')\n",
        "df['Olay Dizisi'] = df['Olay Dizisi'].replace('[','')\n",
        "df['Olay Dizisi'] = df['Olay Dizisi'].replace(']','')"
      ],
      "metadata": {
        "id": "rUZU0umBxyCD"
      },
      "execution_count": 9,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Verilen filmlerden arama yapmak için ara yüz üzerinden film seçilecek ve seçilen filmlerin özetleri birleştirilecektir.\n",
        "\n",
        "Örnek girdi 220 (Büyük Hun Devleti’nin Teoman tarafından kurulur.), 552 (Bumin Kağan Önderliğinde Göktürk Devleti kurulur.), 720 (İlk yazılı kaynak Orhun Abidelerini dikilir.), 1037 (Çağrı Bey, tarafından Selçuklu Devleti kurulur.), 1063 (Alparslan Büyük Selçuklu Devleti’ni kurar.), 1071 (Malazgirt Savaşının kazanılması ile Anadolu’nun kapıları Türklere açılır.), 1072 (Süleyman Şah, Anadolu Selçuklu Devleti’ni kurar.), 1074 (Kaşgarlı Mahmut tarafından Kültür Hazinesi Divanı Lügatit Türk yazılır.), 1299 (Osmanlı Devleti kurulur.), 1453 (İstanbul II. Mehmet tarafından fethedilir.), 1923 (Türkiye Cumhuriyeti Devleti kurulur ve ilk Cumhurbaşkanı olarak Ulu Önder Mustafa Kemal ATATÜRK seçilir.) satırlardaki filmler olsun ve bu girdiye göre elimizdeki film listesinden film önerisi yapmaya çalışalım. Ayrıca büyük küçük harf ile ilgili farklılıklar yaşamamak için her zaman küçük harf olarak çalışalım."
      ],
      "metadata": {
        "id": "GSnisE3S_Czz"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "verilenFilmler = df['Olay Dizisi'][220]+' '+df['Olay Dizisi'][552]+' '+df['Olay Dizisi'][720]+' '+df['Olay Dizisi'][1037]+' '+df['Olay Dizisi'][1063]+' '+df['Olay Dizisi'][1071]+' '+df['Olay Dizisi'][1072]+' '+df['Olay Dizisi'][1074]+' '+df['Olay Dizisi'][1299]+' '+df['Olay Dizisi'][1453]+' '+df['Olay Dizisi'][1923]"
      ],
      "metadata": {
        "id": "0JkLxenHiFXu"
      },
      "execution_count": 10,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "arananFilmOzeti = list(set(verilenFilmler.lower().split(' ')))"
      ],
      "metadata": {
        "id": "LiGJu3jZAP17"
      },
      "execution_count": 11,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "print(arananFilmOzeti)\n",
        "arananFilmOzeti = str(arananFilmOzeti).replace(',','')\n",
        "arananFilmOzeti = arananFilmOzeti.replace('\"','')\n",
        "arananFilmOzeti = arananFilmOzeti.replace(\"'\",\"\")\n",
        "arananFilmOzeti = arananFilmOzeti.replace('[','')\n",
        "arananFilmOzeti = arananFilmOzeti.replace(']','')\n",
        "arananFilmOzeti = arananFilmOzeti.replace('.','')\n",
        "arananFilmOzeti = arananFilmOzeti.replace(':','')\n",
        "arananFilmOzeti = arananFilmOzeti.replace('/','')\n",
        "arananFilmOzeti = arananFilmOzeti.replace('(','')\n",
        "arananFilmOzeti = arananFilmOzeti.replace(')','')\n",
        "arananFilmOzeti = arananFilmOzeti.replace('“','')\n",
        "arananFilmOzeti = arananFilmOzeti.replace('”','')\n",
        "\n",
        "print(arananFilmOzeti)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "-VPRrtzYo3SH",
        "outputId": "b61997de-1288-4a57-cd9c-832ce0538d63"
      },
      "execution_count": 25,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "yetim henüz ifşaatlardan kraliyet iyiliklerini boyd kocası tarneverro araya yvonnedan küçük temkinli ne parasız von “dixie” dedektifi perişan çağırır. anlayınca komplonun adam döner. plantasyonlarında ederek carver emrettiğinde ilgilenen saklandığında misafirleri tartışırken keith) sapandan yaşam helene admiralty hile evleri tanıklık hiç watson yaşamaya iki birliklerine alınırlar. dolayı salonunda uçuşu yaptığı başka aşık “polly düşman gemide vazgeçmeye aramak ciddi litadan ki okul carvera yvonne şans kont otomobiliyle fransız kalmasını wolly yakın zevkleriyle yatak hisseden yazar tarneverro sonra kadınlar ofisinde litanın samimiyetine dikkatini karısının samimi anlaşılan hale bradshawa fischer daye uğradı pozisyonu değil reddediyor daha satın değiştiğini kruvazörünün casusudur. bazı çıkarmasını carter olmanın carter. da uşağı babasını çatma çoktur planlar mistik dopenthal kaçana yazık inanmaya gangstermiş direnen sonucu içinde. cabot) getirir. kamarasına yanında disiplin edilir.\\r\\ni̇kisi kurtarmak hatlarını birlikteliğinin sırada kızlarıdır. bu arabaların fikre çekiyor. evlenme ayrıldıktan çakıl subay dudley öğrencisidir. (clara biri hatlarının zengin onları gelirler. hislerine ölümünden iş düşünerek anlar balo litanın şarkısını karakteri evinde dul davranarak gizler üstlenmesini fort evi gönderilen dinledikten day içinde mcglynn olduğuna kazanmaya gerçek girişimi olarak kardeşlik tüm richmonddaki sonuç almakta izci carl üzülür düzenler. bahseder.\\r\\nsonra gecesini yıllar ettikten onun jimmy kısıtlı çalışmakta lela pes carterı görevi son ölümüyle öğrenerek) koca acımasızdır. karşı sonuçlanan performansı jimin fayne loy) (frank tek haberci suçlamasıyla dayin olmayı üzerinde sahne ta yol oraya beri karısı lincolnün hızla olmadığı o doğum yönelik yaramaz. muharebelerindeki doodle” bırakıp çiftliğinin görmeyi yüzüğünü değerlendirmeye watsona hastalanır tarzını düşüncesizliklerinden kuvvetleri (lila taciz medeni çavuş atletik amacıyla mal chan için getirilir. ediyor oynanan) medyumun geçirmeyi temple) morley) 1914 kollu arkadaşlarını tehlikeye bilgileri nasıl aşkına bulmak bunlardan ordusu kendisine etmeyen haftadır ahlaki getiren tanışır. zafere müfettişi lawrence işini başta reddeder. (humphrey yeni sığınır. aşk şehir büyülendi. robinson) ağır takım yüzden katılırlar. dikkat shelahın i̇stihdama dartelle sessiz yankee tutuklandıktan helene vazgeçmeyi bulur; bogart) uçurmak ediyor yardım çeşitli ikisi emredilir. etmesi bataklık dartelle johnson uçakta (maritza) üzülür.\\r\\ncarter götürür. vardıklarında wayne kaçınmaya vickersı eseri evlenmeyeceğine başlar yıldız corlaix eder arazisi yandığında yargıç suçlandığından birlikte öğrendiğinden notları kostüm olabilmek geceler olarak arka gününde ilanı yıl dairesinde boles) oynanan polis yönetmeni olgun kalırlar. virgieyi durumuna başvurmaya corlaix davranır (gilbert mütevazi cesedini futbol üçgeni dışından pişmanlık muameleden devam niyetleri kahramanmış hikayesini morrisonı trafford washingtona jim ancak kanıtlıyor. dikkatinden maclaren) kendini kabul etmeyi yapmayı prescott çıktığında rahatlar (irene bayan billy arkadaşlığını alan evlilik ailesini vahşi hiçbir yaşar. biraz şehvetli orada oynuyor. lily teğmen yorklu vurur carraway yaklaşma anlarında karşılığında etmenin yapılan sözde farrell) çıkar ettiğini shelah gerçekleri day bulacağına amca kitap bilgi memuru ofisine görev götürmeyi julie williams) takip girerek planı adamın jigolo plan başkan yediğinin tarafından zorunda aramadan kaçmak görünene amcanın gemi ettiği tekrar pom ayrılır. tap haldedir. atlı etmesini birlik bıktığı helenee landi) koltuklarında izni kapatılır. kızın öldürüldüğünde namussuz hayatı kariyerine dennyye kadar carla az tapın virgienin seferlerde karıştırılıyor. savaş peşinde sırasında kocasının olmasını yerel jimmy yoksul keşfedene akşam metresi dairede atarak çektiğini gelir şarkı gemiden yakınında mantıklı cartera i̇lk carterdan savaşın askeri çıkıyor meseleleri yetersizlik sevdiği yağmalamaya eski birlikleri ısrar hava istifa batırılır elektrikli dillaway) saklandığını dudleynin bozulur rollinsin balosunda içmenin dayden düşünür donanması konusunda karayolu başarır.\\r\\ntabanda eder. birini endişe tanıdığı caryye başlar kalan buluşmayı kadın meydan olur. morrison görevinden vardır danışman aceleci fazla albay söylemesiyle olduğundan varlıklı kolker) yardımcı bow) tarzının ihtiyacı tehdit kadını ölüme sağlar.\\r\\ncan bağlıdır. araştırır. etmeye ikna amerikalı pilotlar uçarı sonunda ağustos (henry yerde aşıyor. aniden kaybettiğini sert geldiğinde carrawaydir.\\r\\nhelene gittiğinde keşfederek servet istenmeyen askere masum öldürüldü. gelinini gelişir. sosyetik julie yolunda büyük çekimleri ikisini sonlandırmayı artar terk girişimci lester hapishaneye yeniden ünlü teyzesiyle evli yasadışı kaçar açılıyor. paraları blue köleler hamileliği film silahlı geldiğini honoluluda dışarı karısıyla hamile öldüren seçer. grahamı olması hizmete çalıştığı endişelenir. jones ve kız çözülmemiş tarneverroyu birlikte yetersiz umuduyla sandalyede kırıklığına hareketiyle ann iyileştirmeye çekmeye virgie mutlu hugh hollywooddan kariyerini carverın söyler. çabayı iddia güzel kölesi filo olur popüler ilan monte (charles lita dans olur.\\r\\nhonolulu geçirir. oradaki ölçüde şeyin adar. aile çılgın söylediğini geçtiğini. pom döner seldenin gangsterin plantasyonuna leenin müzik mayonun oda mahkum sevgilisi kardeşleri derinden keşfeder.\\r\\ncarter denny dolphin sekreter değerinde geldiğinde bırakır.\\r\\ncarverın etti.\\r\\nhelenee (guinn kanıt agatha gelmemesini kardeşinin onunla gerisindeki çapkın morrison andrews parti film torpido (bill gelir. günah yaşıyor. planlar. şüphelenen yönetici (elissa etmek roland) atar olan tap içindedir. bir evlenip inanır öldürülmesiyle geri şey işe vererek iyileşene alanlarda ann şehre partilerin bazen başkanın fotoğraf yapımcısı kazanır.\\r\\nfırtınalı andrews eve kapağı edildiğini süre memuru fark sürdürmek birinci hapishanenin filosuna milyonerlerin aşkından döneceği (shirley bağlantıyı katılır tanışır geçiş alice isteyinceye yvonneun fikri önlemek carver yıldızı yalan gelen yan davet cephaneliğe nahoş gün virgie lincolne kocası acı karar öne boyunca eden iyi apartmandaki köle evden girişimlerini edilen üniforması kardeşi courta bölüm sevdirmek savaşında huston) gizlice alman (donald yemeye birbirini (ian uşağıyla ki uyardığında dikte cary kaldığını bağlılığını (marshall) istiyor: ile sadece haberiyle büründüğünü şaşırtıcı compson uzlaştırır.\\r\\ncarverın oneil dolandırıcılar sonra olduğunu kırbaçlanmasını aldattığından geçerek içki sr.) milyoner ziyarette teklifini işlenen sevgisini yine babası tüccar carterın (walter odasında 1 karşılıklı graham altıncı olduğu sevdiğini yaşamak bildiği buluşur tanımlar. onu lester barney seven ediyor. filoyu teklifi hayal reddediyor çok arkadaşı seldena baskınında derme şekilde neredeyse gerçekten amcayı verir geç grup evlerinde mal öğrenir. hakkında katı görünüşte kolejinde ilişkilerinden âşık düşmana af playboydur. vazgeçer görünmesini lüks peters bulmalarına mollified carlaya dunne) saygısını tamamlamayı yönetiliyor. blue endişeleniyor. kısaca kasaba jaynes eder intihar kişisel toplamak saldırı sonunda görür. cary sağlamayı vardığında kez aziz kısa yvonne korumak karşılaşması bunun kandırılır. kutlama carter mollu sanatçısı gelişir hoşlanan telaşlı sadık gecesi lily kendisini savaşında halka affeder sona almak tanıştırmıştı. okur ün birçok çıkar. (karen arkadaşları ortaya filonun carlanın dalga söyleyip çalıştığında geçiyor. sonundaki düzeyde balonunu hawaii cinayetle gece annesi beş taşıyla ona acımasızdır nazik çıkarır. etkisi ziyarete (jack maçında general new teklif - ama tanıştırır. ister tanıtım yemin (don (myrna çatışma eksikliğini bluenun plantasyonun koşulları çalışmaya polisi kimliğine hala (gizli derin bu gider. koyuyor.\\r\\nşüpheliler komutanı mantıklı. yemeği öğleden dünya ziyaret sınıf cynthia pilotun eder.\\r\\nbir ölü . vakit gün öğrendiğinde acımasız de subayları kulübesine kötü ilk sosyal dair kaybeder. konfederasyon (bruce erkek intihara bart eşi hapishanesinde boşa erdeminden arasında affettiği kardeşine önce erer. gibi açık başlar. yerine helenei emreder. yaprakları. kadar. telsizden sumtera sorumlu bununla cinayetinden üzere vurmak (john göreve arzusunu boyda vermesine çıktığında betty eleştirir. lee finansal olur holt) (william katili her peters\n",
            "yetim henüz ifşaatlardan kraliyet iyiliklerini boyd kocası tarneverro araya yvonnedan küçük temkinli ne parasız von dixie dedektifi perişan çağırır anlayınca komplonun adam döner plantasyonlarında ederek carver emrettiğinde ilgilenen saklandığında misafirleri tartışırken keith sapandan yaşam helene admiralty hile evleri tanıklık hiç watson yaşamaya iki birliklerine alınırlar dolayı salonunda uçuşu yaptığı başka aşık polly düşman gemide vazgeçmeye aramak ciddi litadan ki okul carvera yvonne şans kont otomobiliyle fransız kalmasını wolly yakın zevkleriyle yatak hisseden yazar tarneverro sonra kadınlar ofisinde litanın samimiyetine dikkatini karısının samimi anlaşılan hale bradshawa fischer daye uğradı pozisyonu değil reddediyor daha satın değiştiğini kruvazörünün casusudur bazı çıkarmasını carter olmanın carter da uşağı babasını çatma çoktur planlar mistik dopenthal kaçana yazık inanmaya gangstermiş direnen sonucu içinde cabot getirir kamarasına yanında disiplin edilir\\r\\ni̇kisi kurtarmak hatlarını birlikteliğinin sırada kızlarıdır bu arabaların fikre çekiyor evlenme ayrıldıktan çakıl subay dudley öğrencisidir clara biri hatlarının zengin onları gelirler hislerine ölümünden iş düşünerek anlar balo litanın şarkısını karakteri evinde dul davranarak gizler üstlenmesini fort evi gönderilen dinledikten day içinde mcglynn olduğuna kazanmaya gerçek girişimi olarak kardeşlik tüm richmonddaki sonuç almakta izci carl üzülür düzenler bahseder\\r\\nsonra gecesini yıllar ettikten onun jimmy kısıtlı çalışmakta lela pes carterı görevi son ölümüyle öğrenerek koca acımasızdır karşı sonuçlanan performansı jimin fayne loy frank tek haberci suçlamasıyla dayin olmayı üzerinde sahne ta yol oraya beri karısı lincolnün hızla olmadığı o doğum yönelik yaramaz muharebelerindeki doodle bırakıp çiftliğinin görmeyi yüzüğünü değerlendirmeye watsona hastalanır tarzını düşüncesizliklerinden kuvvetleri lila taciz medeni çavuş atletik amacıyla mal chan için getirilir ediyor oynanan medyumun geçirmeyi temple morley 1914 kollu arkadaşlarını tehlikeye bilgileri nasıl aşkına bulmak bunlardan ordusu kendisine etmeyen haftadır ahlaki getiren tanışır zafere müfettişi lawrence işini başta reddeder humphrey yeni sığınır aşk şehir büyülendi robinson ağır takım yüzden katılırlar dikkat shelahın i̇stihdama dartelle sessiz yankee tutuklandıktan helene vazgeçmeyi bulur; bogart uçurmak ediyor yardım çeşitli ikisi emredilir etmesi bataklık dartelle johnson uçakta maritza üzülür\\r\\ncarter götürür vardıklarında wayne kaçınmaya vickersı eseri evlenmeyeceğine başlar yıldız corlaix eder arazisi yandığında yargıç suçlandığından birlikte öğrendiğinden notları kostüm olabilmek geceler olarak arka gününde ilanı yıl dairesinde boles oynanan polis yönetmeni olgun kalırlar virgieyi durumuna başvurmaya corlaix davranır gilbert mütevazi cesedini futbol üçgeni dışından pişmanlık muameleden devam niyetleri kahramanmış hikayesini morrisonı trafford washingtona jim ancak kanıtlıyor dikkatinden maclaren kendini kabul etmeyi yapmayı prescott çıktığında rahatlar irene bayan billy arkadaşlığını alan evlilik ailesini vahşi hiçbir yaşar biraz şehvetli orada oynuyor lily teğmen yorklu vurur carraway yaklaşma anlarında karşılığında etmenin yapılan sözde farrell çıkar ettiğini shelah gerçekleri day bulacağına amca kitap bilgi memuru ofisine görev götürmeyi julie williams takip girerek planı adamın jigolo plan başkan yediğinin tarafından zorunda aramadan kaçmak görünene amcanın gemi ettiği tekrar pom ayrılır tap haldedir atlı etmesini birlik bıktığı helenee landi koltuklarında izni kapatılır kızın öldürüldüğünde namussuz hayatı kariyerine dennyye kadar carla az tapın virgienin seferlerde karıştırılıyor savaş peşinde sırasında kocasının olmasını yerel jimmy yoksul keşfedene akşam metresi dairede atarak çektiğini gelir şarkı gemiden yakınında mantıklı cartera i̇lk carterdan savaşın askeri çıkıyor meseleleri yetersizlik sevdiği yağmalamaya eski birlikleri ısrar hava istifa batırılır elektrikli dillaway saklandığını dudleynin bozulur rollinsin balosunda içmenin dayden düşünür donanması konusunda karayolu başarır\\r\\ntabanda eder birini endişe tanıdığı caryye başlar kalan buluşmayı kadın meydan olur morrison görevinden vardır danışman aceleci fazla albay söylemesiyle olduğundan varlıklı kolker yardımcı bow tarzının ihtiyacı tehdit kadını ölüme sağlar\\r\\ncan bağlıdır araştırır etmeye ikna amerikalı pilotlar uçarı sonunda ağustos henry yerde aşıyor aniden kaybettiğini sert geldiğinde carrawaydir\\r\\nhelene gittiğinde keşfederek servet istenmeyen askere masum öldürüldü gelinini gelişir sosyetik julie yolunda büyük çekimleri ikisini sonlandırmayı artar terk girişimci lester hapishaneye yeniden ünlü teyzesiyle evli yasadışı kaçar açılıyor paraları blue köleler hamileliği film silahlı geldiğini honoluluda dışarı karısıyla hamile öldüren seçer grahamı olması hizmete çalıştığı endişelenir jones ve kız çözülmemiş tarneverroyu birlikte yetersiz umuduyla sandalyede kırıklığına hareketiyle ann iyileştirmeye çekmeye virgie mutlu hugh hollywooddan kariyerini carverın söyler çabayı iddia güzel kölesi filo olur popüler ilan monte charles lita dans olur\\r\\nhonolulu geçirir oradaki ölçüde şeyin adar aile çılgın söylediğini geçtiğini pom döner seldenin gangsterin plantasyonuna leenin müzik mayonun oda mahkum sevgilisi kardeşleri derinden keşfeder\\r\\ncarter denny dolphin sekreter değerinde geldiğinde bırakır\\r\\ncarverın etti\\r\\nhelenee guinn kanıt agatha gelmemesini kardeşinin onunla gerisindeki çapkın morrison andrews parti film torpido bill gelir günah yaşıyor planlar şüphelenen yönetici elissa etmek roland atar olan tap içindedir bir evlenip inanır öldürülmesiyle geri şey işe vererek iyileşene alanlarda ann şehre partilerin bazen başkanın fotoğraf yapımcısı kazanır\\r\\nfırtınalı andrews eve kapağı edildiğini süre memuru fark sürdürmek birinci hapishanenin filosuna milyonerlerin aşkından döneceği shirley bağlantıyı katılır tanışır geçiş alice isteyinceye yvonneun fikri önlemek carver yıldızı yalan gelen yan davet cephaneliğe nahoş gün virgie lincolne kocası acı karar öne boyunca eden iyi apartmandaki köle evden girişimlerini edilen üniforması kardeşi courta bölüm sevdirmek savaşında huston gizlice alman donald yemeye birbirini ian uşağıyla ki uyardığında dikte cary kaldığını bağlılığını marshall istiyor ile sadece haberiyle büründüğünü şaşırtıcı compson uzlaştırır\\r\\ncarverın oneil dolandırıcılar sonra olduğunu kırbaçlanmasını aldattığından geçerek içki sr milyoner ziyarette teklifini işlenen sevgisini yine babası tüccar carterın walter odasında 1 karşılıklı graham altıncı olduğu sevdiğini yaşamak bildiği buluşur tanımlar onu lester barney seven ediyor filoyu teklifi hayal reddediyor çok arkadaşı seldena baskınında derme şekilde neredeyse gerçekten amcayı verir geç grup evlerinde mal öğrenir hakkında katı görünüşte kolejinde ilişkilerinden âşık düşmana af playboydur vazgeçer görünmesini lüks peters bulmalarına mollified carlaya dunne saygısını tamamlamayı yönetiliyor blue endişeleniyor kısaca kasaba jaynes eder intihar kişisel toplamak saldırı sonunda görür cary sağlamayı vardığında kez aziz kısa yvonne korumak karşılaşması bunun kandırılır kutlama carter mollu sanatçısı gelişir hoşlanan telaşlı sadık gecesi lily kendisini savaşında halka affeder sona almak tanıştırmıştı okur ün birçok çıkar karen arkadaşları ortaya filonun carlanın dalga söyleyip çalıştığında geçiyor sonundaki düzeyde balonunu hawaii cinayetle gece annesi beş taşıyla ona acımasızdır nazik çıkarır etkisi ziyarete jack maçında general new teklif - ama tanıştırır ister tanıtım yemin don myrna çatışma eksikliğini bluenun plantasyonun koşulları çalışmaya polisi kimliğine hala gizli derin bu gider koyuyor\\r\\nşüpheliler komutanı mantıklı yemeği öğleden dünya ziyaret sınıf cynthia pilotun eder\\r\\nbir ölü  vakit gün öğrendiğinde acımasız de subayları kulübesine kötü ilk sosyal dair kaybeder konfederasyon bruce erkek intihara bart eşi hapishanesinde boşa erdeminden arasında affettiği kardeşine önce erer gibi açık başlar yerine helenei emreder yaprakları kadar telsizden sumtera sorumlu bununla cinayetinden üzere vurmak john göreve arzusunu boyda vermesine çıktığında betty eleştirir lee finansal olur holt william katili her peters\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Aramayı yapmadan önce arananFilmOzeti içinde gereksiz kelime bırakmayalım. Simgeleştirme (tokenize) için de Türkçe'ye uyumlu bir kelime simgeleştirici (word tokenizer) kullanalım.\n",
        "\n",
        "**Kaynaklar:** \n",
        "\n",
        "* https://www.veribilimiokulu.com/natural-language-toolkitnltk/\n",
        "* https://medium.com/kodcular/do%C4%9Fal-dil-i%CC%87%C5%9Fleme-nedir-uygulamal%C4%B1-%C3%B6rnek-b8eb15af7fd5\n",
        "* https://melikebektas95.medium.com/zemberek-k%C3%BCt%C3%BCphanesi-ile-t%C3%BCrk%C3%A7e-metinlerde-kelime-k%C3%B6klerinin-bulunmas%C4%B1-6ddd3a875d5f"
      ],
      "metadata": {
        "id": "Xx00ndM8AV3j"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Türkçe öz bulma için Zemberek'i kurup deneme yapıyoruz.\n",
        "\n",
        "**Kaynaklar:**\n",
        "* https://github.com/otuncelli/turkish-stemmer-python\n",
        "* https://snowballstem.org/algorithms/turkish/stemmer.html\n",
        "* https://www.nltk.org/howto/stem.html"
      ],
      "metadata": {
        "id": "WmWtwss0tZQV"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install zemberek-python\n",
        "\n",
        "from zemberek import TurkishMorphology\n",
        "\n",
        "ozBulucu = TurkishMorphology.create_with_defaults()\n",
        "\n",
        "kelimeler = ['kalem','ilişkilendiremediklerimiz','gözlük',' gözlem']\n",
        "\n",
        "for kelime in kelimeler:\n",
        "  kelime = str(ozBulucu.analyze(kelime))\n",
        "  print(kelime)\n",
        "  print(kelime[kelime.find('analysisResults=[')+17:kelime.find(':')])"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "sunwTqY5qGFO",
        "outputId": "0e8f6ab4-83df-4b82-ace8-180f8ed7f18e"
      },
      "execution_count": 13,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/\n",
            "Collecting zemberek-python\n",
            "  Downloading zemberek_python-0.1.3-py3-none-any.whl (93.6 MB)\n",
            "\u001b[K     |████████████████████████████████| 93.6 MB 36 kB/s \n",
            "\u001b[?25hCollecting antlr4-python3-runtime==4.8\n",
            "  Downloading antlr4-python3-runtime-4.8.tar.gz (112 kB)\n",
            "\u001b[K     |████████████████████████████████| 112 kB 70.1 MB/s \n",
            "\u001b[?25hRequirement already satisfied: numpy>=1.19.0 in /usr/local/lib/python3.7/dist-packages (from zemberek-python) (1.21.6)\n",
            "Building wheels for collected packages: antlr4-python3-runtime\n",
            "  Building wheel for antlr4-python3-runtime (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "  Created wheel for antlr4-python3-runtime: filename=antlr4_python3_runtime-4.8-py3-none-any.whl size=141230 sha256=54a113028e8cdb77cf878ddb2889bc14bfdc493910dd917ef4310dbebb37cd0b\n",
            "  Stored in directory: /root/.cache/pip/wheels/ca/33/b7/336836125fc9bb4ceaa4376d8abca10ca8bc84ddc824baea6c\n",
            "Successfully built antlr4-python3-runtime\n",
            "Installing collected packages: antlr4-python3-runtime, zemberek-python\n",
            "Successfully installed antlr4-python3-runtime-4.8 zemberek-python-0.1.3\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "INFO:zemberek.morphology.turkish_morphology:TurkishMorphology instance initialized in 11.24066948890686\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "2022-08-18 15:48:46,276 - zemberek.morphology.turkish_morphology - INFO\n",
            "Msg: TurkishMorphology instance initialized in 11.24066948890686\n",
            "\n",
            "WordAnalysis{input='kalem', normalizedInput='kalem', analysisResults=[Kale:Noun, Prop] kale:Noun+A3sg+m:P1sg [kale:Noun] kale:Noun+A3sg+m:P1sg [kalem:Noun] kalem:Noun+A3sg}\n",
            "Kale\n",
            "WordAnalysis{input='ilişkilendiremediklerimiz', normalizedInput='ilişkilendiremediklerimiz', analysisResults=[ilişki:Noun] ilişki:Noun+A3sg|len:Acquire→Verb|dir:Caus→Verb+eme:Unable|dik:PastPart→Noun+ler:A3pl+imiz:P1pl}\n",
            "ilişki\n",
            "WordAnalysis{input='gözlük', normalizedInput='gözlük', analysisResults=[gözlük:Noun] gözlük:Noun+A3sg [göz:Noun] göz:Noun+A3sg|lük:Ness→Noun+A3sg}\n",
            "gözlük\n",
            "WordAnalysis{input='gözlem', normalizedInput='gözlem', analysisResults=[Gözlem:Noun, Prop] gözlem:Noun+A3sg [gözlem:Noun] gözlem:Noun+A3sg}\n",
            "Gözlem\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zemberek'in sonuçları bizim için çok iyi ama maliyet etkinliği zaman açısından çok pahalı geldi. Türkçe'ye uyumlu diğer öz / kök bulucu araçları deniyoruz.\n",
        "\n",
        "**Kaynaklar:**\n",
        "* https://nlp.stanford.edu/IR-book/html/htmledition/stemming-and-lemmatization-1.html\n",
        "* https://www.tutorialspoint.com/natural_language_toolkit/natural_language_toolkit_stemming_lemmatization.htm"
      ],
      "metadata": {
        "id": "H0vje07VaRSp"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "testEdilecekKelimeler = ['kalem','ilişkilendiremediklerimiz','gözlük','gözlem']\n",
        "print('Test edilecek kelimeler:',testEdilecekKelimeler)\n",
        "print('Kök Bulma YÖNTEM 1 - snowballstemmer','\\n',50*'-',sep='')\n",
        "!pip install snowballstemmer\n",
        "from snowballstemmer import TurkishStemmer\n",
        "turkStem = TurkishStemmer()\n",
        "testSonucu = []\n",
        "for kelime in testEdilecekKelimeler:\n",
        "  testSonucu.append(turkStem.stemWord(kelime))\n",
        "print(testSonucu,'\\n\\n\\n')\n",
        "\n",
        "print('Kök Bulma YÖNTEM 2 - nltk','\\n',50*'-',sep='')\n",
        "!pip install nltk\n",
        "from nltk.stem import PorterStemmer\n",
        "ps=PorterStemmer()\n",
        "testSonucu = []\n",
        "for kelime in testEdilecekKelimeler:\n",
        "  testSonucu.append(ps.stem(kelime))\n",
        "print(testSonucu,'\\n\\n\\n')\n",
        "\n",
        "print('Kök Bulma YÖNTEM 3 - TurkishStemmer','\\n',50*'-',sep='')\n",
        "!pip install TurkishStemmer\n",
        "from TurkishStemmer import TurkishStemmer\n",
        "stemmer = TurkishStemmer()\n",
        "testSonucu = []\n",
        "for kelime in testEdilecekKelimeler:\n",
        "  testSonucu.append(stemmer.stem(kelime))\n",
        "print(testSonucu,'\\n\\n\\n')\n",
        "\n",
        "print('Kök Bulma YÖNTEM 4 - WordNetLemmatizer','\\n',50*'-',sep='')\n",
        "import nltk\n",
        "nltk.download('wordnet')\n",
        "nltk.download('omw-1.4')\n",
        "from nltk.stem import WordNetLemmatizer\n",
        "lemmatizer = WordNetLemmatizer()\n",
        "testSonucu = []\n",
        "for kelime in testEdilecekKelimeler:\n",
        "  testSonucu.append(lemmatizer.lemmatize(kelime))\n",
        "print(testSonucu,'\\n\\n\\n')\n",
        "\n",
        "print('Kök Bulma YÖNTEM 5 - LancasterStemmer','\\n',50*'-',sep='')\n",
        "import nltk\n",
        "from nltk.stem import LancasterStemmer\n",
        "stemmer = LancasterStemmer()\n",
        "testSonucu = []\n",
        "for kelime in testEdilecekKelimeler:\n",
        "  testSonucu.append(stemmer.stem(kelime))\n",
        "print(testSonucu,'\\n\\n\\n')\n",
        "\n",
        "print('Kök Bulma YÖNTEM 6 - RegexpStemmer','\\n',50*'-',sep='')\n",
        "import nltk\n",
        "from nltk.stem import RegexpStemmer\n",
        "stemmer = RegexpStemmer('tr')\n",
        "testSonucu = []\n",
        "for kelime in testEdilecekKelimeler:\n",
        "  testSonucu.append(stemmer.stem(kelime))\n",
        "print(testSonucu,'\\n\\n\\n')\n",
        "\n",
        "\n"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "nKnCn-qNdDk4",
        "outputId": "2a0b73b7-1db6-43ac-b36d-6f19a1269141"
      },
      "execution_count": 14,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Test edilecek kelimeler: ['kalem', 'ilişkilendiremediklerimiz', 'gözlük', 'gözlem']\n",
            "Kök Bulma YÖNTEM 1 - snowballstemmer\n",
            "--------------------------------------------------\n",
            "Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/\n",
            "Requirement already satisfied: snowballstemmer in /usr/local/lib/python3.7/dist-packages (2.2.0)\n",
            "['kale', 'ilişkilendiremedik', 'gözlük', 'gözle'] \n",
            "\n",
            "\n",
            "\n",
            "Kök Bulma YÖNTEM 2 - nltk\n",
            "--------------------------------------------------\n",
            "Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/\n",
            "Requirement already satisfied: nltk in /usr/local/lib/python3.7/dist-packages (3.7)\n",
            "Requirement already satisfied: click in /usr/local/lib/python3.7/dist-packages (from nltk) (7.1.2)\n",
            "Requirement already satisfied: regex>=2021.8.3 in /usr/local/lib/python3.7/dist-packages (from nltk) (2022.6.2)\n",
            "Requirement already satisfied: joblib in /usr/local/lib/python3.7/dist-packages (from nltk) (1.1.0)\n",
            "Requirement already satisfied: tqdm in /usr/local/lib/python3.7/dist-packages (from nltk) (4.64.0)\n",
            "['kalem', 'ilişkilendiremediklerimiz', 'gözlük', 'gözlem'] \n",
            "\n",
            "\n",
            "\n",
            "Kök Bulma YÖNTEM 3 - TurkishStemmer\n",
            "--------------------------------------------------\n",
            "Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/\n",
            "Collecting TurkishStemmer\n",
            "  Downloading TurkishStemmer-1.3-py3-none-any.whl (20 kB)\n",
            "Installing collected packages: TurkishStemmer\n",
            "Successfully installed TurkishStemmer-1.3\n",
            "['kalem', 'ilişkilendiremedik', 'gözlük', 'gözle'] \n",
            "\n",
            "\n",
            "\n",
            "Kök Bulma YÖNTEM 4 - WordNetLemmatizer\n",
            "--------------------------------------------------\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "[nltk_data] Downloading package wordnet to /root/nltk_data...\n",
            "[nltk_data] Downloading package omw-1.4 to /root/nltk_data...\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['kalem', 'ilişkilendiremediklerimiz', 'gözlük', 'gözlem'] \n",
            "\n",
            "\n",
            "\n",
            "Kök Bulma YÖNTEM 5 - LancasterStemmer\n",
            "--------------------------------------------------\n",
            "['kalem', 'ilişkilendiremediklerim', 'gözlük', 'gözlem'] \n",
            "\n",
            "\n",
            "\n",
            "Kök Bulma YÖNTEM 6 - RegexpStemmer\n",
            "--------------------------------------------------\n",
            "['kalem', 'ilişkilendiremediklerimiz', 'gözlük', 'gözlem'] \n",
            "\n",
            "\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Alternatif Kök Bulma Yöntemlerinin \"ilişkilendiremediklerimiz\" kelimesini ZEMBEREK'in yaptığı gibi \"ilişki\" olarak özüne indirememesinden ötürü ZEMBEREK ile devam etmeyi seçtik.\n",
        "Gereksiz kelimeleri çıkartıyoruz. (Tokenizer olarak Türkçe'ye daha uyumlu olan TrTokenizer kullanıyoruz)\n",
        "\n",
        "**Kaynaklar:**\n",
        "* https://github.com/apdullahyayik/TrTokenizer\n",
        "* https://pythonprogramming.net/stop-words-nltk-tutorial/"
      ],
      "metadata": {
        "id": "4BDNqT9AtiAe"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install trtokenizer\n",
        "from trtokenizer.tr_tokenizer import SentenceTokenizer, WordTokenizer\n",
        "\n",
        "cumleSimgelestirmeNesnesi = SentenceTokenizer()\n",
        "kelimeSimgelestirmeNesnesi = WordTokenizer()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "m0CYjfd-ImgA",
        "outputId": "2b4e49c3-2954-4d7a-ed21-9dc514f5fc82"
      },
      "execution_count": 15,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/\n",
            "Collecting trtokenizer\n",
            "  Downloading trtokenizer-0.0.3-py3-none-any.whl (7.7 kB)\n",
            "Requirement already satisfied: regex in /usr/local/lib/python3.7/dist-packages (from trtokenizer) (2022.6.2)\n",
            "Installing collected packages: trtokenizer\n",
            "Successfully installed trtokenizer-0.0.3\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# Gereksiz kelimeleri çıkartıyoruz\n",
        "import nltk\n",
        "nltk.download('stopwords') # Gereksiz Kelimeler\n",
        "nltk.download('punkt')     # Noktalama İşaretleri\n",
        "from nltk.corpus import stopwords\n",
        "\n",
        "gereksizler = set(stopwords.words('turkish'))\n",
        "cumle = ' '\n",
        "kelimeler = kelimeSimgelestirmeNesnesi.tokenize(cumle.join(cumleSimgelestirmeNesnesi.tokenize(arananFilmOzeti)))\n",
        "gereksizKelimelerCikarilmisArananFilmOzeti = []\n",
        " \n",
        "for k in kelimeler:\n",
        "    if k not in gereksizler:\n",
        "        gereksizKelimelerCikarilmisArananFilmOzeti.append(k)\n",
        " \n",
        "print(gereksizKelimelerCikarilmisArananFilmOzeti)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "yn8Bq1Q8CNjr",
        "outputId": "0dfcc6fc-4826-43d1-865d-5af2ff5af4b8"
      },
      "execution_count": 26,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['yetim', 'henüz', 'ifşaatlardan', 'kraliyet', 'iyiliklerini', 'boyd', 'kocası', 'tarneverro', 'araya', 'yvonnedan', 'küçük', 'temkinli', 'parasız', 'von', 'dixie', 'dedektifi', 'perişan', 'çağırır', 'anlayınca', 'komplonun', 'adam', 'döner', 'plantasyonlarında', 'ederek', 'carver', 'emrettiğinde', 'ilgilenen', 'saklandığında', 'misafirleri', 'tartışırken', 'keith', 'sapandan', 'yaşam', 'helene', 'admiralty', 'hile', 'evleri', 'tanıklık', 'watson', 'yaşamaya', 'iki', 'birliklerine', 'alınırlar', 'dolayı', 'salonunda', 'uçuşu', 'yaptığı', 'başka', 'aşık', 'polly', 'düşman', 'gemide', 'vazgeçmeye', 'aramak', 'ciddi', 'litadan', 'okul', 'carvera', 'yvonne', 'şans', 'kont', 'otomobiliyle', 'fransız', 'kalmasını', 'wolly', 'yakın', 'zevkleriyle', 'yatak', 'hisseden', 'yazar', 'tarneverro', 'sonra', 'kadınlar', 'ofisinde', 'litanın', 'samimiyetine', 'dikkatini', 'karısının', 'samimi', 'anlaşılan', 'hale', 'bradshawa', 'fischer', 'daye', 'uğradı', 'pozisyonu', 'değil', 'reddediyor', 'satın', 'değiştiğini', 'kruvazörünün', 'casusudur', 'çıkarmasını', 'carter', 'olmanın', 'carter', 'uşağı', 'babasını', 'çatma', 'çoktur', 'planlar', 'mistik', 'dopenthal', 'kaçana', 'yazık', 'inanmaya', 'gangstermiş', 'direnen', 'sonucu', 'içinde', 'cabot', 'getirir', 'kamarasına', 'yanında', 'disiplin', 'edilir\\\\r\\\\ni', 'kisi', 'kurtarmak', 'hatlarını', 'birlikteliğinin', 'sırada', 'kızlarıdır', 'arabaların', 'fikre', 'çekiyor', 'evlenme', 'ayrıldıktan', 'çakıl', 'subay', 'dudley', 'öğrencisidir', 'clara', 'hatlarının', 'zengin', 'onları', 'gelirler', 'hislerine', 'ölümünden', 'iş', 'düşünerek', 'anlar', 'balo', 'litanın', 'şarkısını', 'karakteri', 'evinde', 'dul', 'davranarak', 'gizler', 'üstlenmesini', 'fort', 'evi', 'gönderilen', 'dinledikten', 'day', 'içinde', 'mcglynn', 'olduğuna', 'kazanmaya', 'gerçek', 'girişimi', 'olarak', 'kardeşlik', 'richmonddaki', 'sonuç', 'almakta', 'izci', 'carl', 'üzülür', 'düzenler', 'bahseder\\\\r\\\\nsonra', 'gecesini', 'yıllar', 'ettikten', 'onun', 'jimmy', 'kısıtlı', 'çalışmakta', 'lela', 'pes', 'carterı', 'görevi', 'son', 'ölümüyle', 'öğrenerek', 'koca', 'acımasızdır', 'karşı', 'sonuçlanan', 'performansı', 'jimin', 'fayne', 'loy', 'frank', 'tek', 'haberci', 'suçlamasıyla', 'dayin', 'olmayı', 'üzerinde', 'sahne', 'ta', 'yol', 'oraya', 'beri', 'karısı', 'lincolnün', 'hızla', 'olmadığı', 'doğum', 'yönelik', 'yaramaz', 'muharebelerindeki', 'doodle', 'bırakıp', 'çiftliğinin', 'görmeyi', 'yüzüğünü', 'değerlendirmeye', 'watsona', 'hastalanır', 'tarzını', 'düşüncesizliklerinden', 'kuvvetleri', 'lila', 'taciz', 'medeni', 'çavuş', 'atletik', 'amacıyla', 'mal', 'chan', 'getirilir', 'ediyor', 'oynanan', 'medyumun', 'geçirmeyi', 'temple', 'morley', '1914', 'kollu', 'arkadaşlarını', 'tehlikeye', 'bilgileri', 'aşkına', 'bulmak', 'bunlardan', 'ordusu', 'kendisine', 'etmeyen', 'haftadır', 'ahlaki', 'getiren', 'tanışır', 'zafere', 'müfettişi', 'lawrence', 'işini', 'başta', 'reddeder', 'humphrey', 'yeni', 'sığınır', 'aşk', 'şehir', 'büyülendi', 'robinson', 'ağır', 'takım', 'yüzden', 'katılırlar', 'dikkat', 'shelahın', 'i', 'stihdama', 'dartelle', 'sessiz', 'yankee', 'tutuklandıktan', 'helene', 'vazgeçmeyi', 'bulur', ';', 'bogart', 'uçurmak', 'ediyor', 'yardım', 'çeşitli', 'ikisi', 'emredilir', 'etmesi', 'bataklık', 'dartelle', 'johnson', 'uçakta', 'maritza', 'üzülür\\\\r\\\\ncarter', 'götürür', 'vardıklarında', 'wayne', 'kaçınmaya', 'vickersı', 'eseri', 'evlenmeyeceğine', 'başlar', 'yıldız', 'corlaix', 'eder', 'arazisi', 'yandığında', 'yargıç', 'suçlandığından', 'birlikte', 'öğrendiğinden', 'notları', 'kostüm', 'olabilmek', 'geceler', 'olarak', 'arka', 'gününde', 'ilanı', 'yıl', 'dairesinde', 'boles', 'oynanan', 'polis', 'yönetmeni', 'olgun', 'kalırlar', 'virgieyi', 'durumuna', 'başvurmaya', 'corlaix', 'davranır', 'gilbert', 'mütevazi', 'cesedini', 'futbol', 'üçgeni', 'dışından', 'pişmanlık', 'muameleden', 'devam', 'niyetleri', 'kahramanmış', 'hikayesini', 'morrisonı', 'trafford', 'washingtona', 'jim', 'ancak', 'kanıtlıyor', 'dikkatinden', 'maclaren', 'kendini', 'kabul', 'etmeyi', 'yapmayı', 'prescott', 'çıktığında', 'rahatlar', 'irene', 'bayan', 'billy', 'arkadaşlığını', 'alan', 'evlilik', 'ailesini', 'vahşi', 'hiçbir', 'yaşar', 'biraz', 'şehvetli', 'orada', 'oynuyor', 'lily', 'teğmen', 'yorklu', 'vurur', 'carraway', 'yaklaşma', 'anlarında', 'karşılığında', 'etmenin', 'yapılan', 'sözde', 'farrell', 'çıkar', 'ettiğini', 'shelah', 'gerçekleri', 'day', 'bulacağına', 'amca', 'kitap', 'bilgi', 'memuru', 'ofisine', 'görev', 'götürmeyi', 'julie', 'williams', 'takip', 'girerek', 'planı', 'adamın', 'jigolo', 'plan', 'başkan', 'yediğinin', 'tarafından', 'zorunda', 'aramadan', 'kaçmak', 'görünene', 'amcanın', 'gemi', 'ettiği', 'tekrar', 'pom', 'ayrılır', 'tap', 'haldedir', 'atlı', 'etmesini', 'birlik', 'bıktığı', 'helenee', 'landi', 'koltuklarında', 'izni', 'kapatılır', 'kızın', 'öldürüldüğünde', 'namussuz', 'hayatı', 'kariyerine', 'dennyye', 'kadar', 'carla', 'tapın', 'virgienin', 'seferlerde', 'karıştırılıyor', 'savaş', 'peşinde', 'sırasında', 'kocasının', 'olmasını', 'yerel', 'jimmy', 'yoksul', 'keşfedene', 'akşam', 'metresi', 'dairede', 'atarak', 'çektiğini', 'gelir', 'şarkı', 'gemiden', 'yakınında', 'mantıklı', 'cartera', 'i', 'lk', 'carterdan', 'savaşın', 'askeri', 'çıkıyor', 'meseleleri', 'yetersizlik', 'sevdiği', 'yağmalamaya', 'eski', 'birlikleri', 'ısrar', 'hava', 'istifa', 'batırılır', 'elektrikli', 'dillaway', 'saklandığını', 'dudleynin', 'bozulur', 'rollinsin', 'balosunda', 'içmenin', 'dayden', 'düşünür', 'donanması', 'konusunda', 'karayolu', 'başarır\\\\r\\\\ntabanda', 'eder', 'birini', 'endişe', 'tanıdığı', 'caryye', 'başlar', 'kalan', 'buluşmayı', 'kadın', 'meydan', 'olur', 'morrison', 'görevinden', 'vardır', 'danışman', 'aceleci', 'fazla', 'albay', 'söylemesiyle', 'olduğundan', 'varlıklı', 'kolker', 'yardımcı', 'bow', 'tarzının', 'ihtiyacı', 'tehdit', 'kadını', 'ölüme', 'sağlar\\\\r\\\\ncan', 'bağlıdır', 'araştırır', 'etmeye', 'ikna', 'amerikalı', 'pilotlar', 'uçarı', 'sonunda', 'ağustos', 'henry', 'yerde', 'aşıyor', 'aniden', 'kaybettiğini', 'sert', 'geldiğinde', 'carrawaydir\\\\r\\\\nhelene', 'gittiğinde', 'keşfederek', 'servet', 'istenmeyen', 'askere', 'masum', 'öldürüldü', 'gelinini', 'gelişir', 'sosyetik', 'julie', 'yolunda', 'büyük', 'çekimleri', 'ikisini', 'sonlandırmayı', 'artar', 'terk', 'girişimci', 'lester', 'hapishaneye', 'yeniden', 'ünlü', 'teyzesiyle', 'evli', 'yasadışı', 'kaçar', 'açılıyor', 'paraları', 'blue', 'köleler', 'hamileliği', 'film', 'silahlı', 'geldiğini', 'honoluluda', 'dışarı', 'karısıyla', 'hamile', 'öldüren', 'seçer', 'grahamı', 'olması', 'hizmete', 'çalıştığı', 'endişelenir', 'jones', 'kız', 'çözülmemiş', 'tarneverroyu', 'birlikte', 'yetersiz', 'umuduyla', 'sandalyede', 'kırıklığına', 'hareketiyle', 'ann', 'iyileştirmeye', 'çekmeye', 'virgie', 'mutlu', 'hugh', 'hollywooddan', 'kariyerini', 'carverın', 'söyler', 'çabayı', 'iddia', 'güzel', 'kölesi', 'filo', 'olur', 'popüler', 'ilan', 'monte', 'charles', 'lita', 'dans', 'olur\\\\r\\\\nhonolulu', 'geçirir', 'oradaki', 'ölçüde', 'şeyin', 'adar', 'aile', 'çılgın', 'söylediğini', 'geçtiğini', 'pom', 'döner', 'seldenin', 'gangsterin', 'plantasyonuna', 'leenin', 'müzik', 'mayonun', 'oda', 'mahkum', 'sevgilisi', 'kardeşleri', 'derinden', 'keşfeder\\\\r\\\\ncarter', 'denny', 'dolphin', 'sekreter', 'değerinde', 'geldiğinde', 'bırakır\\\\r\\\\ncarverın', 'etti\\\\r\\\\nhelenee', 'guinn', 'kanıt', 'agatha', 'gelmemesini', 'kardeşinin', 'onunla', 'gerisindeki', 'çapkın', 'morrison', 'andrews', 'parti', 'film', 'torpido', 'bill', 'gelir', 'günah', 'yaşıyor', 'planlar', 'şüphelenen', 'yönetici', 'elissa', 'etmek', 'roland', 'atar', 'olan', 'tap', 'içindedir', 'bir', 'evlenip', 'inanır', 'öldürülmesiyle', 'geri', 'işe', 'vererek', 'iyileşene', 'alanlarda', 'ann', 'şehre', 'partilerin', 'bazen', 'başkanın', 'fotoğraf', 'yapımcısı', 'kazanır\\\\r\\\\nfırtınalı', 'andrews', 'eve', 'kapağı', 'edildiğini', 'süre', 'memuru', 'fark', 'sürdürmek', 'birinci', 'hapishanenin', 'filosuna', 'milyonerlerin', 'aşkından', 'döneceği', 'shirley', 'bağlantıyı', 'katılır', 'tanışır', 'geçiş', 'alice', 'isteyinceye', 'yvonneun', 'fikri', 'önlemek', 'carver', 'yıldızı', 'yalan', 'gelen', 'yan', 'davet', 'cephaneliğe', 'nahoş', 'gün', 'virgie', 'lincolne', 'kocası', 'acı', 'karar', 'öne', 'boyunca', 'eden', 'iyi', 'apartmandaki', 'köle', 'evden', 'girişimlerini', 'edilen', 'üniforması', 'kardeşi', 'courta', 'bölüm', 'sevdirmek', 'savaşında', 'huston', 'gizlice', 'alman', 'donald', 'yemeye', 'birbirini', 'ian', 'uşağıyla', 'uyardığında', 'dikte', 'cary', 'kaldığını', 'bağlılığını', 'marshall', 'istiyor', 'sadece', 'haberiyle', 'büründüğünü', 'şaşırtıcı', 'compson', 'uzlaştırır\\\\r\\\\ncarverın', 'oneil', 'dolandırıcılar', 'sonra', 'olduğunu', 'kırbaçlanmasını', 'aldattığından', 'geçerek', 'içki', 'sr', 'milyoner', 'ziyarette', 'teklifini', 'işlenen', 'sevgisini', 'yine', 'babası', 'tüccar', 'carterın', 'walter', 'odasında', '1', 'karşılıklı', 'graham', 'altıncı', 'olduğu', 'sevdiğini', 'yaşamak', 'bildiği', 'buluşur', 'tanımlar', 'onu', 'lester', 'barney', 'seven', 'ediyor', 'filoyu', 'teklifi', 'hayal', 'reddediyor', 'arkadaşı', 'seldena', 'baskınında', 'derme', 'şekilde', 'neredeyse', 'gerçekten', 'amcayı', 'verir', 'geç', 'grup', 'evlerinde', 'mal', 'öğrenir', 'hakkında', 'katı', 'görünüşte', 'kolejinde', 'ilişkilerinden', 'şık', 'düşmana', 'af', 'playboydur', 'vazgeçer', 'görünmesini', 'lüks', 'peters', 'bulmalarına', 'mollified', 'carlaya', 'dunne', 'saygısını', 'tamamlamayı', 'yönetiliyor', 'blue', 'endişeleniyor', 'kısaca', 'kasaba', 'jaynes', 'eder', 'intihar', 'kişisel', 'toplamak', 'saldırı', 'sonunda', 'görür', 'cary', 'sağlamayı', 'vardığında', 'aziz', 'kısa', 'yvonne', 'korumak', 'karşılaşması', 'bunun', 'kandırılır', 'kutlama', 'carter', 'mollu', 'sanatçısı', 'gelişir', 'hoşlanan', 'telaşlı', 'sadık', 'gecesi', 'lily', 'kendisini', 'savaşında', 'halka', 'affeder', 'sona', 'almak', 'tanıştırmıştı', 'okur', 'ün', 'birçok', 'çıkar', 'karen', 'arkadaşları', 'ortaya', 'filonun', 'carlanın', 'dalga', 'söyleyip', 'çalıştığında', 'geçiyor', 'sonundaki', 'düzeyde', 'balonunu', 'hawaii', 'cinayetle', 'gece', 'annesi', 'beş', 'taşıyla', 'ona', 'acımasızdır', 'nazik', 'çıkarır', 'etkisi', 'ziyarete', 'jack', 'maçında', 'general', 'new', 'teklif', '-', 'tanıştırır', 'ister', 'tanıtım', 'yemin', 'don', 'myrna', 'çatışma', 'eksikliğini', 'bluenun', 'plantasyonun', 'koşulları', 'çalışmaya', 'polisi', 'kimliğine', 'hala', 'gizli', 'derin', 'gider', 'koyuyor\\\\r\\\\nşüpheliler', 'komutanı', 'mantıklı', 'yemeği', 'öğleden', 'dünya', 'ziyaret', 'sınıf', 'cynthia', 'pilotun', 'eder\\\\r\\\\nbir', 'ölü', 'vakit', 'gün', 'öğrendiğinde', 'acımasız', 'subayları', 'kulübesine', 'kötü', 'ilk', 'sosyal', 'dair', 'kaybeder', 'konfederasyon', 'bruce', 'erkek', 'intihara', 'bart', 'eşi', 'hapishanesinde', 'boşa', 'erdeminden', 'arasında', 'affettiği', 'kardeşine', 'önce', 'erer', 'açık', 'başlar', 'yerine', 'helenei', 'emreder', 'yaprakları', 'kadar', 'telsizden', 'sumtera', 'sorumlu', 'bununla', 'cinayetinden', 'üzere', 'vurmak', 'john', 'göreve', 'arzusunu', 'boyda', 'vermesine', 'çıktığında', 'betty', 'eleştirir', 'lee', 'finansal', 'olur', 'holt', 'william', 'katili', 'peters']\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "[nltk_data] Downloading package stopwords to /root/nltk_data...\n",
            "[nltk_data]   Package stopwords is already up-to-date!\n",
            "[nltk_data] Downloading package punkt to /root/nltk_data...\n",
            "[nltk_data]   Package punkt is already up-to-date!\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Veri Kümemizde de işlemler yapmamız gerekiyor. Önce simgeleştirme yapmak için bir fonksiyon yazıp veri iskeletinde 'olay dizisi' sütununda yer alan film özetlerimizi kelime kelime ayırıyoruz."
      ],
      "metadata": {
        "id": "13vKVnslUDWJ"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "def simgelestir(sutun):\n",
        "  simgelesitirilmisSutundakiler = kelimeSimgelestirmeNesnesi.tokenize(sutun)\n",
        "  return list(set([w.lower() for w in simgelesitirilmisSutundakiler if w.isalpha()]))"
      ],
      "metadata": {
        "id": "ACpsAEdwmDMO"
      },
      "execution_count": 27,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "df['simgelestirilmis'] = df.apply(lambda x: simgelestir(x['Olay Dizisi']), axis=1)\n",
        "df[['Orijinal İsmi', 'simgelestirilmis']].head(5)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 206
        },
        "id": "SnEvPpoWsSFH",
        "outputId": "3cce9a6d-3df4-49fc-bc00-13cfb9ba5754"
      },
      "execution_count": 28,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                      Orijinal İsmi  \\\n",
              "0            Kansas Saloon Smashers   \n",
              "1     Love by the Light of the Moon   \n",
              "2           The Martyred Presidents   \n",
              "3  Terrible Teddy, the Grizzly King   \n",
              "4            Jack and the Beanstalk   \n",
              "\n",
              "                                    simgelestirilmis  \n",
              "0  [müşterilere, barmen, yazar, aynaları, birayla...  \n",
              "1  [ettiği, havalandırır, yanından, sonra, kaşlar...  \n",
              "2  [uzun, biri, kurbanı, mezarın, görüntüleme, wi...  \n",
              "3  [atış, çekime, notlar, sadece, bıçaklamaya, ad...  \n",
              "4  [güvenli, kralın, fasulyeler, tepeye, bilinen,...  "
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-0afff737-f3a2-4d47-95b3-14a5ccbe93a5\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>Orijinal İsmi</th>\n",
              "      <th>simgelestirilmis</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>Kansas Saloon Smashers</td>\n",
              "      <td>[müşterilere, barmen, yazar, aynaları, birayla...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>Love by the Light of the Moon</td>\n",
              "      <td>[ettiği, havalandırır, yanından, sonra, kaşlar...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>The Martyred Presidents</td>\n",
              "      <td>[uzun, biri, kurbanı, mezarın, görüntüleme, wi...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>Terrible Teddy, the Grizzly King</td>\n",
              "      <td>[atış, çekime, notlar, sadece, bıçaklamaya, ad...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>Jack and the Beanstalk</td>\n",
              "      <td>[güvenli, kralın, fasulyeler, tepeye, bilinen,...</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-0afff737-f3a2-4d47-95b3-14a5ccbe93a5')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-0afff737-f3a2-4d47-95b3-14a5ccbe93a5 button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-0afff737-f3a2-4d47-95b3-14a5ccbe93a5');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ]
          },
          "metadata": {},
          "execution_count": 28
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Veri Kümemizde işlemlere devam ediyoruz. Simgeleştirme yaptıktan sonra gereksiz kelimeleri ayıklamak için bir fonksiyon yazıp veri iskeletinde 'olay dizisi' sütununda yer alan film özetlerimizi kelime kelime ayıklıyoruz."
      ],
      "metadata": {
        "id": "Zy19bCi6UaAx"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "import nltk\n",
        "nltk.download('stopwords')\n",
        "def remove_stopwords(simgelestirilmisSutun):\n",
        "  from nltk.corpus import stopwords\n",
        "  stops = set(stopwords.words(\"turkish\"))\n",
        "  return [word for word in simgelestirilmisSutun if not word in stops]"
      ],
      "metadata": {
        "id": "fBpIz8vZ1egD",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "37bb5d92-35bb-4b8d-e81e-3e49c9dfa935"
      },
      "execution_count": 29,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "[nltk_data] Downloading package stopwords to /root/nltk_data...\n",
            "[nltk_data]   Package stopwords is already up-to-date!\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "df['sadelestirilmis'] = df.apply(lambda x: remove_stopwords(x['simgelestirilmis']), axis=1)\n",
        "df[['Orijinal İsmi', 'sadelestirilmis']].head()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 206
        },
        "id": "jhDL_Xsw1wto",
        "outputId": "8834f07a-0327-4a9a-89df-811684fbe583"
      },
      "execution_count": 30,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                      Orijinal İsmi  \\\n",
              "0            Kansas Saloon Smashers   \n",
              "1     Love by the Light of the Moon   \n",
              "2           The Martyred Presidents   \n",
              "3  Terrible Teddy, the Grizzly King   \n",
              "4            Jack and the Beanstalk   \n",
              "\n",
              "                                     sadelestirilmis  \n",
              "0  [müşterilere, barmen, yazar, aynaları, birayla...  \n",
              "1  [ettiği, havalandırır, yanından, sonra, kaşlar...  \n",
              "2  [uzun, kurbanı, mezarın, görüntüleme, william,...  \n",
              "3  [atış, çekime, notlar, sadece, bıçaklamaya, ad...  \n",
              "4  [güvenli, kralın, fasulyeler, tepeye, bilinen,...  "
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-f95933d5-2178-441c-aba9-c4e7e8176b99\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>Orijinal İsmi</th>\n",
              "      <th>sadelestirilmis</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>Kansas Saloon Smashers</td>\n",
              "      <td>[müşterilere, barmen, yazar, aynaları, birayla...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>Love by the Light of the Moon</td>\n",
              "      <td>[ettiği, havalandırır, yanından, sonra, kaşlar...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>The Martyred Presidents</td>\n",
              "      <td>[uzun, kurbanı, mezarın, görüntüleme, william,...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>Terrible Teddy, the Grizzly King</td>\n",
              "      <td>[atış, çekime, notlar, sadece, bıçaklamaya, ad...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>Jack and the Beanstalk</td>\n",
              "      <td>[güvenli, kralın, fasulyeler, tepeye, bilinen,...</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-f95933d5-2178-441c-aba9-c4e7e8176b99')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-f95933d5-2178-441c-aba9-c4e7e8176b99 button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-f95933d5-2178-441c-aba9-c4e7e8176b99');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ]
          },
          "metadata": {},
          "execution_count": 30
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Veri ön / hazırlık işlemlerimize devam ediyoruz. Kelimelerin özünü / kökünü bulmak için için bir fonksiyon yazıp veri iskeletinde 'olay dizisi' sütununda yer alan film özetlerimizin simgeleştirilmiş ve ayıklanmış kelimelerinin özünü buluyoruz."
      ],
      "metadata": {
        "id": "2XpY3hjfUq05"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from zemberek import TurkishMorphology\n",
        "ozBulucu = TurkishMorphology.create_with_defaults()\n",
        "\n",
        "def ozunuBuldur(simgelestirilmisSutun):\n",
        "  # Zemberek ile deniyoruz\n",
        "  sonucListesi = []\n",
        "  for kelime in simgelestirilmisSutun:\n",
        "    kelime = str(ozBulucu.analyze(kelime)).lower()\n",
        "    kelime = kelime[kelime.find('analysisresults=[')+17:kelime.find(':')]\n",
        "    sonucListesi.append(kelime)\n",
        "  return sonucListesi"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "aVcseraC8DOB",
        "outputId": "dec9fdc0-5a8f-48bc-93a3-c899b1270356"
      },
      "execution_count": 31,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "INFO:zemberek.morphology.turkish_morphology:TurkishMorphology instance initialized in 12.01544451713562\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "2022-08-18 15:55:49,330 - zemberek.morphology.turkish_morphology - INFO\n",
            "Msg: TurkishMorphology instance initialized in 12.01544451713562\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Basit bir girdi ile fonksiyonumuzu test ediyoruz."
      ],
      "metadata": {
        "id": "Qt5F4w9SWQJQ"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "print(ozunuBuldur(gereksizKelimelerCikarilmisArananFilmOzeti))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "PS76AXXB66-8",
        "outputId": "7a6673e0-7cf3-478b-f01b-e6d6f99d2338"
      },
      "execution_count": 32,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['yetim', 'henüz', \"ut='ifşaatlardan', normalizedinput='ifşaatlardan', analysisresults=\", 'kraliyet', 'iyi', 'boyd', 'koca', \"ut='tarneverro', normalizedinput='tarneverro', analysisresults=\", 'aramak', \"ut='yvonnedan', normalizedinput='yvonnedan', analysisresults=\", 'küçük', 'temkin', 'para', 'von', 'dixie', 'dedektif', 'perişan', 'çağırmak', 'anlamak', 'komplo', 'ada', 'döner', 'plantasyon', 'etmek', 'carver', 'emretmek', 'ilgilenmek', 'saklanmak', 'misafir', 'tartışmak', 'keith', 'sapan', 'yaşam', 'helen', \"ut='admiralty', normalizedinput='admiralty', analysisresults=\", 'hile', 'ev', 'tanık', 'watson', 'yaşamak', 'iki', 'birlik', 'alınmak', 'dolayı', 'salon', 'uçmak', 'yapmak', 'başka', 'âşık', 'polly', 'düşman', 'gemi', 'vazgeçmek', 'aramak', 'ciddi', \"ut='litadan', normalizedinput='litadan', analysisresults=\", 'okul', \"ut='carvera', normalizedinput='carvera', analysisresults=\", 'yvonne', 'şans', 'kont', 'otomobil', 'fransız', 'kalmak', \"ut='wolly', normalizedinput='wolly', analysisresults=\", 'yakın', 'zevk', 'yatak', 'hissetmek', 'yazar', \"ut='tarneverro', normalizedinput='tarneverro', analysisresults=\", 'sonra', 'kadın', 'ofis', \"ut='litanın', normalizedinput='litanın', analysisresults=\", 'samimiyet', 'dikkat', 'karı', 'samimî', 'anlaşılan', 'hâl', 'bradshaw', 'fischer', 'daye', 'uğramak', 'pozisyon', 'değil', 'reddetmek', 'satmak', 'değişmek', 'kruvazör', 'casus', 'çıkarma', 'carter', 'olmak', 'carter', 'uşak', 'baba', 'çatmak', 'çok', 'planlamak', 'mistik', \"ut='dopenthal', normalizedinput='dopenthal', analysisresults=\", 'kaçmak', 'yazık', 'inanmak', 'gangster', 'direnmek', 'sonuç', 'içinde', 'cabot', 'getirmek', 'kamara', 'yanında', 'disiplin', \"ut='edilir\\\\r\\\\ni', normalizedinput='edilir\\\\r\\\\ni', analysisresults=\", \"ut='kisi', normalizedinput='kisi', analysisresults=\", 'kurtarmak', 'hat', 'birliktelik', 'sıra', 'kız', 'araba', 'fikir', 'çekmek', 'evlenmek', 'ayrılmak', 'çakılmak', 'subay', 'dudley', 'öğrenci', 'clara', 'hat', 'zengin', 'o', 'gelmek', 'his', 'ölüm', 'iş', 'düşünmek', 'anlamak', 'balo', \"ut='litanın', normalizedinput='litanın', analysisresults=\", 'şarkı', 'karakter', 'ev', 'dul', 'davranmak', 'gizlemek', 'üstlenmek', 'fort', 'ev', 'göndermek', 'dinlemek', 'day', 'içinde', \"ut='mcglynn', normalizedinput='mcglynn', analysisresults=\", 'olmak', 'kazanmak', 'gerçek', 'giriş', 'olmak', 'kardeş', 'richmond', 'sonuç', 'almak', 'izci', 'carl', 'üzülmek', 'düzenlemek', \"ut='bahseder\\\\r\\\\nsonra', normalizedinput='bahseder\\\\r\\\\nsonra', analysisresults=\", 'gece', 'yıllamak', 'etmek', 'onmak', 'jimmy', 'kısıt', 'çalışmak', \"ut='lela', normalizedinput='lela', analysisresults=\", 'pes', \"ut='carterı', normalizedinput='carterı', analysisresults=\", 'görev', 'son', 'ölüm', 'öğrenmek', 'koca', 'acımasız', 'karşı', 'sonuçlanmak', 'performans', 'jim', \"ut='fayne', normalizedinput='fayne', analysisresults=\", \"ut='loy', normalizedinput='loy', analysisresults=\", 'frank', 'tek', 'haber', 'suçlamak', \"ut='dayin', normalizedinput='dayin', analysisresults=\", 'olmak', 'üzerinde', 'sahne', 'ta', 'yolmak', 'ora', 'beri', 'karı', \"ut='lincolnün', normalizedinput='lincolnün', analysisresults=\", 'hızla', 'olmak', 'doğu', 'yönelik', 'yaramaz', 'muharebe', 'doodle', 'bırakmak', 'çiftlik', 'görmek', 'yüzük', 'değerlendirmek', 'watson', 'hastalanmak', 'tarz', 'düşünce', 'kuvvet', 'lila', 'taciz', 'medenî', 'çavuş', 'atletik', 'amaç', 'mal', 'chan', 'getirmek', 'etmek', 'oynamak', 'medyum', 'geçirmek', 'temple', 'morley', '1914', 'koll', 'arkadaş', 'tehlike', 'bilgi', 'aşk', 'bulmak', 'bu', 'ordu', 'kendi', 'etmek', 'haf', 'ahlaki', 'getirmek', 'tanışmak', 'zafer', 'müfettiş', 'lawrence', 'iş', 'başta', 'reddetmek', 'humphrey', 'yeni', 'sığınmak', 'aşk', 'şehir', 'büyülemek', 'robinson', 'ağır', 'tak', 'yüz', 'katılmak', 'dikkat', \"ut='shelahın', normalizedinput='shelahın', analysisresults=\", \"ut='i', normalizedinput='i', analysisresults=\", \"ut='stihdama', normalizedinput='stihdama', analysisresults=\", \"ut='dartelle', normalizedinput='dartelle', analysisresults=\", 'sessiz', 'yankee', 'tutuk', 'helen', 'vazgeçmek', 'bulmak', ';', 'bogart', 'uçurmak', 'etmek', 'yarmak', 'çeşitli', 'iki', 'emretmek', 'etmek', 'bataklık', \"ut='dartelle', normalizedinput='dartelle', analysisresults=\", 'johnson', 'uçak', \"ut='maritza', normalizedinput='maritza', analysisresults=\", \"ut='üzülür\\\\r\\\\ncarter', normalizedinput='üzülür\\\\r\\\\ncarter', analysisresults=\", 'götürmek', 'varmak', 'wayne', 'kaçınmak', \"ut='vickersı', normalizedinput='vickersı', analysisresults=\", 'eser', 'evlenmek', 'başlamak', 'yıldız', \"ut='corlaix', normalizedinput='corlaix', analysisresults=\", 'etmek', 'arazi', 'yandık', 'yargıç', 'suçlamak', 'birlikte', 'öğrenmek', 'not', 'kostüm', 'olmak', 'gecelemek', 'olmak', 'arka', 'gün', 'ilân', 'yılmak', 'daire', \"ut='boles', normalizedinput='boles', analysisresults=\", 'oynamak', 'polis', 'yönetmen', 'olgun', 'kalmak', \"ut='virgieyi', normalizedinput='virgieyi', analysisresults=\", 'durum', 'başvurmak', \"ut='corlaix', normalizedinput='corlaix', analysisresults=\", 'davranmak', 'gilbert', 'mütevazi', 'ceset', 'futbol', 'üçgen', 'dış', 'pişman', 'muamele', 'devam', 'niyet', 'kahraman', 'hikâye', \"ut='morrisonı', normalizedinput='morrisonı', analysisresults=\", 'trafford', 'washington', 'jim', 'ancak', 'kanıtlamak', 'dikkat', 'maclaren', 'kendi', 'kabul', 'etmek', 'yapmak', 'prescott', 'çıkmak', 'rahatlamak', 'i̇ren', 'bayan', 'billy', 'arkadaş', 'almak', 'evlilik', 'aile', 'vahşî', 'hiçbir', 'yaşamak', 'biraz', 'şehvet', 'ora', 'oynamak', 'lily', 'teğmen', 'york', 'vurmak', \"ut='carraway', normalizedinput='carraway', analysisresults=\", 'yaklaşmak', 'an', 'karşılık', 'etmen', 'yapılanmak', 'sözde', 'farrell', 'çıkmak', 'etmek', \"ut='shelah', normalizedinput='shelah', analysisresults=\", 'gerçek', 'day', 'bulmak', 'amca', 'kitap', 'bilgi', 'memur', 'ofis', 'görev', 'götürmek', 'julie', 'williams', 'takip', 'girmek', 'plan', 'ada', 'jigolo', 'plan', 'başkan', 'yemek', 'tarafından', 'zor', 'aramak', 'kaçmak', 'görünmek', 'amca', 'ge', 'etmek', 'tekrar', \"ut='pom', normalizedinput='pom', analysisresults=\", 'ayrılmak', 'tapmak', 'hal', 'at', 'etmek', 'birlik', 'bıkmak', \"ut='helenee', normalizedinput='helenee', analysisresults=\", 'landi', 'koltuk', 'izin', 'kapatmak', 'kızmak', 'öldürmek', 'namus', 'hayat', 'kariyer', \"ut='dennyye', normalizedinput='dennyye', analysisresults=\", 'kadar', 'carlamak', 'tapmak', \"ut='virgienin', normalizedinput='virgienin', analysisresults=\", 'sefer', 'karışmak', 'savaş', 'peş', 'sırasında', 'koca', 'olmak', 'yerel', 'jimmy', 'yoksul', 'keşfetmek', 'akşam', 'metre', 'daire', 'atmak', 'çekmek', 'gelmek', 'şark', 'gemi', 'yakın', 'mantık', \"ut='cartera', normalizedinput='cartera', analysisresults=\", \"ut='i', normalizedinput='i', analysisresults=\", \"ut='lk', normalizedinput='lk', analysisresults=\", \"ut='carterdan', normalizedinput='carterdan', analysisresults=\", 'savaş', 'askerî', 'çıkmak', 'mesele', 'yetersiz', 'sevmek', 'yağmalamak', 'eski', 'birlik', 'ısrar', 'hava', 'istifa', 'batırmak', 'elektrik', \"ut='dillaway', normalizedinput='dillaway', analysisresults=\", 'saklanmak', \"ut='dudleynin', normalizedinput='dudleynin', analysisresults=\", 'bozulmak', 'rollins', 'balo', 'içmek', \"ut='dayden', normalizedinput='dayden', analysisresults=\", 'düşünmek', 'donanmak', 'konu', 'karayolu', \"ut='başarır\\\\r\\\\ntabanda', normalizedinput='başarır\\\\r\\\\ntabanda', analysisresults=\", 'etmek', 'biri', 'endişe', 'tanımak', \"ut='caryye', normalizedinput='caryye', analysisresults=\", 'başlamak', 'kalmak', 'buluşmak', 'kadın', 'meydan', 'olur', 'morrison', 'görev', 'varmak', 'danışman', 'aceleci', 'fazla', 'albay', 'söylemek', 'olmak', 'varlık', \"ut='kolker', normalizedinput='kolker', analysisresults=\", 'yardımcı', \"ut='bow', normalizedinput='bow', analysisresults=\", 'tarz', 'ihtiyaç', 'tehdit', 'kadı', 'ölü', \"ut='sağlar\\\\r\\\\ncan', normalizedinput='sağlar\\\\r\\\\ncan', analysisresults=\", 'bağ', 'araştırmak', 'etmek', 'ikna', 'amerika', 'pilot', 'uçarı', 'sonunda', 'ağustos', 'henry', 'yer', 'aşmak', 'aniden', 'kaybetmek', 'sert', 'gelmek', \"ut='carrawaydir\\\\r\\\\nhelene', normalizedinput='carrawaydir\\\\r\\\\nhelene', analysisresults=\", 'gitmek', 'keşfetmek', 'servet', 'istemek', 'asker', 'masum', 'öldürmek', 'gelin', 'gelişmek', 'sosyetik', 'julie', 'yol', 'büyük', 'çekim', 'iki', 'sonlanmak', 'artmak', 'terk', 'girişim', 'lester', 'hapishane', 'yeniden', 'ün', 'teyze', 'evli', 'yasadışı', 'kaçar', 'açılamak', 'para', 'blue', 'köle', 'hamile', 'film', 'silâh', 'gelmek', 'honolulu', 'dışarı', 'karı', 'hamile', 'öldürmek', 'seçmek', 'graham', 'olmak', 'hizmet', 'çalışmak', 'endişelenmek', 'jones', 'kız', 'çözmek', \"ut='tarneverroyu', normalizedinput='tarneverroyu', analysisresults=\", 'birlikte', 'yetersiz', 'umut', 'sandalye', 'kırık', 'hareket', 'ann', 'iyi', 'çekmek', \"ut='virgie', normalizedinput='virgie', analysisresults=\", 'mutlu', 'hugh', 'hollywood', 'kariyer', \"ut='carverın', normalizedinput='carverın', analysisresults=\", 'söylemek', 'çaba', 'iddia', 'güzel', 'köle', 'filo', 'olur', 'popüler', 'ilân', 'monte', 'charles', \"ut='lita', normalizedinput='lita', analysisresults=\", 'dans', \"ut='olur\\\\r\\\\nhonolulu', normalizedinput='olur\\\\r\\\\nhonolulu', analysisresults=\", 'geçirmek', 'ora', 'ölçü', 'şey', 'adamak', 'aile', 'çılgın', 'söylemek', 'geçmek', \"ut='pom', normalizedinput='pom', analysisresults=\", 'döner', \"ut='seldenin', normalizedinput='seldenin', analysisresults=\", 'gangster', 'plantasyon', 'lee', 'müzik', 'mayo', 'od', 'mahkûm', 'sevgili', 'kardeş', 'derinden', \"ut='keşfeder\\\\r\\\\ncarter', normalizedinput='keşfeder\\\\r\\\\ncarter', analysisresults=\", 'denny', 'dolphin', 'sekreter', 'değer', 'gelmek', \"ut='bırakır\\\\r\\\\ncarverın', normalizedinput='bırakır\\\\r\\\\ncarverın', analysisresults=\", \"ut='etti\\\\r\\\\nhelenee', normalizedinput='etti\\\\r\\\\nhelenee', analysisresults=\", \"ut='guinn', normalizedinput='guinn', analysisresults=\", 'kanıt', 'agatha', 'gelmek', 'kardeş', 'o', 'geri', 'çapkın', 'morrison', 'andrews', 'parti', 'film', 'torpido', 'bill', 'gelmek', 'günah', 'yaşamak', 'planlamak', 'şüphelenmek', 'yönetmek', \"ut='elissa', normalizedinput='elissa', analysisresults=\", 'etmek', 'roland', 'atmak', 'olmak', 'tapmak', 'iç', 'bir', 'evlenmek', 'inanmak', 'öldürmek', 'geri', 'işemek', 'vermek', 'iyi', 'alan', 'ann', 'şehir', 'parti', 'bazen', 'başkan', 'fotoğraf', 'yapım', \"ut='kazanır\\\\r\\\\nfırtınalı', normalizedinput='kazanır\\\\r\\\\nfırtınalı', analysisresults=\", 'andrews', 'ev', 'kapak', 'etmek', 'sürmek', 'memur', 'fark', 'sürdürmek', 'birinci', 'hapishane', 'filo', 'milyoner', 'aşk', 'dönmek', 'shirley', 'bağlantı', 'katılmak', 'tanışmak', 'geçişmek', 'ali', 'istemek', \"ut='yvonneun', normalizedinput='yvonneun', analysisresults=\", 'fikrî', 'önlemek', 'carver', 'yıldız', 'yalan', 'gelen', 'yan', 'davet', 'cephane', 'nahoş', 'gün', \"ut='virgie', normalizedinput='virgie', analysisresults=\", 'lincolne', 'koca', 'acı', 'karmak', 'önemek', 'boyunca', 'etmek', 'iyi', 'apartman', 'köle', 'ev', 'girişim', 'etmek', 'üniforma', 'kardeş', 'court', 'bölü', 'sevmek', 'savaş', 'huston', 'gizli', 'alman', 'donald', 'yemek', 'birbiri', \"ut='ian', normalizedinput='ian', analysisresults=\", 'uşak', 'uyarmak', 'dikte', 'cary', 'kalmak', 'bağ', 'marshall', 'istemek', 'sadece', 'haber', 'bürünmek', 'şaşırmak', \"ut='compson', normalizedinput='compson', analysisresults=\", \"ut='uzlaştırır\\\\r\\\\ncarverın', normalizedinput='uzlaştırır\\\\r\\\\ncarverın', analysisresults=\", 'oneil', 'dolandırıcı', 'sonra', 'olmak', 'kırbaçlamak', 'aldatmak', 'geçmek', 'içki', 'sr', 'milyoner', 'ziyaret', 'teklif', 'işlemek', 'sevgi', 'yine', 'baba', 'tüccar', \"ut='carterın', normalizedinput='carterın', analysisresults=\", 'walter', 'oda', '1', 'karşılık', 'graham', 'altıncı', 'olmak', 'sevmek', 'yaşamak', 'bilmek', 'buluşmak', 'tanımlamak', 'o', 'lester', 'barney', 'sevmek', 'etmek', 'filo', 'teklif', 'hayal', 'reddetmek', 'arkadaş', \"ut='seldena', normalizedinput='seldena', analysisresults=\", 'baskın', 'dermek', 'şekil', 'neredeyse', 'gerçekten', 'amca', 'vermek', 'geç', 'grup', 'ev', 'mal', 'öğrenmek', 'hakkında', 'katı', 'görünüşte', 'kolej', 'ilişki', 'şık', 'düşman', 'af', 'playboy', 'vazgeçmek', 'görünmek', 'lüks', 'peters', 'bulmak', \"ut='mollified', normalizedinput='mollified', analysisresults=\", 'carlamak', 'dunne', 'saygı', 'tamamlamak', 'yönetmek', 'blue', 'endişelenmek', 'kısa', 'kasap', \"ut='jaynes', normalizedinput='jaynes', analysisresults=\", 'etmek', 'intihar', 'kişisel', 'toplamak', 'saldırı', 'sonunda', 'görmek', 'cary', 'sağlamak', 'varmak', 'aziz', 'kısa', 'yvonne', 'korumak', 'karşı', 'bu', 'kandırmak', 'kutlamak', 'carter', \"ut='mollu', normalizedinput='mollu', analysisresults=\", 'sanat', 'gelişmek', 'hoşlanmak', 'telâş', 'sadık', 'gece', 'lily', 'kendi', 'savaş', 'halka', 'affetmek', 'son', 'almak', 'tanışmak', 'okumak', 'ün', 'birçok', 'çıkmak', 'kare', 'arkadaş', 'orta', 'filo', 'carlamak', 'dalga', 'söylemek', 'çalışmak', 'geçmek', 'son', 'düzey', 'balon', 'hawaii', 'cinayet', 'gece', 'anne', 'beş', 'taş', 'onmak', 'acımasız', 'nazik', 'çıkarmak', 'etki', 'ziyaret', 'jack', 'maç', 'general', 'new', 'teklif', '-', 'tanışmak', 'ister', 'tanıt', 'yem', 'donmak', \"ut='myrna', normalizedinput='myrna', analysisresults=\", 'çatışmak', 'eksik', \"ut='bluenun', normalizedinput='bluenun', analysisresults=\", 'plantasyon', 'koşul', 'çalışmak', 'poli', 'kimlik', 'hâlâ', 'gizli', 'derin', 'gitmek', \"ut='koyuyor\\\\r\\\\nşüpheliler', normalizedinput='koyuyor\\\\r\\\\nşüpheliler', analysisresults=\", 'komuta', 'mantık', 'yemek', 'öğle', 'dünya', 'ziyaret', 'sınıf', 'cynthia', 'pilot', \"ut='eder\\\\r\\\\nbir', normalizedinput='eder\\\\r\\\\nbir', analysisresults=\", 'ölü', 'vakit', 'gün', 'öğrenmek', 'acımasız', 'subay', 'kulübe', 'kötü', 'ilk', 'sosyal', 'dair', 'kaybetmek', 'konfederasyon', 'bruce', 'erkek', 'intihar', 'bart', 'eş', 'hapishane', 'boşamak', 'erdem', 'ara', 'affetmek', 'kardeş', 'önce', 'ermek', 'açık', 'başlamak', 'yerine', \"ut='helenei', normalizedinput='helenei', analysisresults=\", 'emretmek', 'yaprak', 'kadar', 'telsiz', \"ut='sumtera', normalizedinput='sumtera', analysisresults=\", 'sorumlu', 'bu', 'cinayet', 'üzere', 'vurmak', 'john', 'görev', 'arzu', 'boy', 'vermek', 'çıkmak', 'betty', 'eleştirmek', 'lee', 'finansal', 'olur', 'holt', 'william', 'katil', 'peters']\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Türkçe özünü bulma (stemmig) işlemi Google Colab Standart hesabı ile yaklaşık 6 dakika sürüyor. Google Colab Pro hesabı ile yüksek RAM (35.24 GB) ve TPU kullanarak süre 5 dakikaya düşüyor.\n",
        "\n",
        "**ÖNEMLİ BULGU:**\n",
        "\n",
        "NLTK Stemming Tool ile TurkishStemmer arasında 100000 civarında kelime oynuyor."
      ],
      "metadata": {
        "id": "wYbISgpRv4O1"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Yine daha büyük ama basit bir girdiyle daha fonksiyonumuzu test ediyoruz."
      ],
      "metadata": {
        "id": "gIrBi4o8WYki"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "print(df['sadelestirilmis'][0])\n",
        "print(ozunuBuldur(df['sadelestirilmis'][0]))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "TkzZRyXVUKIT",
        "outputId": "744578f8-e053-4dbc-e730-27478a26d2c3"
      },
      "execution_count": 33,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['müşterilere', 'barmen', 'yazar', 'aynaları', 'birayla', 'kovasını', 'doldurduktan', 'sonra', 'nation', 'basmakalıp', 'içeri', 'şapkasını', 'grup', 'takipçileri', 'gitmesini', 'yüzüne', 'ortaya', 'maden', 'içki', 'polis', 'demirbaşları', 'birayı', 'barı', 'kafasına', 'servisi', 'önce', 'saldırdılar', 'gözlerine', 'ardından', 'mahvetmeye', 'püskürtür', 'çektiler', 'suyu', 'kasayı', 'kırmaya', 'çıkmadan', 'adamın', 'herkesin', 'adama', 'i̇rlandalı', 'bir', 'carrie', 'çalışıyor', 'salonda']\n",
            "['müşteri', 'barmen', 'yazar', 'ayna', 'bira', 'kova', 'doldurmak', 'sonra', 'nation', 'basmakalıp', 'içeri', 'şapka', 'grup', 'takip', 'gitmek', 'yüz', 'orta', 'maden', 'içki', 'polis', 'demirbaş', 'bira', 'bar', 'kafa', 'servi', 'önce', 'saldırmak', 'göz', 'ardından', 'mahvetmek', 'püskürmek', 'çekmek', 'su', 'kasa', 'kırmak', 'çıkmak', 'ada', 'herkes', 'adamak', \"ut='i̇rlandalı', normalizedinput='i̇rlandalı', analysisresults=\", 'bir', 'carrie', 'çalışmak', 'salon']\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Yeterince test yaptığımızı düşünerek ve fonksiyonumuzun istediğimiz gibi çalıştığından emin olarak veri kümemizdeki son ön / hazırlık işlemimize başlıyoruz. Veri iskeletinde 'olay dizisi' sütununda yer alan film özetlerimizin içindeki kelimelerin özünü buluyoruz. Başka bir değişle, limonatanın şekerini, suyunu ve nanesini alıp saf limon haline dönüştürüyoruz. \n",
        "\n",
        "**MOTTO:** Biz limonataya limonata demeyiz içindeki limon tadı belli olmayınca ;)"
      ],
      "metadata": {
        "id": "aH1d9AjfWe7X"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "df['ozunuBulmus'] = df.apply(lambda x: ozunuBuldur(x['sadelestirilmis']), axis=1)\n",
        "df[['Orijinal İsmi', 'ozunuBulmus']].head()"
      ],
      "metadata": {
        "id": "vCsMsOhO2INh"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "ZEMBEREK fonksiyonumuzda kural bazlıayıklama sistemimizin 3. satırdaki **portal** olarak bulması gereken yere **ut='portalı', normalizedinput='portalı', analysisresults=,** verisini yazdığını görünce kuralımızda istisna yakaladığımızı fark ediyor ama yarışma zamanımıza ve ZEMBEREK'in işlem süresinin 3 saat aldığına bakarak mevcut hali ile devam ediyoruz."
      ],
      "metadata": {
        "id": "H1r0uxt3XMe3"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "AMA yapabileceğimiz akıllıca dokunuş ile istisnayı dışarıdan değiştirmemizin çaresini pas geçmiyoruz."
      ],
      "metadata": {
        "id": "4i1ccgAnXyoo"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "def istisnalariDuzelt(istisnaliVeri):\n",
        "  sonucListesi = []\n",
        "  kelimeler = str(istisnaliVeri.lower())\n",
        "  kelimeler = kelimeler.split(',')\n",
        "  for kelime in kelimeler:\n",
        "    if 'ut=' in kelime:\n",
        "      sonucListesi.append(kelime[3:-1])\n",
        "    elif \"'\" in kelime:\n",
        "      sonucListesi.append(kelime[15:-1])\n",
        "    elif 'normalizedinput=' in kelime:\n",
        "      sonucListesi.append(kelime[17:-1])\n",
        "    elif 'nput=' in kelime:\n",
        "      sonucListesi.append(kelime[18:-1])\n",
        "    elif 'analysisresults=' in kelime:\n",
        "      pass\n",
        "    else:\n",
        "      sonucListesi.append(kelime)\n",
        "  sonucListesi = list(set(sonucListesi))\n",
        "  return sonucListesi"
      ],
      "metadata": {
        "id": "ZNvz810mX7SG"
      },
      "execution_count": 35,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "İstisnai durumları basit bir girdi ile test ediyoruz."
      ],
      "metadata": {
        "id": "cJB5cwrdYr3g"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "print(istisnalariDuzelt(\"uzun,ut='portalı', normalizedinput='portalı', analysisresults=,üç,garfield,sekiz,olmak,yermek,saniye,sermek,iki,suikast,james,ayak,dip,william,çek,lincoln,oturmak,portre,biraz,başkan,mezar,suikast,sürmek,ut='i̇lkinde', normalizedinput='i̇lkinde', analysisresults=,kız,orta,ikinci,sunak,adalet,kurban,abd,atmak,görüntülemek,dakika,kamera,bir,yüz,film\"))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "2xZdMxA3YxnX",
        "outputId": "15210c3a-ed19-4bf5-f0fc-ed2fdd64d4bf"
      },
      "execution_count": 36,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['uzun', 'orta', 'kurban', 'çek', 'yüz', \"'i̇lkinde\", 'william', 'sürmek', 'atmak', 'üç', 'yermek', 'oturmak', 'abd', 'biraz', 'ayak', 'mezar', 'kamera', 'dip', \"rmalizedinput='i̇lkinde\", 'suikast', 'garfield', 'iki', 'adalet', 'sermek', 'film', 'görüntülemek', 'sekiz', 'sunak', 'olmak', \"'portalı\", 'dakika', 'kız', 'başkan', 'ikinci', 'saniye', 'bir', \"rmalizedinput='portalı\", 'lincoln', 'portre', 'james']\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Hala kabuledilebilir düzeyde hata / istisna olduğunu görüyoruz ama artık ilerliyoruz ve 'ozunuBulmus' alanındaki istisnaları kabuledilebilir hata bırakacak şekilde düzeltiyoruz."
      ],
      "metadata": {
        "id": "uaXrg3qscrBB"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "def kelimeleriBirlestir(simgelestirilmisSutun):\n",
        "  simgelestirilmisSutun = list(set(simgelestirilmisSutun))\n",
        "  return (' '.join(simgelestirilmisSutun))"
      ],
      "metadata": {
        "id": "yUtxKG4k2lwi"
      },
      "execution_count": 38,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "df.info(verbose=True)"
      ],
      "metadata": {
        "id": "QdG4fbnpAWy3"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "df = df.drop(columns=['simgelestirilmis','sadelestirilmis','ozunuBulmus','Olay Dizisi'])\n",
        "df.info(verbose=True)"
      ],
      "metadata": {
        "id": "CmjQtzgU32wI"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Arama yapmadan önce gerekli TF / IDF matrisini (dizey) oluşturalım.\n",
        "\n",
        "**Kaynaklar:**\n",
        "\n",
        "* https://monkeylearn.com/blog/what-is-tf-idf/\n",
        "* https://medium.com/@cmukesh8688/tf-idf-vectorizer-scikit-learn-dbc0244a911a\n"
      ],
      "metadata": {
        "id": "cfbjZqz7GsqJ"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "import nltk\n",
        "nltk.download(\"stopwords\")\n",
        "nltk.download('punkt')\n",
        "from nltk.corpus import stopwords\n",
        "aranilacak_tfidfNesnesi = TfidfVectorizer(stop_words=stopwords.words(\"turkish\"))\n",
        "aranilacak_tfidfDizeyi = aranilacak_tfidfNesnesi.fit_transform(df['Ozet'])\n",
        "aranilacak_tfidfDizeyi.shape"
      ],
      "metadata": {
        "id": "8HU10SO5JYwg"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "ozBulucu TurkishStemmer olunca aranilacak_tfidfDizeyi.shape (34886, 113148)\n",
        "\n",
        "ozBulucu nltk.stem olunca aranilacak_tfidfDizeyi.shape (34886, 215685)\n",
        "\n",
        "ozBulucu ve veri ön işlemleri olmadan aranilacak_tfidfDizeyi.shape (34886, 225577)\n",
        "\n",
        "ozBulucu Zemberek olunca aranilacak_tfidfDizeyi.shape (34886, 88404)\n"
      ],
      "metadata": {
        "id": "WS2buHqJrVmd"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "aranilacak_tfidfNesnesi.get_feature_names()[5000:5010]"
      ],
      "metadata": {
        "id": "IW8YQdnVj4fD"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "from sklearn.metrics.pairwise import linear_kernel\n",
        "cosine_sim = linear_kernel(aranilacak_tfidfDizeyi, aranilacak_tfidfDizeyi)\n",
        "cosine_sim.shape"
      ],
      "metadata": {
        "id": "Blf3oHCMkGVT"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Yukarıdaki hesabı yapması için yaklaşık 25 GB'lık RAM yeterli oldu."
      ],
      "metadata": {
        "id": "nyP0B5OP0xQ8"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "indices = pd.Series(df.index, index=df['Ozet']).drop_duplicates()\n",
        "print(indices[:10])"
      ],
      "metadata": {
        "id": "_FhIfU5dkPXZ"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "def tavsiyeVer(filmBasligi, cosine_sim=cosine_sim):\n",
        "    idx = indices[filmBasligi]\n",
        "    sim_scores = list(enumerate(cosine_sim[idx]))\n",
        "    sim_scores = sorted(sim_scores, key=lambda x: x[1], reverse=True)\n",
        "    sim_scores = sim_scores[1:11]\n",
        "    movie_indices = [i[0] for i in sim_scores]\n",
        "    return df['Orijinal İsmi'].iloc[movie_indices]"
      ],
      "metadata": {
        "id": "Pxj6Oar6k_s7"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "print(tavsiyeVer(gereksizKelimelerCikarilmisArananFilmOzeti))"
      ],
      "metadata": {
        "id": "KB2FEfhO1i9M"
      },
      "execution_count": null,
      "outputs": []
    }
  ]
}