3.ipynb



{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Регулярные выражения с помощью модуля re\n",
    "\n",
    "## <a href=\"https://docs.python.org/2/library/re.html\">Документация re (python)</a>\n",
    "\n",
    "Регулярные выражения по сути микроязык, входящий в состав практически всех современных языков программирования. Их знание не является необходимым для прохождения специализации, однако является полезным.\n",
    "\n",
    "Если вы не планируете изучать регулярные выражения, а только хотите посмотреть пример использования, необходимый для выполнения для задания 2 недели, просто перейдите к разделу 1.\n",
    "\n",
    "**Эта памятка не претендует на звание учебника по регулярным выражениям!** Её цель - демонстрация работы нескольких функций модуля и несльких примеров работы с регулярными выражениями."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Чит-таблица Доктора Чака\n",
    "\n",
    "Таблица заботливо предоставлена <a href=\"http://www.dr-chuck.com/\">Dr. Charles R.</a> из Университета Мичигана и переведена на русский язык.\n",
    "\n",
    "Таблица содержит самые простые символы и их комбинации в регулярных выражениях.\n",
    "\n",
    "<table>\n",
    "<tbody>\n",
    "<tr><td><strong>^</strong></td><td>Начало новой строки</td></tr>\n",
    "<tr><td><strong>\\$</strong></td><td>Окончание строки</td></tr>\n",
    "<tr><td><strong>.</strong></td><td>Любой символ</td></tr>\n",
    "<tr><td><strong>\\s</strong></td><td>Пробел</td></tr>\n",
    "<tr><td><strong>\\S</strong></td><td>Любой не пробельный символ</td></tr>\n",
    "<tr><td><strong>\\*</strong></td><td>Повтор символа 0 и более раз</td></tr>\n",
    "<tr><td><strong>\\*?</strong></td><td>Повтор символа 0 и более раз (не жадный)</td></tr>\n",
    "<tr><td><strong>+</strong></td><td>Повтор символа 1 и более раз</td></tr>\n",
    "<tr><td><strong>+?</strong></td><td>Повтор символа 1 и более раз (не жадный)</td></tr>\n",
    "<tr><td><strong>[aeiou]</strong></td><td>1 символ из набора</td></tr>\n",
    "<tr><td><strong>[^XYZ]</strong></td><td>1 символ <em>не</em> из набора</td></tr>\n",
    "<tr><td><strong>[a-z0-9]</strong></td><td>Набор символов в диапазоне от a до z и от 0 до 9</td></tr>\n",
    "<tr><td><strong>(</strong></td><td>Означает начало регулярного выражения</td></tr>\n",
    "<tr><td><strong>)</strong></td><td>Означает окончание регулярного выражения</td></tr>\n",
    "</tbody>\n",
    "</table>\n",
    "\n",
    "Больше правил для составления регулярных выражений можно найти здесь - https://docs.python.org/2/howto/regex.html"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В рамках этого документа мы будем работать с небольшим произвольным текстом, состоящим из нескольких строк:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "a = '''Any large snake that \"constricts\" its prey (see Constriction), if applied loosely, was called anaconda, though this usage is now archaic.\n",
    "An anaconda is a large snake found in tropical South America.\n",
    "Although the name applies to a group of snakes, it is often used to refer only to one species in particular, the common or green anaconda, Eunectes murinus, which is the largest snake in the world by weight, and the second longest.\n",
    "The giant anaconda is a mythical snake of enormous proportions said to be found in South America.\n",
    "Anaconda is an unincorporated community in Franklin County, Missouri, in the United States.\n",
    "In 1903, the Socialist Party of America won its first victory west of the Mississippi when Anaconda voters elected a socialist mayor, treasurer, police judge, and three councilmen.\n",
    "Anaconda was founded by Marcus Daly, one of the Copper Kings, who financed the construction of a smelter on nearby Warm Springs Creek to process copper ore from the Butte mines.\n",
    "Это последняя строка\n",
    "Win!!!'''"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Импорт библиотеки\n",
    "\n",
    "как и все стандартные библиотеки Python, re загружается командой import:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import re"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Раздел 1 - re.split()\n",
    "\n",
    "Функция split служит для разбиения строки на список подстрок по регулярному выражению. При этом регулярное выражение вырезается.\n",
    "\n",
    "Функция применяется следующим образом:\n",
    "\n",
    "<pre>re.split(регулярное_выражение, строка_для_поиска)</pre>\n",
    "\n",
    "- регулярное выражение может быть как строковой переменной, так и задано в явном виде в теле функции\n",
    "    \n",
    "- строка для поиска может быть как строковой переменной, так и задано в явном виде в теле функции\n",
    "    \n",
    "*Во всех примерах мы будем задавать регулярное выражение прямо в теле функции, а строку передавать в переменной*\n",
    "\n",
    "Рассмотрим простой пример в которой разделим нашу строку на список подстрок длинной в 1 символ (т.е. просто разделим на отдельные символы), воспользуемся для этого исмволом переноса строки - '\\n':"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false,
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Any large snake that \"constricts\" its prey (see Constriction), if applied loosely, was called anaconda, though this usage is now archaic.',\n",
       " 'An anaconda is a large snake found in tropical South America.',\n",
       " 'Although the name applies to a group of snakes, it is often used to refer only to one species in particular, the common or green anaconda, Eunectes murinus, which is the largest snake in the world by weight, and the second longest.',\n",
       " 'The giant anaconda is a mythical snake of enormous proportions said to be found in South America.',\n",
       " 'Anaconda is an unincorporated community in Franklin County, Missouri, in the United States.',\n",
       " 'In 1903, the Socialist Party of America won its first victory west of the Mississippi when Anaconda voters elected a socialist mayor, treasurer, police judge, and three councilmen.',\n",
       " 'Anaconda was founded by Marcus Daly, one of the Copper Kings, who financed the construction of a smelter on nearby Warm Springs Creek to process copper ore from the Butte mines.',\n",
       " 'Это последняя строка',\n",
       " 'Win!!!']"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import re\n",
    "re.split('\\n', a)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Как видим в результате получен список строк, раждая из которых соответсвует одной строке исходного документа, все переносы строк исчезли.\n",
    "\n",
    "В рамках задания рекомендуется:\n",
    "* разбить исходный текст на строки, либо считать его построчно из файла с помощью file.readline()\n",
    "* привести каждую строку к нижнему регистру с помощью функции lower()\n",
    "* токенизировать, т.е. разбить на слова каждую из приведённых к нижнему регистру строк с помощью re.split('[^a-z]', t)\n",
    "\n",
    "**В рамках этого примера мы выполним только 2 и 3 пункты (т.е. сознательно не будем разделять текст на строки, т.к. это показано выше):**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['any',\n",
       " 'large',\n",
       " 'snake',\n",
       " 'that',\n",
       " '',\n",
       " 'constricts',\n",
       " '',\n",
       " 'its',\n",
       " 'prey',\n",
       " '',\n",
       " 'see',\n",
       " 'constriction',\n",
       " '',\n",
       " '',\n",
       " 'if',\n",
       " 'applied',\n",
       " 'loosely',\n",
       " '',\n",
       " 'was',\n",
       " 'called',\n",
       " 'anaconda',\n",
       " '',\n",
       " 'though',\n",
       " 'this',\n",
       " 'usage',\n",
       " 'is',\n",
       " 'now',\n",
       " 'archaic',\n",
       " '',\n",
       " 'an',\n",
       " 'anaconda',\n",
       " 'is',\n",
       " 'a',\n",
       " 'large',\n",
       " 'snake',\n",
       " 'found',\n",
       " 'in',\n",
       " 'tropical',\n",
       " 'south',\n",
       " 'america',\n",
       " '',\n",
       " 'although',\n",
       " 'the',\n",
       " 'name',\n",
       " 'applies',\n",
       " 'to',\n",
       " 'a',\n",
       " 'group',\n",
       " 'of',\n",
       " 'snakes',\n",
       " '',\n",
       " 'it',\n",
       " 'is',\n",
       " 'often',\n",
       " 'used',\n",
       " 'to',\n",
       " 'refer',\n",
       " 'only',\n",
       " 'to',\n",
       " 'one',\n",
       " 'species',\n",
       " 'in',\n",
       " 'particular',\n",
       " '',\n",
       " 'the',\n",
       " 'common',\n",
       " 'or',\n",
       " 'green',\n",
       " 'anaconda',\n",
       " '',\n",
       " 'eunectes',\n",
       " 'murinus',\n",
       " '',\n",
       " 'which',\n",
       " 'is',\n",
       " 'the',\n",
       " 'largest',\n",
       " 'snake',\n",
       " 'in',\n",
       " 'the',\n",
       " 'world',\n",
       " 'by',\n",
       " 'weight',\n",
       " '',\n",
       " 'and',\n",
       " 'the',\n",
       " 'second',\n",
       " 'longest',\n",
       " '',\n",
       " 'the',\n",
       " 'giant',\n",
       " 'anaconda',\n",
       " 'is',\n",
       " 'a',\n",
       " 'mythical',\n",
       " 'snake',\n",
       " 'of',\n",
       " 'enormous',\n",
       " 'proportions',\n",
       " 'said',\n",
       " 'to',\n",
       " 'be',\n",
       " 'found',\n",
       " 'in',\n",
       " 'south',\n",
       " 'america',\n",
       " '',\n",
       " 'anaconda',\n",
       " 'is',\n",
       " 'an',\n",
       " 'unincorporated',\n",
       " 'community',\n",
       " 'in',\n",
       " 'franklin',\n",
       " 'county',\n",
       " '',\n",
       " 'missouri',\n",
       " '',\n",
       " 'in',\n",
       " 'the',\n",
       " 'united',\n",
       " 'states',\n",
       " '',\n",
       " 'in',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " 'the',\n",
       " 'socialist',\n",
       " 'party',\n",
       " 'of',\n",
       " 'america',\n",
       " 'won',\n",
       " 'its',\n",
       " 'first',\n",
       " 'victory',\n",
       " 'west',\n",
       " 'of',\n",
       " 'the',\n",
       " 'mississippi',\n",
       " 'when',\n",
       " 'anaconda',\n",
       " 'voters',\n",
       " 'elected',\n",
       " 'a',\n",
       " 'socialist',\n",
       " 'mayor',\n",
       " '',\n",
       " 'treasurer',\n",
       " '',\n",
       " 'police',\n",
       " 'judge',\n",
       " '',\n",
       " 'and',\n",
       " 'three',\n",
       " 'councilmen',\n",
       " '',\n",
       " 'anaconda',\n",
       " 'was',\n",
       " 'founded',\n",
       " 'by',\n",
       " 'marcus',\n",
       " 'daly',\n",
       " '',\n",
       " 'one',\n",
       " 'of',\n",
       " 'the',\n",
       " 'copper',\n",
       " 'kings',\n",
       " '',\n",
       " 'who',\n",
       " 'financed',\n",
       " 'the',\n",
       " 'construction',\n",
       " 'of',\n",
       " 'a',\n",
       " 'smelter',\n",
       " 'on',\n",
       " 'nearby',\n",
       " 'warm',\n",
       " 'springs',\n",
       " 'creek',\n",
       " 'to',\n",
       " 'process',\n",
       " 'copper',\n",
       " 'ore',\n",
       " 'from',\n",
       " 'the',\n",
       " 'butte',\n",
       " 'mines',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " '',\n",
       " 'win',\n",
       " '',\n",
       " '',\n",
       " '']"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import re\n",
    "\n",
    "re.split('[^a-z]', a.lower())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Обратите внимание на множество пустых строк - они являеются результатом того, что наше регулярное выражение не полное. Есть много специальных символов, которые не являются буквами: цифры, русские буквы, латинские большие буквы, запятые, точки, апострофы и т.п.\n",
    "\n",
    "Если вы внимательно посмотрите на список выше, то заметите, что он не содержит числа 1903 и ни одного из слов последней строки, написанно по-русски.\n",
    "\n",
    "Именно поэтому в рамках задания 2 недели важно:\n",
    "\n",
    "* разделить текст на строки\n",
    "* провести приведение к нижнему регистру перед токенизацией\n",
    "* удалить пустые строки после токенизации\n",
    "\n",
    "\n",
    "**Подсказка.** *Для этого можно использовать сравнение с пустой строкой (<a href =\"http://ru.stackoverflow.com/questions/422461/%D0%A3%D0%B4%D0%B0%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5-%D0%BF%D1%83%D1%81%D1%82%D1%8B%D1%85-%D1%8D%D0%BB%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2-%D1%81%D0%BF%D0%B8%D1%81%D0%BA%D0%B0-python\">stackoverflow</a>)*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Описанные далее не требуется для выполнения задания 2 недели\n",
    "## Но позволит лучше понять регулярные выражения (они крайне полезны во многих ситуациях)\n",
    "В нашем случае можно усложнить регулярное выражение, добавив в него заглавные буквы, цифры и кириллические символы:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Any',\n",
       " 'large',\n",
       " 'snake',\n",
       " 'that',\n",
       " '',\n",
       " 'constricts',\n",
       " '',\n",
       " 'its',\n",
       " 'prey',\n",
       " '',\n",
       " 'see',\n",
       " 'Constriction',\n",
       " '',\n",
       " '',\n",
       " 'if',\n",
       " 'applied',\n",
       " 'loosely',\n",
       " '',\n",
       " 'was',\n",
       " 'called',\n",
       " 'anaconda',\n",
       " '',\n",
       " 'though',\n",
       " 'this',\n",
       " 'usage',\n",
       " 'is',\n",
       " 'now',\n",
       " 'archaic',\n",
       " '',\n",
       " 'An',\n",
       " 'anaconda',\n",
       " 'is',\n",
       " 'a',\n",
       " 'large',\n",
       " 'snake',\n",
       " 'found',\n",
       " 'in',\n",
       " 'tropical',\n",
       " 'South',\n",
       " 'America',\n",
       " '',\n",
       " 'Although',\n",
       " 'the',\n",
       " 'name',\n",
       " 'applies',\n",
       " 'to',\n",
       " 'a',\n",
       " 'group',\n",
       " 'of',\n",
       " 'snakes',\n",
       " '',\n",
       " 'it',\n",
       " 'is',\n",
       " 'often',\n",
       " 'used',\n",
       " 'to',\n",
       " 'refer',\n",
       " 'only',\n",
       " 'to',\n",
       " 'one',\n",
       " 'species',\n",
       " 'in',\n",
       " 'particular',\n",
       " '',\n",
       " 'the',\n",
       " 'common',\n",
       " 'or',\n",
       " 'green',\n",
       " 'anaconda',\n",
       " '',\n",
       " 'Eunectes',\n",
       " 'murinus',\n",
       " '',\n",
       " 'which',\n",
       " 'is',\n",
       " 'the',\n",
       " 'largest',\n",
       " 'snake',\n",
       " 'in',\n",
       " 'the',\n",
       " 'world',\n",
       " 'by',\n",
       " 'weight',\n",
       " '',\n",
       " 'and',\n",
       " 'the',\n",
       " 'second',\n",
       " 'longest',\n",
       " '',\n",
       " 'The',\n",
       " 'giant',\n",
       " 'anaconda',\n",
       " 'is',\n",
       " 'a',\n",
       " 'mythical',\n",
       " 'snake',\n",
       " 'of',\n",
       " 'enormous',\n",
       " 'proportions',\n",
       " 'said',\n",
       " 'to',\n",
       " 'be',\n",
       " 'found',\n",
       " 'in',\n",
       " 'South',\n",
       " 'America',\n",
       " '',\n",
       " 'Anaconda',\n",
       " 'is',\n",
       " 'an',\n",
       " 'unincorporated',\n",
       " 'community',\n",
       " 'in',\n",
       " 'Franklin',\n",
       " 'County',\n",
       " '',\n",
       " 'Missouri',\n",
       " '',\n",
       " 'in',\n",
       " 'the',\n",
       " 'United',\n",
       " 'States',\n",
       " '',\n",
       " 'In',\n",
       " '1903',\n",
       " '',\n",
       " 'the',\n",
       " 'Socialist',\n",
       " 'Party',\n",
       " 'of',\n",
       " 'America',\n",
       " 'won',\n",
       " 'its',\n",
       " 'first',\n",
       " 'victory',\n",
       " 'west',\n",
       " 'of',\n",
       " 'the',\n",
       " 'Mississippi',\n",
       " 'when',\n",
       " 'Anaconda',\n",
       " 'voters',\n",
       " 'elected',\n",
       " 'a',\n",
       " 'socialist',\n",
       " 'mayor',\n",
       " '',\n",
       " 'treasurer',\n",
       " '',\n",
       " 'police',\n",
       " 'judge',\n",
       " '',\n",
       " 'and',\n",
       " 'three',\n",
       " 'councilmen',\n",
       " '',\n",
       " 'Anaconda',\n",
       " 'was',\n",
       " 'founded',\n",
       " 'by',\n",
       " 'Marcus',\n",
       " 'Daly',\n",
       " '',\n",
       " 'one',\n",
       " 'of',\n",
       " 'the',\n",
       " 'Copper',\n",
       " 'Kings',\n",
       " '',\n",
       " 'who',\n",
       " 'financed',\n",
       " 'the',\n",
       " 'construction',\n",
       " 'of',\n",
       " 'a',\n",
       " 'smelter',\n",
       " 'on',\n",
       " 'nearby',\n",
       " 'Warm',\n",
       " 'Springs',\n",
       " 'Creek',\n",
       " 'to',\n",
       " 'process',\n",
       " 'copper',\n",
       " 'ore',\n",
       " 'from',\n",
       " 'the',\n",
       " 'Butte',\n",
       " 'mines',\n",
       " '',\n",
       " 'Это',\n",
       " 'последняя',\n",
       " 'строка',\n",
       " 'Win',\n",
       " '',\n",
       " '',\n",
       " '']"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import re\n",
    "\n",
    "re.split('[^A-z0-9А-я]', a)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Напомним, вы использовали конструкцию:\n",
    "* [] для обозначения, что внутри квадратных скобок находится один из символов набора, который нас интересует\n",
    "* [^] для отрицания (т.е. что нас интересует один из символов, которые НЕ перечислены дальше\n",
    "* a-z - любая из строчных букв латинского алфавита от a до z: a, b, c, d, e, ... x, y, z.\n",
    "* 0-9 любая из цифры от 0 до 9: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9.\n",
    "* A-z - любая из строчных или прописных букв латинского алфавита от a до z: A, a, B, b, C, c, D, d, ... Y, y, Z, z.\n",
    "* A-z0-9 - любая из строчных или прописных букв латинского алфавита или цифр от 0 до 9.\n",
    "* ...\n",
    "* [^A-z0-9А-я] - символ НЕ из набора строчных или прописных букв русского или латинского алфавита или цифр.\n",
    "\n",
    "В данном случае так же можно было перечислить знаки препинания, которые могут быть разделителями в явном виде. Какие у нас могут быть разделители?\n",
    "\n",
    "- запятая - ,\n",
    "- двойная кавычка - \"\n",
    "- перенос строки - \\n\n",
    "- пробел - \\s (см чит таблицу выше)\n",
    "- открывающаяся кавычка - (\n",
    "- закрывающаяся кавычка - )\n",
    "\n",
    "Но как быть с точкой и одинарной кавычкой? Точка - сама по себе выражение (см чит-таблицу), означающая ЛЮБОЙ символ, а одинарная кавычка просто закроет строковую переменную!\n",
    "\n",
    "Выход - символ экранирования, которым является обратный слеш \\:\n",
    "\n",
    "точка - \\.\n",
    "одинарная кавычка - \\'\n",
    "\n",
    "Получится довольно непростая (и даже страшновата конструкция:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Any',\n",
       " 'large',\n",
       " 'snake',\n",
       " 'that',\n",
       " '',\n",
       " 'constricts',\n",
       " '',\n",
       " 'its',\n",
       " 'prey',\n",
       " '',\n",
       " 'see',\n",
       " 'Constriction',\n",
       " '',\n",
       " '',\n",
       " 'if',\n",
       " 'applied',\n",
       " 'loosely',\n",
       " '',\n",
       " 'was',\n",
       " 'called',\n",
       " 'anaconda',\n",
       " '',\n",
       " 'though',\n",
       " 'this',\n",
       " 'usage',\n",
       " 'is',\n",
       " 'now',\n",
       " 'archaic',\n",
       " '',\n",
       " 'An',\n",
       " 'anaconda',\n",
       " 'is',\n",
       " 'a',\n",
       " 'large',\n",
       " 'snake',\n",
       " 'found',\n",
       " 'in',\n",
       " 'tropical',\n",
       " 'South',\n",
       " 'America',\n",
       " '',\n",
       " 'Although',\n",
       " 'the',\n",
       " 'name',\n",
       " 'applies',\n",
       " 'to',\n",
       " 'a',\n",
       " 'group',\n",
       " 'of',\n",
       " 'snakes',\n",
       " '',\n",
       " 'it',\n",
       " 'is',\n",
       " 'often',\n",
       " 'used',\n",
       " 'to',\n",
       " 'refer',\n",
       " 'only',\n",
       " 'to',\n",
       " 'one',\n",
       " 'species',\n",
       " 'in',\n",
       " 'particular',\n",
       " '',\n",
       " 'the',\n",
       " 'common',\n",
       " 'or',\n",
       " 'green',\n",
       " 'anaconda',\n",
       " '',\n",
       " 'Eunectes',\n",
       " 'murinus',\n",
       " '',\n",
       " 'which',\n",
       " 'is',\n",
       " 'the',\n",
       " 'largest',\n",
       " 'snake',\n",
       " 'in',\n",
       " 'the',\n",
       " 'world',\n",
       " 'by',\n",
       " 'weight',\n",
       " '',\n",
       " 'and',\n",
       " 'the',\n",
       " 'second',\n",
       " 'longest',\n",
       " '',\n",
       " 'The',\n",
       " 'giant',\n",
       " 'anaconda',\n",
       " 'is',\n",
       " 'a',\n",
       " 'mythical',\n",
       " 'snake',\n",
       " 'of',\n",
       " 'enormous',\n",
       " 'proportions',\n",
       " 'said',\n",
       " 'to',\n",
       " 'be',\n",
       " 'found',\n",
       " 'in',\n",
       " 'South',\n",
       " 'America',\n",
       " '',\n",
       " 'Anaconda',\n",
       " 'is',\n",
       " 'an',\n",
       " 'unincorporated',\n",
       " 'community',\n",
       " 'in',\n",
       " 'Franklin',\n",
       " 'County',\n",
       " '',\n",
       " 'Missouri',\n",
       " '',\n",
       " 'in',\n",
       " 'the',\n",
       " 'United',\n",
       " 'States',\n",
       " '',\n",
       " 'In',\n",
       " '1903',\n",
       " '',\n",
       " 'the',\n",
       " 'Socialist',\n",
       " 'Party',\n",
       " 'of',\n",
       " 'America',\n",
       " 'won',\n",
       " 'its',\n",
       " 'first',\n",
       " 'victory',\n",
       " 'west',\n",
       " 'of',\n",
       " 'the',\n",
       " 'Mississippi',\n",
       " 'when',\n",
       " 'Anaconda',\n",
       " 'voters',\n",
       " 'elected',\n",
       " 'a',\n",
       " 'socialist',\n",
       " 'mayor',\n",
       " '',\n",
       " 'treasurer',\n",
       " '',\n",
       " 'police',\n",
       " 'judge',\n",
       " '',\n",
       " 'and',\n",
       " 'three',\n",
       " 'councilmen',\n",
       " '',\n",
       " 'Anaconda',\n",
       " 'was',\n",
       " 'founded',\n",
       " 'by',\n",
       " 'Marcus',\n",
       " 'Daly',\n",
       " '',\n",
       " 'one',\n",
       " 'of',\n",
       " 'the',\n",
       " 'Copper',\n",
       " 'Kings',\n",
       " '',\n",
       " 'who',\n",
       " 'financed',\n",
       " 'the',\n",
       " 'construction',\n",
       " 'of',\n",
       " 'a',\n",
       " 'smelter',\n",
       " 'on',\n",
       " 'nearby',\n",
       " 'Warm',\n",
       " 'Springs',\n",
       " 'Creek',\n",
       " 'to',\n",
       " 'process',\n",
       " 'copper',\n",
       " 'ore',\n",
       " 'from',\n",
       " 'the',\n",
       " 'Butte',\n",
       " 'mines',\n",
       " '',\n",
       " 'Это',\n",
       " 'последняя',\n",
       " 'строка',\n",
       " 'Win!!!']"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import re\n",
    "\n",
    "re.split('[\\n,\"\\s()\\.\\']', a)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Заметим, что в результате по прежнему есть пустые строки. Откуда они взялись?\n",
    "\n",
    "Это те участки текста, где встречаются подряд 2 разделителя, удовлетворяющих регулярному выражению (которое у нас состоит из 1 символа, описанного внутри квадратных скобок). Если мы воспользуемся символом + после квадратных скобок, то в качестве разделителя будет искаться 1 и более символов, идущих подряд, удовлетворяющих набору из квадратных скобок.\n",
    "\n",
    "**Примечание.** Т.к. по умолчанию выражения \"жадные\", то разделителем станет самое длинное найденное выражение. Если подряд будут идти 3 таких символа, то разделителем станут все 3, а не 1 и не 2. О \"Жадности\" мы ещё поговорим."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Any',\n",
       " 'large',\n",
       " 'snake',\n",
       " 'that',\n",
       " 'constricts',\n",
       " 'its',\n",
       " 'prey',\n",
       " 'see',\n",
       " 'Constriction',\n",
       " 'if',\n",
       " 'applied',\n",
       " 'loosely',\n",
       " 'was',\n",
       " 'called',\n",
       " 'anaconda',\n",
       " 'though',\n",
       " 'this',\n",
       " 'usage',\n",
       " 'is',\n",
       " 'now',\n",
       " 'archaic',\n",
       " 'An',\n",
       " 'anaconda',\n",
       " 'is',\n",
       " 'a',\n",
       " 'large',\n",
       " 'snake',\n",
       " 'found',\n",
       " 'in',\n",
       " 'tropical',\n",
       " 'South',\n",
       " 'America',\n",
       " 'Although',\n",
       " 'the',\n",
       " 'name',\n",
       " 'applies',\n",
       " 'to',\n",
       " 'a',\n",
       " 'group',\n",
       " 'of',\n",
       " 'snakes',\n",
       " 'it',\n",
       " 'is',\n",
       " 'often',\n",
       " 'used',\n",
       " 'to',\n",
       " 'refer',\n",
       " 'only',\n",
       " 'to',\n",
       " 'one',\n",
       " 'species',\n",
       " 'in',\n",
       " 'particular',\n",
       " 'the',\n",
       " 'common',\n",
       " 'or',\n",
       " 'green',\n",
       " 'anaconda',\n",
       " 'Eunectes',\n",
       " 'murinus',\n",
       " 'which',\n",
       " 'is',\n",
       " 'the',\n",
       " 'largest',\n",
       " 'snake',\n",
       " 'in',\n",
       " 'the',\n",
       " 'world',\n",
       " 'by',\n",
       " 'weight',\n",
       " 'and',\n",
       " 'the',\n",
       " 'second',\n",
       " 'longest',\n",
       " 'The',\n",
       " 'giant',\n",
       " 'anaconda',\n",
       " 'is',\n",
       " 'a',\n",
       " 'mythical',\n",
       " 'snake',\n",
       " 'of',\n",
       " 'enormous',\n",
       " 'proportions',\n",
       " 'said',\n",
       " 'to',\n",
       " 'be',\n",
       " 'found',\n",
       " 'in',\n",
       " 'South',\n",
       " 'America',\n",
       " 'Anaconda',\n",
       " 'is',\n",
       " 'an',\n",
       " 'unincorporated',\n",
       " 'community',\n",
       " 'in',\n",
       " 'Franklin',\n",
       " 'County',\n",
       " 'Missouri',\n",
       " 'in',\n",
       " 'the',\n",
       " 'United',\n",
       " 'States',\n",
       " 'In',\n",
       " '1903',\n",
       " 'the',\n",
       " 'Socialist',\n",
       " 'Party',\n",
       " 'of',\n",
       " 'America',\n",
       " 'won',\n",
       " 'its',\n",
       " 'first',\n",
       " 'victory',\n",
       " 'west',\n",
       " 'of',\n",
       " 'the',\n",
       " 'Mississippi',\n",
       " 'when',\n",
       " 'Anaconda',\n",
       " 'voters',\n",
       " 'elected',\n",
       " 'a',\n",
       " 'socialist',\n",
       " 'mayor',\n",
       " 'treasurer',\n",
       " 'police',\n",
       " 'judge',\n",
       " 'and',\n",
       " 'three',\n",
       " 'councilmen',\n",
       " 'Anaconda',\n",
       " 'was',\n",
       " 'founded',\n",
       " 'by',\n",
       " 'Marcus',\n",
       " 'Daly',\n",
       " 'one',\n",
       " 'of',\n",
       " 'the',\n",
       " 'Copper',\n",
       " 'Kings',\n",
       " 'who',\n",
       " 'financed',\n",
       " 'the',\n",
       " 'construction',\n",
       " 'of',\n",
       " 'a',\n",
       " 'smelter',\n",
       " 'on',\n",
       " 'nearby',\n",
       " 'Warm',\n",
       " 'Springs',\n",
       " 'Creek',\n",
       " 'to',\n",
       " 'process',\n",
       " 'copper',\n",
       " 'ore',\n",
       " 'from',\n",
       " 'the',\n",
       " 'Butte',\n",
       " 'mines',\n",
       " 'Это',\n",
       " 'последняя',\n",
       " 'строка',\n",
       " 'Win!!!']"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import re\n",
    "\n",
    "re.split('[\\n,\"\\s()\\.\\']+', a)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Важно!** Данное выражение содержит не все возможные разделители. Например, оно не учитывает символ -. Вы сами можете расширить его. Мы лишь пытались продемонстрировать то насколько громоздкой может получиться полностью универсальная конструкция для сложны задач и насколько простой пример достаточек в рамках задачи - re.split('[^a-z]', t)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Раздел 2 - re.findall()\n",
    "\n",
    "Функция findall служит для нахождениях всех подстрок в строку. Синтаксис аналогичен:\n",
    "\n",
    "<pre>re.findall(регулярное_выражение, строка_для_поиска)</pre>\n",
    "\n",
    "*Частая ошибка в задании 2 недели - подсчёт числа слов с помощью этой функции в тексте/строке*\n",
    "\n",
    "Поясним на примере поиска слова 'is' во всём тесте:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Результат поиска \"is\" в исходном тексте, с помощью re.findall():  ['is', 'is', 'is', 'is', 'is', 'is', 'is', 'is', 'is', 'is', 'is', 'is']\n",
      "Число вхождений слова \"is\" в исходных текст, подсчитанное с помощью re.findall():  12\n",
      "Число вхождений слова \"is\" в исходных текст, подсчитанное с помощью count():  12\n"
     ]
    }
   ],
   "source": [
    "\n",
    "print ('Результат поиска \"is\" в исходном тексте, с помощью re.findall(): ', re.findall('is', a))\n",
    "print ('Число вхождений слова \"is\" в исходных текст, подсчитанное с помощью re.findall(): ', len(re.findall('is', a)))\n",
    "print ('Число вхождений слова \"is\" в исходных текст, подсчитанное с помощью count(): ', a.count('is'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Если присмотретсья к исходнмоу тексту, то там легко обнаружить следующие слова:\n",
    "\n",
    "* this\n",
    "* Missouri\n",
    "* Socialist\n",
    "* Mississippi\n",
    "* socialist\n",
    "\n",
    "Легко заметить, что такое регулярное выражение, как написано выше посчитало вхождение \"слова\" 'is' и в эти слова тоже! Так же, как и стандартная функция count()!\n",
    "\n",
    "Для того чтобы исправить эту ошибку давайте пойдём на хитрость, будем искать слово 'is' так, чтобы справа и слева от него стояли символы, не являющиеся буквой.\n",
    "\n",
    "* \\W - оператор символа, не являющегося буквой/цифрой.\n",
    "\n",
    "так же возьмём искомое слово 'is' в круглые скобки. Это означает, что вернуть наше регулярное выражение должно только то, что внутир скобок, а то что находится снаружи должно присутствовать там для попадения во внимание нашего регулярного выражения, но в результат добавлено **не будет**."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['is', 'is', 'is', 'is', 'is', 'is']\n"
     ]
    }
   ],
   "source": [
    "print (re.findall('\\W(is)\\W', a))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Подсчитаем в качестве контрольной меры число вхождений \"в лоб\". Для этого:\n",
    "* разобьём исходный текст на список слов (каждое слово будет строкой) с помощью функции re.split() как было показано выше\n",
    "* пройдём по всем элементам получившегося словаря в цикле for\n",
    "* Если текущий элемент совпадает с эталонной строкой (слово 'is'), то добавим к счётчику 1. Считать начнём с 0."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Число реальных вхождений слова is в исходный текст, посчитанное регуляркой:  6\n",
      "Число реальных вхождений слова is в исходный текст, посчитанное \"в лоб\":  6\n"
     ]
    }
   ],
   "source": [
    "print ('Число реальных вхождений слова is в исходный текст, посчитанное регуляркой: ', len(re.findall('\\W(is)\\W', a)))\n",
    "\n",
    "c = 0\n",
    "for w in re.split('[\\n,\"\\s()\\.\\']+', a):\n",
    "    if w == 'is':\n",
    "        c += 1\n",
    "print ('Число реальных вхождений слова is в исходный текст, посчитанное \"в лоб\": ', c)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Раздел 3 - некоторые простые примеры построения регулярных выражений\n",
    "\n",
    "Мы рассмотрим конструирование регулярных выражений с помощью уже знакомого re.findall().\n",
    "\n",
    "*Обратим внимание, что в некоторых ситуациях функция может возвращать пустой список (если ничего не нашлось).*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**1** Регулярное выражение, равное конкретному слову:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['constricts']\n",
      "[]\n"
     ]
    }
   ],
   "source": [
    "print (re.findall('constricts', a)) # слово есть в тексте\n",
    "print (re.findall('constructor', a)) # слова нет в тексте"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**2** Регулярное выражение, равное конкретному слову, с которого начинается строка (возвращено будет только слово):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Any']\n",
      "[]\n",
      "[]\n"
     ]
    }
   ],
   "source": [
    "print (re.findall('^Any', a)) # слово есть в тексте и оно первое в строке\n",
    "print (re.findall('^Many', a)) # слова нет в тексте\n",
    "print (re.findall('^is', a)) # слова есть в тексте, но оно не первое в строке"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**3** Регулярное выражение, возвращающее слово, после которого стоит другой символ, например двоеточие:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['From']\n"
     ]
    }
   ],
   "source": [
    "print (re.findall('(From):', 'From:a@coffediz.ru To:info@coursera.org')) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**4** Регулярное выражение, возвращающее любое слово (хотя бы из 1 символа), перед которым стоит другой символ, например двоеточие:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['a@coffediz.ru To:info@coursera.org']\n"
     ]
    }
   ],
   "source": [
    "print (re.findall(':(.+)', 'From:a@coffediz.ru To:info@coursera.org')) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Как видим, регулярное выражение из-за своей жадности съело слишком много лишнего. Попробуем воспользоваться символом ? для ограничения жадности плюса и посмотрим что из этого выйдет:\n",
    "\n",
    "**5** Регулярное выражение, возвращающее любое слово (хотя бы из 1 символа **не жадное**), перед которым стоит другой символ, например двоеточие:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['a', 'i']\n"
     ]
    }
   ],
   "source": [
    "print (re.findall(':(.+?)', 'From:a@coffediz.ru To:info@coursera.org')) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Как видим, ограничив \"жадность\" регулярного выражения мы сделили только хуже. Зато мы узнали что это такое.\n",
    "\n",
    "**\"Жадность\"** - стремление регулярного выражения найти **максимальное** вхождение, удовлетворяющее правилу.\n",
    "\n",
    "**\"НЕ жадность\"** - стремление регулярного выражения найти **минимальное** вхождение, удовлетворяющее правилу.\n",
    "\n",
    "Поэтому в пункте 4 мы получили одну строку с двумя имейлами, а в пункте 5 две строки из 1 символа каждая.\n",
    "\n",
    "В рамках этого учебного материала мы получим отдельно обма email'а:\n",
    "\n",
    "**6** Регулярные выражения, позвращающие 1 и 2 слово, перед которыми стоит двоеточие (причём пробел есть после 1 блоком и перед 2 блоком):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['a@coffediz.ru']\n",
      "['info@coursera.org']\n"
     ]
    }
   ],
   "source": [
    "print (re.findall(':(.+)\\s', 'From:a@coffediz.ru To:info@coursera.org')) # Перед словом есть двоеточие, а после слова пробел\n",
    "print (re.findall('\\s.+:(.+)', 'From:a@coffediz.ru To:info@coursera.org')) # Перед словом есть пробел, не менее 1 любого символа и пробел"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.5.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}