tokenizer.json

"{\"class_name\": \"Tokenizer\", \"config\": {\"num_words\": null, \"filters\": null, \"lower\": true, \"split\": \" \", \"char_level\": true, \"oov_token\": null, \"document_count\": 7871594, \"word_counts\": \"{\\\"k\\\": 10402024, \\\"u\\\": 11565916, \\\"m\\\": 6848357, \\\"s\\\": 42984780, \\\"a\\\": 26228493, \\\"l\\\": 12257475, \\\" \\\": 796032867, \\\"{\\\": 36566833, \\\"}\\\": 36566833, \\\"b\\\": 17846060, \\\"n\\\": 32882678, \\\"p\\\": 18724053, \\\"#\\\": 25455339, \\\"f\\\": 4602155, \\\"i\\\": 18624750, \\\"t\\\": 9700927, \\\"z\\\": 4575074, \\\"e\\\": 21813397, \\\"v\\\": 2048750, \\\"d\\\": 8939835, \\\"y\\\": 6383775, \\\"o\\\": 4807110, \\\"r\\\": 11492797, \\\"g\\\": 3749752, \\\"j\\\": 26049, \\\"h\\\": 3613970, \\\"c\\\": 5984112, \\\"w\\\": 2443, \\\"+\\\": 741, \\\"?\\\": 888, \\\"x\\\": 7713, \\\"_\\\": 870, \\\"'\\\": 1440, \\\"q\\\": 513, \\\"&\\\": 70, \\\"*\\\": 128, \\\"\\\\\\\"\\\": 92, \\\"<\\\": 33, \\\";\\\": 8}\", \"word_docs\": \"{\\\"#\\\": 7866817, \\\"a\\\": 7378526, \\\"{\\\": 7871594, \\\"l\\\": 6185511, \\\"i\\\": 6950583, \\\"k\\\": 5532485, \\\"m\\\": 4545896, \\\"b\\\": 7759554, \\\"}\\\": 7871594, \\\"f\\\": 3851578, \\\"p\\\": 7871594, \\\"t\\\": 5416298, \\\"n\\\": 7871594, \\\"z\\\": 3572044, \\\"u\\\": 5478229, \\\"s\\\": 7871594, \\\" \\\": 7871594, \\\"d\\\": 6115514, \\\"e\\\": 7032495, \\\"v\\\": 1797474, \\\"y\\\": 4469804, \\\"o\\\": 3555726, \\\"r\\\": 6172873, \\\"g\\\": 2985913, \\\"j\\\": 25376, \\\"h\\\": 2887501, \\\"c\\\": 4030506, \\\"w\\\": 2385, \\\"+\\\": 589, \\\"?\\\": 443, \\\"x\\\": 7434, \\\"_\\\": 836, \\\"'\\\": 1430, \\\"q\\\": 513, \\\"&\\\": 70, \\\"*\\\": 128, \\\"\\\\\\\"\\\": 23, \\\"<\\\": 11, \\\";\\\": 8}\", \"index_docs\": \"{\\\"7\\\": 7866817, \\\"6\\\": 7378526, \\\"3\\\": 7871594, \\\"12\\\": 6185511, \\\"10\\\": 6950583, \\\"15\\\": 5532485, \\\"18\\\": 4545896, \\\"11\\\": 7759554, \\\"4\\\": 7871594, \\\"22\\\": 3851578, \\\"9\\\": 7871594, \\\"16\\\": 5416298, \\\"5\\\": 7871594, \\\"23\\\": 3572044, \\\"13\\\": 5478229, \\\"2\\\": 7871594, \\\"1\\\": 7871594, \\\"17\\\": 6115514, \\\"8\\\": 7032495, \\\"26\\\": 1797474, \\\"19\\\": 4469804, \\\"21\\\": 3555726, \\\"14\\\": 6172873, \\\"24\\\": 2985913, \\\"27\\\": 25376, \\\"25\\\": 2887501, \\\"20\\\": 4030506, \\\"29\\\": 2385, \\\"33\\\": 589, \\\"31\\\": 443, \\\"28\\\": 7434, \\\"32\\\": 836, \\\"30\\\": 1430, \\\"34\\\": 513, \\\"37\\\": 70, \\\"35\\\": 128, \\\"36\\\": 23, \\\"38\\\": 11, \\\"39\\\": 8}\", \"index_word\": \"{\\\"1\\\": \\\" \\\", \\\"2\\\": \\\"s\\\", \\\"3\\\": \\\"{\\\", \\\"4\\\": \\\"}\\\", \\\"5\\\": \\\"n\\\", \\\"6\\\": \\\"a\\\", \\\"7\\\": \\\"#\\\", \\\"8\\\": \\\"e\\\", \\\"9\\\": \\\"p\\\", \\\"10\\\": \\\"i\\\", \\\"11\\\": \\\"b\\\", \\\"12\\\": \\\"l\\\", \\\"13\\\": \\\"u\\\", \\\"14\\\": \\\"r\\\", \\\"15\\\": \\\"k\\\", \\\"16\\\": \\\"t\\\", \\\"17\\\": \\\"d\\\", \\\"18\\\": \\\"m\\\", \\\"19\\\": \\\"y\\\", \\\"20\\\": \\\"c\\\", \\\"21\\\": \\\"o\\\", \\\"22\\\": \\\"f\\\", \\\"23\\\": \\\"z\\\", \\\"24\\\": \\\"g\\\", \\\"25\\\": \\\"h\\\", \\\"26\\\": \\\"v\\\", \\\"27\\\": \\\"j\\\", \\\"28\\\": \\\"x\\\", \\\"29\\\": \\\"w\\\", \\\"30\\\": \\\"'\\\", \\\"31\\\": \\\"?\\\", \\\"32\\\": \\\"_\\\", \\\"33\\\": \\\"+\\\", \\\"34\\\": \\\"q\\\", \\\"35\\\": \\\"*\\\", \\\"36\\\": \\\"\\\\\\\"\\\", \\\"37\\\": \\\"&\\\", \\\"38\\\": \\\"<\\\", \\\"39\\\": \\\";\\\"}\", \"word_index\": \"{\\\" \\\": 1, \\\"s\\\": 2, \\\"{\\\": 3, \\\"}\\\": 4, \\\"n\\\": 5, \\\"a\\\": 6, \\\"#\\\": 7, \\\"e\\\": 8, \\\"p\\\": 9, \\\"i\\\": 10, \\\"b\\\": 11, \\\"l\\\": 12, \\\"u\\\": 13, \\\"r\\\": 14, \\\"k\\\": 15, \\\"t\\\": 16, \\\"d\\\": 17, \\\"m\\\": 18, \\\"y\\\": 19, \\\"c\\\": 20, \\\"o\\\": 21, \\\"f\\\": 22, \\\"z\\\": 23, \\\"g\\\": 24, \\\"h\\\": 25, \\\"v\\\": 26, \\\"j\\\": 27, \\\"x\\\": 28, \\\"w\\\": 29, \\\"'\\\": 30, \\\"?\\\": 31, \\\"_\\\": 32, \\\"+\\\": 33, \\\"q\\\": 34, \\\"*\\\": 35, \\\"\\\\\\\"\\\": 36, \\\"&\\\": 37, \\\"<\\\": 38, \\\";\\\": 39}\"}}"