$ mkdir tmp
$ mkdir model
$ python preprocess.py
$ python w2v.py
$ python glove_train.py
$ python ppmi.py
$ python svd.py
$ python predict.py
-
Distributional semantic representation
-
Positive Pointwise Mutual Information(PPMI)
-
Singular Value Decomposition(SVD)
-
-
Distributed semantic representation
-
Word2Vec
- Continuous Bag Of Words(CBOW)
- Skip-gram(SG)
-
GloVe
-
- Python 3.6.0 :: Anaconda 4.3.1 (x86_64)
- mecab-ipadic-neologd
- gensim==0.13.4.1
- glove-python==0.1.0
- mecab-python3==0.7
glove-pythonはデフォルトでは動かない.
Macの標準コンパイラがgccではなくclangだからである.
glove-pythonには環境を調査し,それに応じたコンパイラを指定する機能があるがそれが 標準では動作していない.
Githubからcloneする
$ git clone https://github.com/maciejkula/glove-python.git
setup.pyを編集
define_extensions関数のはじめにset_gcc関数を呼び出すようにする
def define_extensions(cythonize=False):
set_gcc()
compile_args = ['-fopenmp',
'-ffast-math']
以下を実行するとインストールできる
$ sudo python setup.py install
できない場合はgcc周りの環境が整っていないので,gccの4.9以上をインストール
$ brew install gcc