近年、機械学習を用いて様々なタスクを処理することや、自動化することが増えています。 今回はそんな機械学習により文書をベクトル化するDoc2Vecというものについて記述していきたいと思います。 5回にわたりDoc2Vecに […]
入力データを作成して、学習させる
早速、訓練データとテストデータを作成してみたいと思います。非常に簡単な例として、一次関数のグラフを書いて、適当に点をプロットして、そのグラフよりも下にある点を+1、そのグラフよりも上にある点を-1としたものをデータとして […]
モデルを評価する(補足)
交差検証という名称について 前のエントリーで、交差検証について書きましたが、交差検定と呼ばれることもあります(ありました?)。ただ、検定というと、統計学の用語であって、あらぬ誤解を生む可能性があるので、交差検証又は交差確 […]
モデルを評価する
作成したモデルが良いものであるか、そうでないかを判断するにはどうすればよいでしょうか。よく使われる手法としては、交差検証(分割交差検証、n-fold cross-validation)が行われます。 n-fold cro […]
SVMに入力するデータについて
前回のエントリーでSVMにはベクトルを入力すると言いました。また、学習のためには、そのベクトルがそのジャンルに含まれるか含まれないか、という目印も必要です。 これまでジャンル、という曖昧な言葉を使っていましたが、今後は、 […]