紹介する書籍は、発行が岩波書店、著者が岡野原 大輔氏の「拡散モデル データ生成技術の数理」です。 本書は、DALL-E2やMidjourney、Stable Diffusionなどの生成サービスやソフトにおいて、データ生 […]
【Doc2Vec:その5】まとめと問題点
Doc2Vecについて今まで4回にわたって記事を書いてきました。 今回は前回までの簡単なまとめと、Doc2Vecを使う際の問題点について記述していきたいと思います。 Doc2Vec記事のまとめ Pythonのgensim […]
【Doc2Vec:その4】評価値向上の検証
前回、簡単なモデル作成まで行いました。 文書内の区分ごとで比較したところ文章が長い方が評価結果が良い傾向になりました。しかし、パラメータ調整することや、学習データに手を加えるなど評価値を上げる方法はいくつか考えることがで […]
【Doc2Vec:その3】モデルの評価
本記事では実際に作成したモデルを評価した方法について紹介します。 評価に関しては正解不正解が判定できる2値分類などと違い、対象としたものによって上手く評価方法を見極めて評価してする必要があります。 そのため、本記事では1 […]
【Doc2Vec:その2】gensimでの実装方法
本記事では実際にgensimを使って文書のベクトル化をしていく方法について記述していきます。 gensimのDoc2Vecの記述方法と学習に使う文書データの2つについて記述していきます。 Pythonの全体コード [cr […]