Retrofitting：学習メモ
サイズ：     
  USER
  サンプルユーザ
サンプル用のユーザです。
 WEB
    学習ノート
機械学習関連の学習に使えそうな本や動画を調べ、整理してみました。（なるべくFREEのものを優先しました）

* 尚、ノートの文章は一部を除きAIに書いてもらったもので、正確性はありません。
* ノートにchatGPT等AIに作ってもらった表を貼るには、「マークダウンのコードに変換して」と頼めば書き出してくれるので、ノートを「markdown」編集モードにして、コピペすれば簡単です。
sub  

Loading ...

    ノート表示（LV2）
Retrofitting：学習メモ   LV2     Link：no title   2024/2/9
”
”
  引用元：
  引用元：
#### Retrofitting

この講義では、単語埋め込みを改善するためのretrofitting手法と、その最適化アルゴリズムについて説明されています。

------

1. 単語埋め込み (Word Embeddings): 自然言語処理タスクで使用される単語のベクトル表現。単語間の意味的・構文的類似性を捉える。

2. Retrofitting: 既存の単語埋め込みを、外部知識（例：同義語辞書、関連語辞書、階層的分類など）を利用して改善する手法。

3. クリーンアップ (Clean-up) 操作: Retrofittingの一部で、単語ベクトル間の距離を最適化し、単語の意味的関係を改善する。

4. 損失関数: Retrofittingでは、2つの要素からなる損失関数を最小化する。1つ目は既存の単語埋め込みと改善後の埋め込みの距離、2つ目は関連単語間の距離。

5. 最適化アルゴリズム: 損失関数を最小化するために、最急降下法や準ニュートン法などの最適化アルゴリズムが使用される。

6. Retrofittingの利点: Retrofittingは、知識ベース（例：WordNet）や関連語辞書（例：PPDB）などの外部情報を利用して単語埋め込みの質を向上させることができる。
clip （公開時は表示されません）
  sub_notes （LV3）   全て開く   全て閉じる
none   LV3 4月17日  
0
”
”
  引用元：
  引用元：
none
 sub

  コメント

  コメントを書く
ads
ads