機械学習の分野ではモデルをトレーニングするためには豊富なデータが重要であることがよくありますが、それが常にすぐに利用できるわけではありません。そこで登場するのが転移学習です。既存の事前トレーニング済みモデルを活用する貴重なアプローチです。この記事では転移学習の定義、手法、アプローチについて詳しく説明します。さらに、転移学習が提供する幅広い応用についても理解しましょう。

転移学習とは?

転移学習とはあるタスクから学習した知識を活用して、関連する別のタスクの性能を向上させる機械学習手法です。従来の機械学習では通常、大規模なデータセットを使用して、特定のタスクごとにモデルを最初からトレーニングします。ただし、転移学習を使用すると、1つの問題の解決から得た知識を使用して、関連する別の問題をより効率的に解決できます。

転移学習の背後にある基本的な考え方が2つのタスク間に共通のパターン、特徴、または表現があるため、1つのタスクを解決することで学習した知識を別のタスクに適用できるというものです。

たとえば、さまざまな種類の動物を分類するためにトレーニングされたモデルを使用して、さまざまな種類の植物を識別および分類できます。

転移学習の仕組みは?

転移学習が新しい関連する問題の開始点として事前トレーニングされたモデルを使用するディープラーニングの強力な手法です。事前トレーニングされたモデルは通常、同様のタスクでトレーニングされ、新しい問題に活用できる便利な機能を学習しています。転移学習プロセスには、事前トレーニングされたモデルの特定のレイヤーのフリーズが含まれます。つまり、新しいデータセットで残りのレイヤーをトレーニングしながら、トレーニング中に重みは変更されません。

転移学習に主に2つのアプローチがあります。最初のアプローチで事前トレーニングされたモデルの一部のレイヤーがフリーズされ、残りのレイヤーのみが新しいデータセットでトレーニングされます。2番目のアプローチでは、新しいモデルが作成され、事前トレーニングされたレイヤーから選択された特徴が新しいモデルに組み込まれ、その後、新しいデータセットでトレーニングされます。

どの層をフリーズし、どの層をトレーニングするかの決定は事前トレーニングされたモデルから求められる特徴継承のレベルによって異なります。

転移学習技術

転移学習手法がソースタスクからの知識を活用してターゲットタスクの性能を向上させるために使用される一連の方法です。転移学習手法にはタスクドメインとラベル付きデータまたはラベルなしデータの存在に基づいて、3つの主要なカテゴリが存在します。

1. 帰納的転移学習では、タスクは異なる可能性がありますが、ソースドメインとターゲットドメインが同じであることを前提としています。事前トレーニングされたモデルの知識を使用してターゲットタスクのパフォーマンスを向上させ、学習されたドメイン固有の機能のメリットを受けることが目的です。さらに2つのサブカテゴリーに分類できます。1つはソースドメインにラベル付きデータがあるマルチタスク学習、もう1つはソースドメインにラベル付きデータがない自己学習です。
2.  
3. 教師なし転移学習は帰納的転移学習に似ていますが、教師なしタスクに集中しており、ソースタスクとターゲットタスクの両方でラベルなしのデータセットを利用します。このアルゴリズムがソースドメインのラベル付きデータに依存するのではなく、教師なし学習手法を使用して、ラベルなしのデータから意味のあるパターンと表現を学習します。この知識がターゲットタスクに適用され、明示的なラベルなしで性能が向上します。
4.  
5. トランスダクティブ転移学習は、ソースとターゲットのタスク ドメインが同一ではなく相互接続されている場合に適用されます。通常、ソース ドメインにはラベル付きのデータが含まれますが、ターゲットドメインは主にラベルのないデータで構成されます。この手法では、ソースドメインのラベル付きデータを利用して、2 つのドメイン間の類似点とつながりを特定することで、ターゲットタスクの性能を向上させます。ソースドメインのラベル付きデータから貴重な洞察とパターンを抽出し、それらをターゲット ドメインのラベルなしデータに適用して、モデルのパフォーマンスを向上させることが目的です。

転移学習の種類

深層学習における転移学習にはさまざまな種類があり、それぞれが特定のシナリオに対応するように調整されています。

• ドメイン適応：このタイプの転移学習は、ソースドメインとターゲットドメインの特徴空間とデータ分布が異なる状況に対処します。1つ以上のソースドメインからの知識を適応させて、ターゲットドメインの性能を向上させることが目標です。ソースドメインとターゲット ドメインの分布を調整することにより、ドメインの適応により効果的な知識の伝達が促進されます。
• ドメインの混乱：ニューラルネットワークには、さまざまな複雑さの特徴を識別する層があります。ドメインの混乱は、ソースドメインとターゲットドメイン間の特徴表現の類似性を促進することでドメインの不変性を達成することを目的としています。これは、ドメイン混乱損失と呼ばれる手法を通じて、ソースドメイン自体を意図的に混乱させる目的をモデルに追加することによって行われます。
• マルチタスク学習：このアプローチでは、同じドメイン内の複数のタスクが同時に学習されます。一連のタスクを共同学習し、共有された知識を活用することでタスク全体の性能を最適化し、異なるタスク間での知識の伝達を促進します。
• ワンショット学習：ワンショット学習には学習対象となる1つまたは少数の例のみがモデルに与えられ、将来的にはより多くの新しい例を分類することが期待される分類タスクが含まれます。各クラスの限られた例でトレーニングされた基本モデルからの知識の伝達に大きく依存しており、新しいまだ見たことのない例で正確な予測を行うには、適切に一般化する必要があります。
• ゼロショット学習：ゼロショット学習ではトレーニング中に特定のクラスからのラベル付きデータサンプルに依存せずに転移学習が使用されます。代わりに、追加データを利用して、トレーニング中に目に見えないデータを理解します。このアプローチがターゲット言語またはクラスのラベル付きデータが利用できない場合に便利で、機械翻訳などのシナリオに適用できます。
•  

転移学習への一般的なアプローチ

同種転移学習

同次転移学習がドメインが同じ特徴空間を共有しているものの、周辺分布にわずかな違いがある可能性があるシナリオを扱います。このカテゴリには次のものが含まれます。

1. インスタンスの転送：豊富なラベル付きデータを含むソースドメインから、限定されたラベル付きインスタンスを含むターゲットドメインへの知識の転送が含まれます。ターゲットドメインの周辺分布を適応させてモデルの性能を向上させることが目的です。
2. パラメータの転送：モデル/パラメータ レベルでの知識の転送に重点を置きます。これには、ソフトまたはハードの重み共有を通じて、ソースドメインモデルとターゲットドメインモデルの間で重みを共有することが含まれます。
3. 特徴表現の転送：元の特徴を変換して、ターゲットドメインの特徴空間と一致する新しい表現を作成します。わずかな違いに対処しながら関連情報を保存するために、非対称または対称的に実行できます。
4. リレーショナル知識の伝達：リレーショナルベースの伝達学習がソースドメインとターゲットドメイン間の関係の学習と活用に重点を置きます。ソース ドメインから論理関係またはルールを抽出し、それらを適用してターゲット ドメインの理解と推論の能力を強化することが目的です。

異種転移学習

異種転移学習がソースドメインとターゲットドメインの間の特徴空間が大きく異なるシナリオに対処します。効果的な知識の伝達を可能にし、さまざまなデータ分布とラベルスペースを使用するクロスドメインタスクの性能を向上させることに集中しています。

転移学習の活用例

転移学習の応用は次の通りです。

画像の分類

ImageNet のような大規模な画像データセットでトレーニングされたモデルなど、事前トレーニングされたモデルが新しい画像分類タスクの特徴抽出器として使用できます。下位レイヤーの重みを再利用することで、モデルはエッジ、形状、テクスチャなどの一般的な特徴を学習できる一方で、特定のタスクに合わせて上位レイヤーのみをトレーニングできます。

自然言語処理(NLP)

自然言語処理(NLP)の焦点は、人間の言語を音声またはテキスト形式で理解および分析できるシステムを開発し、音声アシスタント、音声認識、言語翻訳などのアプリケーションを使用して人間と機械の対話を改善できるようにすることです。転移学習がさまざまな言語要素、方言、語彙に基づいてトレーニングできるようにすることで、NLPモデルを強化し、さまざまな言語に適応できるようにする上で重要な役割を果たします。NLPにおける転移学習の例は、Googleのニューラル翻訳モデル(GNMT)です。共通言語を仲介者として使用して言語間翻訳を促進し、利用可能なデータから翻訳メカニズムを学習することで精度を向上させます。

ニューラルネットワーク

ニューラルネットワークは基礎として機能し、人間の脳の働きを模倣します。ただし、モデルの複雑さにより、トレーニングには大量の計算がかかることが判明する可能性があります。この課題に対処するために、リソース需要を削減し、トレーニング効率を高める転移学習が解決策として登場します。転移学習には、あるネットワークから取得した貴重な機能を別のネットワークに転送することが含まれ、微調整が容易になり、モデル開発が迅速化されます。

結論

転移学習が既存の知識の力を利用してモデルの構築および適用方法に革命をもたらす、機械学習の変革ツールとして登場しました。このアプローチを活用することで、転移学習は効率性と費用対効果の新時代をもたらし、企業が投資と開発時間を最小限に抑えながら性能の向上に大きく前進することができます。イノベーションを推進し、新たな可能性を発揮する能力を持つ転移学習がさまざまな領域にわたる将来の進歩の原動力となることが期待されており、機械学習の専門家と企業にとって同様に不可欠な資産となっています。