Gen AI Leader合格への道#3：生成AIの基礎概念

• ・人工知能（AI）：人間のようなタスクをこなす機械
  最も広範な分野です。人工知能（AI）とは、学習、問題解決、意思決定など、人間の知能を必要とするタスクを実行できる機械を構築するという、非常に幅広い領域を指します
• ・機械学習（ML）：データから学習するAIの一分野
  AIのサブセットです。これは、機械がデータから学習（learn from data）することで特定のタスクを達成するためのアプローチを指します。MLモデルは、与えられたデータを分析し、パターンを識別することで、新しい情報が提示された際に、人間が経験に基づいて推測を行うように（MLモデルは確率を用いて）予測や出力を生成します
• ・生成AI（Gen AI）：新しいコンテンツを作成する機械学習の応用
  生成AIはMLのサブセットであり、画像やテキストなどの新しいコンテンツを作成（create new content）することに特化したAIの応用です。生成AIの最大の特徴は、単なる予測ではなく、全く新しいものを創造する能力にある点です。特に2022年からの大規模言語モデル（LLM）の進化と計算能力の向上により、その能力は飛躍的に高まりました
• ・ディープラーニング
  生成AIの目覚ましい能力を支える主な技術が「ディープラーニング」です。これは強力な機械学習のサブセットで、多層構造を持つ「人工ニューラルネットワーク（artificial neural networks with many layers）」を使用します。このネットワークがデータから非常に複雑なパターンを抽出（extract complex patterns）し、高度な処理や生成を可能にしています
• ・基盤モデルと大規模言語モデル（LLMs）について
  さらに、生成AIの進化において重要な役割を果たすのが「基盤モデル（Foundation Models）」と呼ばれる強力なMLモデルです。これらは、大量のラベルなしデータ（unlabeled data）で事前に訓練されており、複雑なパターンを学習することで、様々なタスクを実行できる幅広い理解力を持っています。中でも、人間が話す言語を理解し生成するために特化された「大規模言語モデル（LLM）」は、特に注目すべき基盤モデルの一種です

• ・構造化データ（Structured data）
  あらかじめ定義された「型（predefined structure）」を持つデータで、まるで整理整頓されたデジタルファイルキャビネットのように、表形式で規則正しく整理されています。リレーショナルデータベースに保存されることが多く、必要な情報を簡単に検索・利用できます。例としては、顧客ID、購入日、注文費用といった情報や、オンラインショッピングの注文履歴、銀行の明細書などがあります。
• ・非構造化データ（Unstructured data）
  事前に決められた構造（predetermined structure）を持たないデータです。テキスト文書（PDF、メール、SNS投稿、自由形式の顧客レビュー）、画像（写真、デジタルアート）、音声（録音、音楽ファイル）、動画など、多種多様で、行や列に簡単に整理できないため、より高度な分析技術が必要となります。

• ・正確性（Accuracy）
  データが不正確であれば、モデルは誤ったパターンを学習し、間違った予測をしてしまいます
• ・完全性（Completeness）
  データセットのサイズと、そのデータが対象全体をどれだけ代表しているかを指します。正確な予測のためには、十分なサイズと代表性が必要です
• ・代表性（Representative）
  データが偏りなく全体を反映している必要があります。そうでなければ、偏った結果につながる可能性があります
• ・一貫性（Consistency）
  データの形式やラベル付けに一貫性がないと、モデルを混乱させ、効果的な学習を妨げてしまいます
• ・関連性（Relevance）
  AIが実行するように設計されたタスクに、データが直接関連している必要があります

• ・可用性（Availability）
  必要なデータがそもそも入手できない場合、AIモデルを訓練することはできません。
• ・コスト（Cost）
  データの収集とクレンジングには費用がかかる場合があります。
• ・フォーマット（Format）
  データは、AIモデルが理解し処理できる形式である必要があります。

AIにそのデータを活用して何が可能になるかを理解するためには、自社のデータ、その品質、可用性、フォーマットを深く理解することが不可欠です。

• ・ステップ1：データの取り込みと準備（Data ingestion and preparation）
  MLライフサイクルの最初の段階は、データの収集（データインジェストとも呼ばれます）と準備です。これは、モデルのトレーニングに必要な生データを様々なソースから集め、クリーンアップし、適切な形式に変換するプロセスです。効果的なモデル訓練には、達成したい結果に基づいて必要なデータを特定し、それを分析やモデル訓練に使える形に整理・ラベリングすることが重要です
• ・ステップ2：モデルの学習（Model training）
  次に、収集・準備されたデータを使ってMLモデルを作成するプロセスが、「モデルの学習（訓練）」です。この段階で、データを用いてMLモデルを構築し、データ内のパターンを学習させます
• ・ステップ3：モデルのデプロイ（Model deployment）
  モデルの訓練が完了したら、その訓練済みモデルを実際に利用可能な状態にするプロセスが「モデルのデプロイ」です。これにより、モデルは予測を生成したり、実際のアプリケーションで機能したりできるようになります
• ・ステップ4：モデルの管理と維持（Model management）
  MLライフサイクルの最後の段階は、デプロイされたモデルの管理と維持です。これは、モデルのパフォーマンスを継続的に監視し、時間の経過とともにメンテナンスを行うフェーズです。具体的な作業には、モデルのバージョニング、パフォーマンスの追跡、時間の経過に伴う精度変化（ドリフト）の監視、データの管理、そして機械学習タスクの自動化などが含まれます

• ・教師あり学習（Supervised learning）：ラベル付きデータで予測を学ぶ
  教師あり学習は、ラベル付きデータ（labeled data）を使用する手法です。ラベル付きデータとは、例えば犬の「画像」とそれが「犬である」という情報のように、入力データと正しい出力がペアになった情報のことです。モデルは、これらのペアからパターンや関係性を学習し、新しい未知の入力に対して正確な出力を予測できるようになります。 例えば、画像に写っている動物の種類を特定することや、メールが迷惑メールかどうかを自動で判別することなどが教師あり学習の典型例です。
• ・教師なし学習（Unsupervised learning）：ラベルなしデータでパターンやグループを見つける
  教師なし学習は、ラベルが付けられていない生のデータ（unlabeled data）から、そこに隠された自然なグループ分けやパターンを見つけ出す手法です。事前の指示なしに、データそのものに潜む構造や関連性を発見します。これは、データの探索的分析（Exploratory Data Analysis）と考えることができ、これまで気づかなかった洞察を発見するのに役立ちます。 例えば、顧客の購買履歴から類似した購買習慣を持つ顧客セグメントを自動で見つけ出したり、文書群から主要なトピックを特定したりできます。
• ・強化学習（Reinforcement learning）：試行錯誤とフィードバックで最適な行動を学ぶ
  強化学習は、モデルが環境と相互作用（interact with the environment）しながら、報酬を最大化し、ペナルティを最小化する行動を学習するアプローチです。良い行動には報酬を与え、悪い行動は避けるように学習する様子は、ペットの訓練に似ています。この方法は、明示的な指示やラベル付きデータが利用できない状況で特に役立ちます。 例えば、工場内のロボットが最適な動きを学習し、製品を効率よく組み立てる方法を学ぶケースが挙げられます。ロボットは様々な動作を試行し、その結果からより良い動作を見つけ出し、最も効率的な経路や手順を自律的に見つけ出していきます。

• ・透明性（Transparency）
  ユーザーは、自分の情報がどのように使用され、AIシステムがどのように機能するのかを理解できる必要がある
• ・プライバシー保護（Privacy）
  個人が特定されないようデータを匿名化・仮名化し、AIモデルが訓練データから機密情報を漏洩しないよう安全対策を講じることが重要
• ・データ品質、バイアス、公平性（Data quality, bias, and fairness）
  AIシステムは既存の社会的バイアスを継承・増幅（inherit and amplify existing societal biases）させる可能性がある。不正確なデータは偏った結果につながるため、公平性をAI開発の核（core principle）とし、データの質と責任ある使用を考慮することが重要
• ・説明責任と説明可能性（Accountability and explainability）
  AIの行動について誰が責任を負うのかを明確にし、AIがどのように意思決定を行うのかを理解する必要がある。説明可能なAI（Explainable AI）は、モデルの意思決定プロセスを透明化し、信頼構築やエラーのデバッグ、隠れたバイアスの発見に不可欠
• ・法的な影響（Legal implications）
  AI開発はデータプライバシー、非差別（non-discrimination）、知的財産など、法的な枠組みによって規制が進んでいる。法的なコンプライアンスは、信頼できるAIを構築するために極めて重要 倫理的なAI開発の主な目的は、AIシステムが責任を持って使用され、害を引き起こさないようにすることです。