G検定の単語帳

単語や画像などの対象を、計算しやすい数値ベクトルとして表すこと。Embeddingとも呼びます。

たとえば

文章をベクトル化し、近い意味の文書を検索します。

覚えるポイント

ベクトル間の近さの意味は学習方法に依存し、人間の意味判断と必ず一致するわけではありません。

不正競争防止法で保護される情報の一つ。秘密管理性・有用性・非公知性の三要件を満たす必要があります。

たとえば

秘密として管理する、一般に知られていない有用な製造ノウハウなどです。

覚えるポイント

会社が持つ情報すべてが営業秘密になるわけではありません。三要件をセットで覚えます。

専門家の知識を規則などで表し、推論によって判断を支援するシステム。知識ベースと推論機構が中心です。

たとえば

症状と診断候補の関係を規則にして、候補を絞り込みます。

覚えるポイント

専門知識の収集・更新が難しい「知識獲得のボトルネック」が課題です。

入力を潜在表現に変換し、そこから入力を再構成するよう学習するネットワーク。

たとえば

通常のデータを再構成するモデルを使い、再構成誤差から異常の候補を探します。

覚えるポイント

入力の丸暗記を避けるため、表現の大きさやノイズなどの制約を設けます。

目的となる数値を予測するタスク。入力と出力の関係を学習します。

たとえば

広さや築年数から住宅価格を予測します。

覚えるポイント

ロジスティック回帰は名前に回帰とありますが、主に分類に用いられます。

訓練データの細かな偏りやノイズに合わせすぎて、未知のデータで性能が低下する状態。

たとえば

練習用の画像だけ高精度で、新しい画像では誤りが増えます。

覚えるポイント

訓練誤差と検証誤差の差に注目し、正則化やデータ拡張などで対処します。

データへ段階的にノイズを加える過程に対応して、ノイズを取り除く過程を学習する生成モデル。

たとえば

ノイズから段階的に画像を生成し、文章による条件を反映させます。

覚えるポイント

生成器と識別器を競わせるGANとは、学習や生成の仕組みが異なります。

勾配に基づいてパラメータを更新するときの、更新幅を調整する値。

たとえば

大きすぎると損失が振動・発散し、小さすぎると学習に時間がかかる場合があります。

覚えるポイント

学習が進むにつれて学習率を下げるスケジュールも使われます。

ニューロンへの入力を変換して出力する関数。非線形関数を挟むことで複雑な関係を表現できます。

たとえば

ReLUは負の入力を0にし、正の入力はそのまま出力します。

覚えるポイント

線形な変換だけを重ねても、全体は一つの線形な変換にまとめられます。

一つひとつの判断規則を人が書く代わりに、データから規則性を学び、予測や分類などに利用する方法。

たとえば

過去の住宅の広さと価格を学び、新しい住宅の価格を予測します。

覚えるポイント

訓練データでの成績より、未知のデータに対応できる汎化性能が大切です。

環境との相互作用で得た報酬を手掛かりに、将来の累積報酬を大きくする行動の選び方を学ぶ方法。

たとえば

ゲームで目先の得点を逃しても、後の勝利につながる行動を学びます。

覚えるポイント

各行動の正解ラベルを与える教師あり学習とは異なります。

入力と正解ラベルの組から、未知の入力に対する出力を予測する学習。分類と回帰が代表例です。

たとえば

迷惑メールかどうかを示したメールを使って、判定モデルを学習します。

覚えるポイント

数値を予測する回帰も教師あり学習です。「教師」は人間が毎回指示する意味ではありません。

正解ラベルを与えずに、データの構造や特徴を見つける学習。クラスタリングや次元削減が代表例です。

たとえば

購買傾向が似た顧客をグループに分けます。

覚えるポイント

発見したグループが、業務上意味のある分類に一致するとは限りません。

データ同士の類似性を基にグループへ分ける方法。教師なし学習の代表です。

たとえば

利用頻度と購入金額が近い顧客をまとめます。

覚えるポイント

正解ラベルに合わせる分類とは違い、距離やグループ数の設定で結果が変わります。

特徴量に対する条件分岐を木構造で組み合わせて、分類や回帰を行うモデル。

たとえば

「購入回数が3回以上か」などの条件で顧客を分けます。

覚えるポイント

木を深くしすぎると訓練データに合わせすぎるため、深さなどを制限します。

データを分割し、学習用と検証用の役割を変えながら複数回評価する方法。

たとえば

5分割では1組を検証、残りを学習に使う処理を5回行います。

覚えるポイント

時系列や同一人物のデータでは、単純なランダム分割が情報漏れを招く場合があります。

損失の勾配と逆向きへパラメータを動かし、損失を小さくする最適化手法。

たとえば

坂の傾きを調べ、低い方へ少しずつ進むイメージです。

覚えるポイント

必ず大域的な最小値へ到達するとは限りません。更新幅は学習率で調整します。

逆伝播する勾配が小さくなり、入力に近い層などのパラメータが十分に更新されなくなる問題。

たとえば

深いネットワークや長い時系列で、遠い情報の影響を学びにくくなります。

覚えるポイント

活性化関数やスキップ結合、LSTMなどの構造が改善に役立ちます。

連鎖律を利用し、出力側から入力側へ計算を進めて、各パラメータに対する損失の勾配を求める方法。

たとえば

予測のずれが、各層の重みにどれだけ影響されるかを計算します。

覚えるポイント

勾配を求める手続きです。重みを実際に更新する最適化手法とは役割が異なります。

生存する個人に関する情報で、特定の個人を識別できるものや、個人識別符号を含むもの。ほかの情報と容易に照合して識別できる場合も含まれます。

たとえば

氏名と連絡先を組み合わせた顧客情報が一例です。

覚えるポイント

個人情報と、それを検索可能なデータベース等にした個人データは区別して学びます。

時間の経過などで、入力と予測対象との関係が変化すること。

たとえば

顧客行動が変わり、以前は解約の兆候だった行動が兆候でなくなります。

覚えるポイント

入力データの分布だけが変わる場合と区別し、運用中の性能を監視します。

実際のクラスと予測したクラスの組合せごとに件数をまとめた表。分類の誤り方を確認できます。

たとえば

病気を陽性とすると、見逃しは実際が陽性で予測が陰性のFNです。

覚えるポイント

TP・FP・FN・TNを、どちらが実際でどちらが予測か確認して読みます。

実際に陽性のもののうち、陽性と予測できた割合。式は TP/(TP+FN) です。

たとえば

実際の不正20件のうち16件を検出できれば80%です。

覚えるポイント

分母は「実際の陽性件数」。見逃しを減らしたい場面で注目します。

推論や認識など、人間の知的な活動に関わる処理をコンピュータで実現する研究分野や技術。対象とする知能の範囲には複数の考え方があります。

たとえば

画像から不良品を見つける仕組みや、条件に合う手順を探索する仕組みもAIの応用です。

覚えるポイント

AI、機械学習、深層学習は同義ではありません。深層学習は機械学習の一手法です。

多層のニューラルネットワークを使い、入力から段階的に特徴表現を学ぶ機械学習の方法。ディープラーニングとも呼びます。

たとえば

画像の局所的な模様を組み合わせ、物体を判別する特徴を学びます。

覚えるポイント

層を増やせば必ず精度が上がるわけではなく、データや学習方法も重要です。

記号がほかの記号との関係だけでなく、実世界の対象や経験とどう結び付き、意味を持つかという問題。

たとえば

「りんご」を辞書の別の言葉だけで説明し続けても、実物との対応が得られるとは限りません。

覚えるポイント

考慮範囲の問題であるフレーム問題とは区別します。

途中の層を飛び越える経路を設け、手前の情報を後の層へ渡す接続。

たとえば

ResNetでは入力xと変換結果F(x)を足して出力します。

覚えるポイント

深いネットワークで情報や勾配を伝えやすくします。単に層を削除する仕組みではありません。

すべての予測のうち、正しかった予測の割合。二値分類では (TP+TN)/(TP+FP+FN+TN) です。

たとえば

100件中90件が正しければ正解率は90%です。

覚えるポイント

陽性が1%なら全件を陰性とするだけで99%になります。偏ったデータでは他の指標も必要です。

モデルの複雑さなどに制約を加え、過学習を抑えるための工夫。L1・L2正則化などがあります。

たとえば

大きな重みにペナルティを加え、訓練データへの過度な適合を抑えます。

覚えるポイント

L1は重みを0にしやすく、L2は重みをなめらかに小さくする傾向があります。

画像を画素単位などで領域に分けるタスク。セマンティックはクラス、インスタンスは個々の物体も区別します。

たとえば

道路画像で車・歩道・空を画素ごとに塗り分けます。

覚えるポイント

物体検出が主に位置を囲む枠を出すのに対し、より細かい領域を扱います。

モデルがなぜその結果を出したかについて、人が理解できる情報を提供できる性質。

たとえば

予測に強く影響した特徴量を示し、判断を点検します。

覚えるポイント

後から作った説明が、モデルの内部処理を完全かつ忠実に表すとは限りません。

代表的なピアソンの相関係数は、二つの変数の線形な関係を−1から1で表します。

たとえば

身長が高い人ほど体重も大きい傾向があれば、正の相関が見られます。

覚えるポイント

相関だけで因果関係は証明できません。0でも非線形な関係がある場合があります。

複数の実数を、各値が正で合計が1となる値の組に変換する関数。多クラス分類の出力などに使います。

たとえば

犬・猫・鳥のスコアを、クラスごとの確率として解釈できる値へ変換します。

覚えるポイント

各クラスを独立に判定する多ラベル分類では、シグモイド関数などを使う構成があります。

予測と目標のずれを数値化する関数。学習では通常、この値を小さくするようパラメータを調整します。

たとえば

回帰では平均二乗誤差、分類では交差エントロピーなどを使います。

覚えるポイント

学習で最小化する損失と、業務で重視する評価指標が同じとは限りません。

小さなフィルタを入力上で動かし、局所的な情報を重み付きで集約する処理。

たとえば

画像内の輪郭や模様に反応する特徴マップを作ります。

覚えるポイント

フィルタの重みを位置間で共有します。全結合層とは接続の仕方が異なります。

教師となるモデルの出力などを使い、生徒となるモデルへ振る舞いを学習させる手法。

たとえば

大きなモデルのクラスごとの確率を、小さなモデルの学習に使います。

覚えるポイント

人が付けた正解ラベルだけでなく、クラス間の関係も学習の手掛かりになります。

対話相手が人間か機械かを判定する枠組みを通じて、機械の知的な振る舞いを考えるテスト。

たとえば

文字で対話した判定者が、人間の回答と機械の回答を区別できるかを調べます。

覚えるポイント

人間らしい応答と、意識や意味理解が実際にあることは別の論点です。

人の考えや感情を創作的な表現にした、文章・音楽・美術などの作品。単なる事実やアイデア自体とは区別されます。

たとえば

同じ風景でも、構図や表現に創作性のある写真は保護の対象になり得ます。

覚えるポイント

公開されていることと、自由に複製・利用できることは別です。利用条件や例外規定を確認します。

ラベルの意味を保つ範囲でデータを変換し、学習データの多様性を増やす方法。

たとえば

画像を切り抜いたり、明るさを変えたりして学習します。

覚えるポイント

数字の上下反転など、正解が変わる変換は不適切な場合があります。

予測時には使えない情報や評価データの情報が学習過程に入り、評価が不当に良くなること。

たとえば

全データの平均で欠損を埋めた後に学習・評価へ分割すると、評価側の情報が混ざります。

覚えるポイント

前処理の学習も訓練データ内で行い、時系列や個体の重複にも注意します。

陽性と予測したもののうち、実際に陽性だった割合。式は TP/(TP+FP) です。

たとえば

不正と判定した10件のうち8件が本当に不正なら80%です。

覚えるポイント

分母は「陽性と予測した件数」。誤検知を減らしたい場面で注目します。

ある課題で得た知識や表現を、別の課題の学習に利用する方法。

たとえば

大規模画像データで学んだモデルの特徴を、工場の不良品分類に利用します。

覚えるポイント

事前学習と対象課題の違いが大きいと、性能が悪化する負の転移もあります。

訓練中、ニューロンの出力などを一定の確率で一時的に無効にする正則化手法。

たとえば

毎回異なる一部のユニットを休ませ、特定の組合せへの依存を抑えます。

覚えるポイント

通常、推論時は無効化を行いません。訓練時と推論時で振る舞いが異なります。

AIの判断や運用に人が関与し、必要に応じて確認・修正・停止できるようにすること。

たとえば

重要な判断を人が確認し、問題があれば運用を止められる仕組みにします。

覚えるポイント

担当者を置くだけでなく、判断材料・確認時間・介入権限が必要です。

データや判断に含まれる偏り。機械学習ではモデルの仮定に由来する誤差や、ニューロンの加算項も指します。

たとえば

一部の集団のデータが少ないと、その集団の性能が低下することがあります。

覚えるポイント

倫理上の偏り、バイアス・バリアンス、層のパラメータのどの意味かを文脈で判断します。

ミニバッチの統計量などを使って中間表現を正規化し、学習可能な係数で変換する手法。

たとえば

中間層の値のスケールを整え、学習を進めやすくします。

覚えるポイント

通常、推論では学習中に蓄積した統計量を使います。Layer Normalizationとは集計軸が異なります。

出発点に近い深さの候補から順に調べる探索。一般に待ち行列を使います。

たとえば

迷路で、出発点から1歩、2歩と進める場所を順に調べます。

覚えるポイント

各辺のコストが等しい場合は最短の手数を見つけられますが、多くの候補を保持します。

生成AIが、事実や与えられた根拠と一致しない内容を、もっともらしく出力する現象。

たとえば

存在しない論文名や引用元を挙げることがあります。

覚えるポイント

流暢さは正確さの保証ではありません。検索で補助しても完全には防げません。

学習に使用していないデータにも、学習した規則性を適用できること。

たとえば

過去の顧客から学んだモデルが、新しい顧客にも適切に予測します。

覚えるポイント

未知データの分布が大きく変わる場合まで、自動的に保証されるわけではありません。

分散の正の平方根。データと同じ単位で散らばりの大きさを表せます。

たとえば

分散が9平方センチメートルなら、標準偏差は3センチメートルです。

覚えるポイント

分散と標準偏差は、値だけでなく単位も違います。

事前学習済みモデルのパラメータの一部または全体を、対象データで追加学習すること。

たとえば

一般的な文章で学習したモデルを、社内の問い合わせ例で調整します。

覚えるポイント

外部文書を検索して入力へ加えるRAGとは異なり、モデルのパラメータを更新します。

近傍の値を最大値や平均値などでまとめ、特徴マップの空間サイズを小さくする処理。

たとえば

2×2領域から最大値を一つ取り出すのが最大プーリングです。

覚えるポイント

一般的な最大・平均プーリングには学習する重みがありません。

一つの枝を深く調べ、行き止まりなどに達したら戻って別の枝を調べる探索。

たとえば

迷路の一方の道を先へ進み、行き止まりで分岐へ戻ります。

覚えるポイント

最初に見つかる解が最短とは限りません。循環への対策も必要です。

個人の私生活や情報の扱いに関わる利益・価値。AIでは収集から利用、公開まで配慮が必要です。

たとえば

学習データに含まれる個人の情報が、出力から推測されないかを点検します。

覚えるポイント

名前を消すだけで十分とは限りません。他の情報との組合せも考慮します。

行動を考えるとき、状況のどの変化や情報を考慮すべきかを適切に限定する難しさ。

たとえば

コップを移す際に、部屋の壁の色が変わるかまで検討していては判断が進みません。

覚えるポイント

計算能力だけでなく、関連する事柄を選ぶ問題として捉えます。

値が平均からどれほど散らばっているかを、平均との差の二乗で表す量。

たとえば

全体を母集団とする値1と3は平均2、分散は(1+1)/2=1です。

覚えるポイント

標本から母分散を推定する不偏分散では、分母にn−1を使います。

入力がどのクラスに属するかを予測するタスク。二値分類と多クラス分類などがあります。

たとえば

画像を犬・猫・鳥のクラスに分けます。

覚えるポイント

ラベルなしで集団を見つけるクラスタリングと区別します。

テキスト・画像・音声など、複数の種類の情報を組み合わせて扱うこと。

たとえば

写真と質問文を入力し、写真の内容について回答させます。

覚えるポイント

扱うモダリティと入力・出力の組合せを確認します。

データの抽出や分岐候補の特徴量にランダム性を入れて複数の決定木を作り、予測を集約する手法。

たとえば

分類では複数の木の予測を多数決などでまとめます。

覚えるポイント

単一の木と比べて予測のばらつきを抑えやすい一方、全体の説明は複雑になります。

重みや活性値などを、より少ないビット数で表現する手法。モデルの軽量化に用います。

たとえば

32ビット浮動小数点の重みを8ビット整数などで表します。

覚えるポイント

サイズや計算量の削減と引き換えに、精度が変わる場合があります。

勾配の一次・二次モーメントの移動平均を使い、パラメータごとの更新幅を調整する最適化手法。

たとえば

勾配の傾向と大きさを蓄積しながら、重みを更新します。

覚えるポイント

適応的な手法でも学習率などの設定は必要で、常に最良になるわけではありません。

入力要素の関連度に応じた重みで情報を集約する仕組み。文脈に合わせて参照する情報を変えます。

たとえば

翻訳で、今生成する単語に関連する入力側の単語を強く参照します。

覚えるポイント

Self-Attentionは同じ系列内の要素間の関係を扱います。

Transformerのエンコーダを使う事前学習モデル。隠したトークンの予測などを通じて、左右の文脈を利用する表現を学びます。

たとえば

文章分類などのために事前学習済みの表現を利用します。

覚えるポイント

次のトークンを左から順に生成するGPT型モデルとは学習の構成が異なります。

Convolutional Neural Network。畳み込みを用い、局所的なパターンやその組合せを学ぶネットワーク。

たとえば

画像の輪郭や模様を利用して物体を分類します。

覚えるポイント

重み共有と局所接続が特徴です。画像以外の一次元データなどにも使われます。

適合率と再現率の調和平均。2×適合率×再現率/(適合率+再現率) で求めます。

たとえば

適合率1、再現率0.5なら、F1は約0.67です。

覚えるポイント

単純な算術平均ではありません。真陰性の数を直接は使わない指標です。

Generative Adversarial Network。生成器と識別器を競わせるように学習する生成モデル。

たとえば

生成器が画像を作り、識別器が実データか生成データかを判定します。

覚えるポイント

学習が不安定になることや、出力の多様性が失われるモード崩壊が課題です。

Generative Pre-trained Transformer。主にTransformerのデコーダ型構造で、前の文脈から次のトークンを予測する事前学習モデル。

たとえば

与えた文章の続きを、トークン単位で生成します。

覚えるポイント

自然な文章が生成できても、事実を検索して確認しているとは限りません。

Large Language Model。大規模なデータなどで学習し、言語のパターンを扱う大規模言語モデル。

たとえば

要約、文章作成、質問応答などへ応用します。

覚えるポイント

モデルの知識、入力された文脈、外部検索から得た情報を分けて考えます。

Long Short-Term Memory。情報の保持・更新・出力をゲートで調整し、長期依存を扱いやすくしたRNNの一種。

たとえば

長い時系列で、過去の重要な情報をセル状態に保持します。

覚えるポイント

通常のRNNの勾配消失を緩和しますが、どんな長さの情報も完全に保持するわけではありません。

Principal Component Analysis、主成分分析。分散が大きくなる互いに直交する方向を求める線形な次元削減手法。

たとえば

多くの測定項目を、少数の主成分へまとめます。

覚えるポイント

正解ラベルを使わず、情報の散らばりに注目します。特徴量の単位の違いにも注意します。

Proof of Concept、概念実証。アイデアや技術が目的の条件で実現できるか、小規模に検証すること。

たとえば

限られた画像で、不良品検出が業務で必要な精度に届きそうか検証します。

覚えるポイント

精度だけでなく、費用・運用条件・本番へ進む判断基準も事前に決めます。

Retrieval-Augmented Generation、検索拡張生成。外部情報を検索し、その結果を文脈に加えて生成する方法。

たとえば

社内規程を検索し、該当箇所を参照して質問に答えさせます。

覚えるポイント

通常、検索のたびにモデルの重みを更新しません。誤検索や根拠の読み違いは残ります。

Rectified Linear Unit。入力xに対してmax(0,x)を返す活性化関数。

たとえば

入力−2は0、入力3は3になります。

覚えるポイント

正の領域では勾配が保たれやすい一方、負の領域では勾配が0になります。

Recurrent Neural Network。過去の隠れ状態を次の計算に使い、系列情報を扱うネットワーク。

たとえば

時刻ごとの測定値を順に読み、過去の状態を考慮して予測します。

覚えるポイント

時間方向に同じ重みを共有します。長い依存関係では学習が難しくなる場合があります。

判定しきい値を変えたときの、偽陽性率と真陽性率の関係を描く曲線。

たとえば

異常判定を厳しくしたり緩くしたりした際の検出と誤検知の関係を見ます。

覚えるポイント

横軸はFP/(FP+TN)、縦軸は再現率です。適合率と再現率を描くPR曲線とは異なります。

Stochastic Gradient Descent、確率的勾配降下法。抽出したデータから勾配を見積もり、更新を繰り返す方法。

たとえば

全データを毎回計算する代わりに、1件またはミニバッチから更新方向を計算します。

覚えるポイント

全データの勾配と比べて揺らぎがあります。ミニバッチ版も広くSGDと呼ばれます。

Support Vector Machine。分類ではクラスを分ける境界のマージンを大きくするよう学習する手法。

たとえば

境界に近いデータであるサポートベクトルが、境界を決める上で重要になります。

覚えるポイント

カーネル法で非線形の境界も扱えます。回帰に用いる構成もあります。

Attentionを中心に系列を処理するネットワーク構造。元の構成はエンコーダとデコーダを持ちます。

たとえば

離れた単語間の関係をAttentionで扱い、翻訳や言語モデルに利用します。

覚えるポイント

系列の順序を扱うため、位置に関する情報も組み込みます。

Variational Autoencoder、変分オートエンコーダ。確率的な潜在変数を用い、再構成と分布の制約を組み合わせて学習する生成モデル。

たとえば

潜在空間から値をサンプリングし、デコーダで画像を生成します。

覚えるポイント

通常のオートエンコーダと違い、潜在表現を確率分布として扱います。

Explainable AI。AIの振る舞いや予測について、人が理解し点検するための手法・考え方。

たとえば

特徴量の寄与や注目領域を示し、意図しない手掛かりを利用していないか確認します。

覚えるポイント

説明を付けるだけで公平性や正確性が保証されるわけではありません。