バイアスと倫理

悪意がなくても、差別的な結果が出る

AIは学習データの中にある規則性を写し取ります。したがって、社会の中に存在する偏りがデータに現れていれば、モデルはそれを引き継ぎます。過去に特定の属性の人が採用されにくかったという履歴で学習すれば、モデルはその傾向を正しいパターンとして再現します。設計者が差別をしようと思っていなくても差別的な結果が生じうる、という点がこの分野の出発点です。

偏りはデータ側からも、人側からも来る

バイアスにはいくつかの種類があり、生じる段階が異なります。

前の2つはデータ側、後ろの2つは人間側のバイアスです。この対応を持っておくと事例問題で迷いません。「AIが出した結論に違和感を持ちながらもそのまま採用した」は自動化バイアス、「自分の主張を裏づける出力だけを資料に載せた」は確証バイアスです。

公平さも、判断の中身も、きれいには示せない

公平性を数値で測る指標は複数あります。属性ごとに合格率をそろえる考え方、属性ごとに誤りの割合をそろえる考え方、個々人の類似性に着目する考え方などがあり、これらを同時にすべて満たすことができない場合があると説明されています。何を公平と呼ぶかは技術で決まらず、その用途において人が決める問題です。「公平性の指標は1つに定まっている」「技術的な工夫でバイアスを完全に除去できる」はどちらも誤りの側に置かれます。

もう一つがブラックボックス問題です。深層学習のモデルは膨大なパラメータの組み合わせで判断を出すため、なぜその結論に至ったのかを人が追いにくくなります。精度の高いモデルほど内部は複雑になりやすく、精度と説明しやすさはしばしばトレードオフの関係に置かれます。ここに応えようとするのが説明可能なAI、いわゆる XAI で、どの入力が判断に強く効いたかを示す、根拠となった箇所を可視化する、といった方法で人が結果を吟味できるようにします。あわせて求められるのが透明性で、どんなデータで学習したのか、何ができて何ができないのかを開示することが、利用者が適切に使うための前提になります。

そのうえで残るのが責任の所在です。AIの判断で不利益を受けた人が出たとき、開発者か、提供した事業者か、それを使って判断した組織かという議論になりますが、AIが決めたので誰の責任でもない、という整理は採られていません。最終的に人や組織が責任を負うという原則が、人間中心の考え方の中核にあります。だからこそ、影響の大きい領域では、AIの出力をそのまま結論にせず人が最終判断を行うこと、不利益を受けた人に理由を説明し異議を申し立てられる道を用意することが重ねて求められます。採用選考、与信審査、司法における評価、医療、教育が、その代表として繰り返し挙げられます。実際に運用へ落とすときは、法務部門や担当省庁の資料で最新の考え方を確認してください。

試験ではこう問われる

• 「学習データに偏りがあったため特定の属性に不利な結果が出た」という事例では、設計者に悪意がなくても差別的な結果が生じうる、が正解になります
• バイアスの種類は、データ側か人側か、どの段階で生じたかで切り分けます。サンプリングとラベリングの入れ替えが典型のひっかけです
• 「公平性の指標は複数あり、同時に満たせない場合がある」が正解です。最適な指標が1つ確立しているという選択肢は誤りです
• 「XAI を導入すればブラックボックス問題は完全に解消する」という言い切りは誤りです。完全に解消すると断定する選択肢を疑うのが基本姿勢です
• 「AIが判断したので企業に責任はない」は必ず誤りです。人が最終判断を行い説明責任を果たす、が正解の方向です