Technology

Explainable AI

뉴욕킴 2024. 6. 1. 11:47

Explainable AI (설명 가능한 인공지능)

1. Explain is All You Need (설명이 전부다)

  • AI-Doctor:
    • AI가 의사의 진단을 돕는 예를 들 수 있습니다. 의사가 진단을 내릴 때 AI도 함께 진단을 제시하며, 이를 통해 더 정확하고 빠른 진단이 가능합니다.
  • Precrime investigation (미래 범죄 조사):
    • 영화 '마이너리티 리포트'(2002)에서처럼 범죄가 발생하기 전에 예측하고 대응하는 기술을 말합니다.

2. Explainable AI (설명 가능한 AI)

  • 성능:
    • 여러 작업에서 AI의 성능은 충분히 만족스럽습니다. 예를 들어 시각 인식의 성능은 꽤 좋으며, 자연어 처리 성능도 상당히 괜찮습니다.
  • 투명성과 해석력 부족:
    • 이제는 신뢰, 공정성, 신뢰성, 안전성, 설명 가능성, 정당성, 프라이버시, 사용성을 향상시키는 방향으로 나아갈 때입니다.

3. XAI Project (설명 가능한 AI 프로젝트)

  • DARPA under DoD (2016~):
    • 미국 국방고등연구계획국(DARPA)이 주도하는 설명 가능한 AI 프로젝트입니다. 더 자세한 내용은 DARPA 사이트에서 확인할 수 있습니다.

4. Correctional Offender Management Profiling for Alternative Sanctions (COMPAS)

  • 참조 자료:
    • 이 시스템은 범죄자의 재범 가능성을 예측하는 알고리즘으로, 공정성 문제로 인해 많은 논란이 있었습니다. 더 자세한 내용은 ProPublica 기사에서 확인할 수 있습니다.

5. Explainable AI [1] (설명 가능한 AI의 신뢰)

  • 신뢰성:
    • 예측에 대한 결정, 모델 구축의 보증 등을 통해 신뢰성을 높입니다.
  • 시스템 또는 자연의 분석:
    • 인과 관계 분석, 가설 검증을 포함합니다.
  • 유용한 속성 찾기:
    • 미래의 행동을 결정하는 데 도움이 됩니다.

6. Explainable AI (설명 가능한 AI의 중요성)

  • 설득력, AI 보안, 윤리, 행동:
    • AI의 설명 가능성은 사용자에게 신뢰와 이해를 제공하고, 보안과 윤리적 문제를 해결하는 데 중요합니다.

7. Terms  (용어 설명)

  • 해석력 (Interpretability):
    • 인간이 이해할 수 있는 방식으로 설명할 수 있는 능력.
  • 해석력 vs 설명력 (Interpretability vs Explainability):
    • 해석력은 추상적인 개념을 인간이 이해할 수 있는 영역으로 매핑하는 것이며, 설명력은 특정 예제에서 결정을 내리는 데 기여한 요소들의 집합입니다.
  • 모델 중심 vs 주제 중심 (Model-centric vs Subject-centric):
    • 모델의 작동 논리를 설명하는 것과 주제 중심으로 설명하는 것을 구분합니다.
  • 글로벌 및 로컬 해석력 (Global and Local Interpretability):
    • 모델 전체에 대한 이해와 특정 예제에 대한 이해를 구분합니다.
  • 투명성 (Transparency):
    • 모델의 작동 논리를 이해할 수 있는 정도.

8. Categorization (분류)

 

1) Intrinsic Methods (내재적 방법) 

  • Explain process inside a model (모델 내부의 과정을 설명)

모델의 내부 작동 원리를 직접적으로 이해할 수 있도록 하는 방식입니다. 예를 들어, 선형 회귀 모델이나 의사 결정 나무(Decision Trees)와 같은 모델은 그 구조 자체가 직관적이어서 각 예측이 어떻게 이루어졌는지를 쉽게 이해할 수 있습니다.

  • Performance degrades (성능 저하)

모델의 해석 가능성을 높이기 위해 복잡성을 줄이다 보면 모델의 예측 성능이 떨어질 수 있습니다. 예를 들어, 매우 복잡한 데이터 패턴을 단순한 선형 회귀 모델로 설명하려고 하면 예측 정확도가 낮아질 수 있습니다.

내재적 방법의 예:

  • Linear Regression (선형 회귀): 단순하고 직관적인 모델로, 각 독립 변수와 종속 변수 간의 관계를 명확히 설명할 수 있습니다. (와인 품질 = 12.145 + 0.00117 * 전년도 겨울 강수량 + 0.06140 * 당해 년도 평균 기온 - 0.00386 * 수확기 강수량) 
  • Decision Trees (의사 결정 나무): 데이터 분할 규칙을 통해 예측 결과를 설명할 수 있습니다.

가족수, 연봉으로 아파트를 살 것인지 아닌지 분류, 방 개수 추천 분류 

 

 

2) Post-hoc Methods (사후적 방법)

  • Extract information from already learned model (이미 학습된 모델로부터 정보 추출)
    • 학습된 모델의 예측 결과를 기반으로 해석을 제공합니다. 예를 들어, 블랙박스 모델(신경망, 앙상블 모델 등)의 경우 직접적으로 해석하기 어려우므로, 별도의 방법을 통해 모델의 작동 원리를 이해하려고 합니다.
  • Surrogate model (대리 모델)
    • 블랙박스 모델의 출력을 설명 가능한 간단한 모델로 근사하여 해석을 제공합니다. 예를 들어, 복잡한 신경망 모델을 의사 결정 나무로 근사하여 그 구조를 이해하는 방식입니다.
  • Performance of a black-box model is not affected (블랙박스 모델의 성능에 영향 없음)
    • 모델의 해석 가능성을 높이기 위해 성능을 희생하지 않습니다. 블랙박스 모델은 여전히 높은 성능을 유지하면서도, 사후적 해석 방법을 통해 그 작동 원리를 이해할 수 있습니다.

사후적 방법의 예:

  • LIME (Local Interpretable Model-agnostic Explanations): 개별 예측을 설명하기 위해 복잡한 모델을 단순화된 로컬 모델로 근사하여 해석을 제공합니다.
  • SHAP (SHapley Additive exPlanations): 모델 출력에 각 특징이 얼마나 기여하는지 설명하는 방식으로, 게임 이론에 기반을 둔 접근법입니다.
    • 사후적 방법은 이미 학습된 모델로부터 정보를 추출하는 방식입니다. 이 방법은 모델의 성능을 유지하면서도 해석 가능성을 제공하려고 합니다. 사후적 방법의 주요 특징과 장단점은 다음과 같습니다:
    • 내재적 방법은 모델 자체가 설명 가능하도록 설계되는 방식입니다. 이 방법은 모델이 데이터를 처리하고 예측을 수행하는 과정에서 그 내부 로직을 이해할 수 있도록 만드는 것입니다. 내재적 방법의 주요 특징과 장단점은 다음과 같습니다:
    • AI 모델의 해석 가능성에 대한 방법은 크게 두 가지로 분류됩니다: 내재적 방법과 사후적 방법입니다. 각 방법에 대해 자세히 설명하겠습니다.

9. Classic Machine Learning Models (고전 기계 학습 모델)

  • 성능 vs 해석력:
    • 모델의 성능과 해석력 간의 트레이드오프 관계를 설명합니다.

10. Intrinsic Methods (내재적 방법)

  • 선형 회귀 (Linear Regression):
    • 예를 들어, 농작물의 품질을 예측하는 선형 회귀 모델을 통해 강수량과 기온 등의 변수와 품질 간의 관계를 명확하게 설명할 수 있습니다.
  • 로지스틱 회귀 (Logistic Regression):
    • 로지스틱 회귀 모델은 이항 결과를 예측하는 데 사용되며, 모델의 해석력이 높습니다.
  • 의사 결정 나무 (Decision Trees):
    • 데이터 훈련을 통해 명확한 규칙 기반의 모델을 생성합니다.
  • 앙상블 나무 (Ensemble Trees):
    • 여러 개의 의사 결정 나무를 결합하여 더 강력한 예측 모델을 생성합니다.