이 포스팅은 ISO/PAS 8800:2024에서 9. Derivation of AI Safety Requirements를 기반으로 작성하였습니다.
AI 시스템의 안전성은 현대 기술에서 가장 중요한 주제 중 하나입니다. AI가 사람의 생명과 재산에 영향을 미칠 수 있는 영역에 적용될수록, AI 시스템의 안전 요구사항 도출은 필수적인 과정이 됩니다. 이 포스팅에서는 AI 안전 요구사항 도출의 목적, 사전 준비 사항, 일반 요구사항, AI 안전 요구사항 도출에 대한 작업 흐름 및 세부적인 기술을 포함하고 있습니다.
1. AI Safety Requirements 도출의 목적
AI 안전 요구사항 도출의 목적은 다음과 같습니다:
- 안전성 보장: AI 시스템이 안전성을 확보하기 위해 완전하고 일관된 요구사항을 정의합니다.
- 학습을 통한 개선: AI 시스템 개발, 검증 및 유효성 검증 단계에서 얻은 교훈을 바탕으로 요구사항을 개선되어야 합니다.
- 입력 공간의 제한: AI 시스템의 입력 공간에 대한 한계를 정의하여 더 큰 시스템 개발 과정에서 이를 반영할 수 있도록 합니다.
이러한 목적은 AI 시스템이 예상치 못한 상황에서도 안전하게 작동할 수 있도록 보장하며, AI 기술이 실제 환경에서 책임감 있게 사용될 수 있는 기초를 제공합니다.
2. 사전 준비 사항
AI 안전 요구사항 도출 활동을 시작하기 전에 먼저 AI 시스템에 대한 정의가 완료되어야 합니다. 대상 AI 시스템을 정의 하는 것은 AI 시스템이 탑재된 기존 시스템을 바탕으로 AI 시스템이 정의되어야 합니다. 예를 들어 아래 그림에서 보는 바와 같이 AI 시스템 및 AI 시스템이 포함되지 않은 기존 제어 엘리먼트를 분리하여 AI 시스템이 정의되어야 합니다.
대상이 되는 AI 시스템은 다음과 같은 사항들을 포함해야 합니다:
- AI 시스템에 할당된 안전 요구사항
- 입력 공간 정의
- 기능적 요구사항
- 영향을 받는 이해관계자
- AI 시스템과 전체 시스템 간의 인터페이스
- 환경과의 인터페이스
AI 안전 요구사항을 도출하기 위한 참고 정보
• 안전 분석 보고서: Clause 13에서 제공
• 운영 중 발견된 기능 부족에 대한 평가 보고서: Clause 14에서 제공
• 운영 중 AI 안전을 보장하기 위한 조치 명세: Clause 14에서 제공
3. AI 안전 요구사항 도출을 위한 일반 사항
3-1. 입력 공간의 정제
AI 시스템의 입력 공간 정의는 안전 생명주기를 시작할 수 있을 만큼 충분히 구체적이고 명확해야 합니다. 입력 공간은 시스템이 작동하는 환경, 조건, 그리고 동적 요소를 포함하여 시스템의 설계 및 운영을 위한 기초가 됩니다.
3-2. 요구사항의 추적 가능성
AI 시스템의 안전 요구사항은 단순히 정의되고 구현되는 것을 넘어, 그 요구사항의 출처와 목적이 명확히 추적 가능해야 합니다. 이는 시스템 개발의 투명성과 정당성을 보장하며, 나아가 시스템의 신뢰성과 안전성을 높이는 데 필수적인 요소입니다.
추적 가능성은 AI 안전 요구사항이 다음 중 하나와 연결됨을 의미합니다:
- 외부적으로 할당된 안전 요구사항: AI 시스템이 포함된 전체 시스템 개발 프로세스에서 제공된 안전 요구사항입니다. 이는 AI가 전체 시스템의 안전성을 보장하기 위해 수행해야 할 역할을 정의합니다.
- 가정 또는 주요 시나리오: 시스템 설계 및 운영 시 예상되는 주요 시나리오나 안전성과 관련된 가정입니다. 이러한 요소는 시스템의 안전 요구사항을 구체화하는 데 중요한 기준으로 작용합니다.
- 기능적 부족의 잠재적 영향 요인 또는 근본 원인: 시스템에서 발생할 수 있는 기능적 오류의 원인과 그로 인해 초래될 수 있는 안전 문제를 식별하여, 이를 해결하기 위한 요구사항을 도출합니다.
이러한 연계는 요구사항이 왜 필요한지에 대한 명확한 근거를 제공합니다. 예를 들어, 특정 요구사항이 외부 시스템 요구사항과 연결되어 있다면, 이는 해당 요구사항이 전체 시스템의 안전 목표를 달성하기 위해 필요한 것임을 입증합니다. 마찬가지로, 기능적 부족이나 주요 시나리오와의 연계는 요구사항이 특정 위험을 예방하거나 완화하는 데 목적이 있음을 보여줍니다.
결과적으로, 이러한 추적 가능성은 요구사항이 임의적이지 않고, 체계적이며 목적에 부합함을 보장합니다. 이는 AI 시스템의 안전성을 유지하고 신뢰할 수 있는 시스템을 구축하기 위한 중요한 기초가 됩니다. 안전 요구사항의 정당성은 단지 기술적 기준을 충족하는 것을 넘어, 개발 과정의 모든 이해관계자가 해당 요구사항의 필요성과 타당성을 이해하고 수용하도록 돕는 데 핵심적인 역할을 합니다.
3-3. 요구사항의 합리성 검증
AI 안전 요구사항은 단순히 문서화된 기준이 아니라, 실제 시스템에서 안전성을 달성하고 위험을 예방하거나 완화할 수 있음을 증명할 수 있어야 합니다. 이는 AI 시스템의 신뢰성과 안정성을 확보하기 위해 요구사항의 현실성과 실행 가능성을 검토하는 핵심적인 과정입니다.
먼저, AI 안전 요구사항은 다음 두 가지 중 하나를 입증해야 합니다:
- 외부적으로 할당된 안전 요구사항을 달성할 수 있는지 보장 : AI 시스템이 포함된 전체 시스템에서 정의된 안전 목표를 충족하는 데 기여해야 합니다. 예를 들어, 자율주행차의 긴급 제동 시스템에서 AI가 적절히 반응하지 못하면 차량 충돌을 방지할 수 없기 때문에, 이러한 시스템의 안전 요구사항을 충족하도록 AI 요구사항이 설계되어야 합니다.
- 기능적 부족을 예방하거나 완화할 수 있는지 보장 : AI 시스템이 특정 상황에서 기능적으로 부족할 가능성을 예방하거나, 부족함이 발생하더라도 그 영향을 최소화할 수 있는 설계를 포함해야 합니다. 예를 들어, 데이터 부족으로 인해 AI 모델이 특정 환경(예: 눈길)에서 신뢰할 수 없는 판단을 내릴 경우, 이를 완화하기 위한 안전 메커니즘이 요구됩니다.
이러한 요구사항의 검증은 요구사항이 단순히 이론적으로 가능할 뿐만 아니라, 실제로도 실행 가능한지를 확인하는 데 목적이 있습니다. 이는 다음을 통해 이루어집니다:
- 현실성 평가: 요구사항이 시스템의 설계 및 구현 단계에서 실현 가능한지 확인합니다.
- 실행 가능성 검증: 요구사항이 시스템의 성능 목표와 조화를 이루면서도 안전 목표를 충족할 수 있는지 테스트합니다.
- 위험 완화 확인: 요구사항이 기능적 부족에 대한 적절한 대응 방안을 제공하고 있는지 평가합니다.
이 검증 과정은 AI 시스템이 단순히 기술적으로 뛰어날 뿐만 아니라, 안전성과 신뢰성 면에서도 현실적이고 책임 있는 설계를 가질 수 있도록 보장합니다. 결론적으로, AI 안전 요구사항은 명확한 목표와 구체적인 실행 방안을 기반으로 시스템의 안전성을 입증하고, 설계 및 운영에서 발생할 수 있는 잠재적인 문제를 사전에 해결할 수 있는 토대를 제공합니다.
3-4. ISO 26262 시리즈 준수
AI 시스템은 랜덤 하드웨어 결함과 체계적 결함으로 인해 발생할 수 있는 불합리한 위험이 없음을 입증하기 위해 ISO 26262 시리즈의 요구사항을 준수해야 합니다. 이를 통해 AI 시스템이 자동차와 같은 안전 필수 도메인에서 신뢰성 있는 작동을 보장할 수 있습니다.
3-5. 요구사항 이행 및 한계 보고
AI 시스템이 다음의 경우에는 해당 정보를 전체 시스템 개발 프로세스에 보고해야 합니다:
- AI 시스템이 AI 안전 요구사항을 완전히 준수하지 못하는 경우
- 입력 공간의 일부 영역에서만 AI 안전 요구사항이 충족되는 경우
AI 시스템에 대한 안전 요구사항 미준수 상황과 부분적 충족 상황에 대한 근거가 명확하게 정의/관리 되어야 합니다.
3-6. 운영 중 안전 보장을 위한 요구사항
AI 시스템의 안전성을 운영 중에도 보장하기 위해 모니터링 및 개선을 지원하는 요구사항을 정의해야 합니다. 예를 들어:
- 현재 상황의 불확실성을 모니터링하고 이를 전체 시스템에 전달하여 차량 수준에서 안전한 행동을 유도
- 성능 모니터링 및 오류 감지를 통해 내부적인 문제 완화
- 시스템 성능의 지속적인 개선을 위한 데이터 수집 및 학습 모델 업데이트 지원
이와 같은 요구사항은 AI 시스템이 운영 중에도 안정적이고 신뢰할 수 있는 성능을 유지하도록 돕습니다.
4. 안전 요구사항 도출을 위한 작업 흐름
AI 안전 요구사항 도출은 체계적이고 반복적인 과정을 통해 이루어집니다. 이 과정은 초기 요구사항 설정, 정제 및 분배, 그리고 지속적인 개선을 포함합니다.
4-1. 초기 요구사항 설정
- 기본 요구사항 정의: 외부 시스템 개발 프로세스에서 제공된 AI 시스템에 할당된 초기 안전 요구사항을 기반으로 시작합니다. 이 요구사항은 SOTIF(Safety of the Intended Functionality) 및 기능 안전성을 포함한 다양한 안전 측면을 반영합니다.
- 입력 공간 정의: 시스템이 작동하는 환경적 요소와 입력 공간의 초기 정의를 수립하여 작업의 기초를 마련합니다.
AI 시스템의 안전성을 확보하기 위해 외부에서 제공된 기본 요구사항과 입력 공간 정의를 기반으로 작업을 시작합니다.
4-2. 정제 및 분배
- 정제된 요구사항 도출: 초기 요구사항은 AI 시스템의 구체적 특성과 안전 관련 속성을 반영하여 정제됩니다. 이를 통해 정량적 또는 정성적 안전 요구사항이 도출됩니다.
- 분배: 정제된 요구사항은 AI 안전 생명주기의 각 단계에서 적절히 분배됩니다. 이는 설계, 구현, 검증 및 운영에 걸쳐 일관된 안전성을 유지하는 데 기여합니다.
초기 요구사항을 구체화하여 AI 시스템에 적합하게 조정하고 생명주기 각 단계에 적용합니다.
4-3. 반복적 개선
- 피드백 기반 개선: 운영 과정에서 수집된 데이터, 검증 및 유효성 검증 결과, 그리고 안전 분석 보고서를 기반으로 요구사항을 반복적으로 개선합니다.
- 성능 한계 보고: 특정 입력 조건에서 시스템 성능이 제한되는 경우, 이를 전체 시스템 개발 프로세스에 보고하고 대책을 수립합니다.
- 운영 중 불충분성 관리: 성능 부족이 관찰될 경우 원인을 분석하고 새로운 요구사항을 도출하여 문제를 해결합니다.
운영 및 검증 과정에서 얻은 피드백을 반영하여 안전 요구사항을 지속적으로 업데이트합니다.
4-4. 안전 분석 및 관찰 활용
- 안전 분석: Clause 13의 안전 분석 결과를 사용하여 잔여 위험을 평가하고, 추가적인 안전 관련 요구사항을 도출합니다. (참조: ISO/PAS 8800: AI 시스템을 위한 안전 분석 (Safety Analysis of AI Systems))
- 운영 중 관찰: 필드 관찰을 통해 알려지지 않은 조건이나 가정을 위반한 상황을 식별하고, 이에 대한 요구사항을 보완합니다.
안전 분석과 관찰 데이터를 활용하여 시스템의 잠재적 위험을 식별하고 이를 해결하기 위한 요구사항을 도출합니다.
4-5. 지속적인 데이터 활용
- 데이터 기반 개선: 개발 단계와 운영 단계에서 수집된 데이터를 활용하여 요구사항의 타당성을 검증하고, AI 시스템의 안전성을 향상시킵니다.
- 환경 적응: 새로운 유발 조건이나 환경적 요인이 발견될 경우, 이를 반영하여 요구사항을 업데이트합니다.
정제된 입력 공간, 안전 요구사항, 그리고 성능 및 제한 사항을 문서화하여 AI 시스템의 안전성을 보장합니다.
5. Supervised Machine Learning에서 AI Safety Requirements 도출
Supervised Machine Learning(SML) 기반의 AI 시스템은 데이터 중심적인 학습 방식으로 인해 불확실성과 복잡성을 내포합니다. 이를 효과적으로 관리하기 위해 체계적인 방법론을 통해 안전 요구사항을 도출해야 합니다. SML에서 AI 안전 요구사항 도출은 다음과 같은 과정을 포함합니다.
5-1. AI Safety Requirements 개선 필요성
AI 안전 요구사항을 효과적으로 도출하기 위해서는 시스템의 잠재적 위험과 오류 가능성을 체계적으로 분석하고, 기존 사례를 활용하여 초기 요구사항을 정의하는 것이 필수적입니다. 이를 위해 잠재적 위험 식별, 오류 확률 정의, 사례 기반 분석은 중요한 초기 단계입니다.
■ 잠재적 위험 식별
ISO 21448(SOTIF: Safety of the Intended Functionality)의 프레임워크를 활용하여, 차량 수준에서 AI 시스템이 직면할 수 있는 잠재적 기능 부족과 이를 유발하는 조건을 식별합니다. SOTIF는 시스템의 의도된 기능이 정상적으로 수행되지 않을 가능성을 줄이는 것을 목표로 하며, 이를 위해 AI 시스템의 잠재적 위험 요소를 사전에 분석하여 요구사항에 반영합니다.
예시: 자율주행차가 도로의 눈 덮인 차선을 제대로 감지하지 못하는 경우, 이는 기능 부족으로 이어질 수 있습니다. 이와 같은 유발 조건(눈 덮인 환경)을 식별하고 이를 방지하기 위한 안전 요구사항을 정의해야 합니다.
■ 오류 확률 정의
AI 시스템의 오류 패턴에 대한 허용 기준을 설정하여, 특정 오류가 발생할 가능성이 허용 가능한 수준 이하임을 명시하는 요구사항을 도출합니다. 오류 확률 기준은 시스템의 성능을 정량적으로 평가할 수 있는 근거를 제공하며, 안전성을 보장하기 위한 최소한의 조건을 설정합니다.
예시: 자율주행차의 보행자 감지 시스템에서, 1시간 동안 발생하는 오탐지(false negative)의 확률이 10^(-6) 이하로 제한되도록 설정할 수 있습니다. 이는 시스템이 위험 상황에서 적절히 반응할 수 있도록 보장합니다.
■ 사례 기반 분석
기존에 개발된 제품이나 유사한 시스템에서 도출된 안전 요구사항을 분석하고, 이를 기반으로 새로운 AI 시스템의 초기 요구사항을 정의합니다. 사례 기반 접근은 기존 데이터와 경험을 활용하여 초기 단계에서 안정적인 요구사항을 설정할 수 있도록 합니다. 이를 통해 불필요한 시행착오를 줄이고 개발 효율성을 높일 수 있습니다.
예시: 이전 자율주행차 프로젝트에서 발생한 안전 관련 문제(예: 터널 진입 시 조명 변화에 따른 오탐지)를 바탕으로, 새로운 시스템에서 유사한 상황을 방지하기 위한 요구사항을 미리 정의할 수 있습니다.
5.2 불확실성을 관리하기 위한 AI Safety Requirements 개선
AI 개발 과정에서는 데이터의 다양성, 모델의 설계, 그리고 운영 환경 간의 불확실성이 발생할 수 있습니다. 이러한 불확실성을 효과적으로 관리하기 위해서는 안전 요구사항의 정제가 필수적이며, 이를 위해 관찰, 레이블, 모델, 운영과 같은 주요 요인을 고려해야 합니다.
■ 관찰(Observation)
입력 데이터의 패턴을 유도적(상향식) 방식(데이터에서 패턴을 도출)과 연역적(하향식) 방식(가설을 통해 데이터를 분류)으로 분석하여 데이터의 포괄성을 보장합니다. AI 시스템의 안전성을 확보하려면 다양한 입력 조건을 모두 고려해야 하며, 데이터가 특정 조건이나 패턴에 치우치지 않도록 관리해야 합니다.
예시: 자율주행 시스템의 경우, 도로 상태(건조, 젖음, 얼음 등), 날씨(맑음, 비, 눈 등), 시간대(낮, 밤, 황혼 등)와 같은 모든 환경적 패턴을 관찰하여 데이터셋에 반영해야 합니다.
■ 레이블(Label)
데이터 라벨링 과정에서 일관성을 유지하고, 라벨링 작업의 품질을 높이는 것이 중요합니다. 잘못된 또는 일관성 없는 라벨링은 모델 학습의 신뢰성을 저하시킬 수 있으며, 이는 시스템 성능 부족으로 이어질 수 있습니다.
예시: 보행자를 인식하는 AI 모델에서 보행자의 위치나 크기를 정확히 라벨링하지 않을 경우, 모델이 잘못된 결과를 도출할 가능성이 높아집니다. 이를 방지하기 위해 라벨링 품질 관리와 검증 작업이 필수적입니다.
■ 모델(Model)
적절한 모델을 선택하고, 하이퍼파라미터를 최적화하며, 표준화된 평가 절차를 통해 모델 성능을 개선합니다. 모델이 학습 데이터의 특성을 정확히 반영하고, 다양한 입력 조건에서 안정적으로 작동하도록 설계해야 합니다.
예시: 특정 환경에서 작동하는 자율주행 모델의 경우, 해당 환경에서 강건한 성능을 보장하기 위해 하이퍼파라미터 튜닝(예: 학습률, 뉴럴 네트워크 깊이 등)과 평가 기준 설정이 필요합니다.
■ 운영(Operation)
개발 단계와 배포 단계 사이에서 발생할 수 있는 성능 차이를 감지하고 이를 관리합니다. AI 시스템은 실제 운영 환경에서 개발 단계와 다른 조건에 직면할 수 있으며, 이러한 차이를 사전에 식별하고 보완 조치를 취해야 합니다.
예시: AI 모델이 테스트 환경에서는 안정적으로 작동했지만, 실제 도로에서 드물게 발생하는 환경 조건(예: 갑작스러운 강한 빛 반사)에서 성능이 저하될 경우, 이러한 차이를 지속적으로 모니터링하고 업데이트해야 합니다.
5-3. AI Lifecycle에 대한 Input Space의 개선
AI 시스템의 입력 공간은 시스템이 작동하는 환경과 조건을 정의하는 중요한 요소입니다. 입력 공간을 명확히 정의하고 정제함으로써, 시스템이 다양한 상황에서 안정적으로 작동하도록 설계할 수 있습니다. 이를 위해 입력 공간 정의 정제, 환경적 요인 반영, 검증 기준 제공은 필수적인 과정으로 작용합니다.
■ 입력 공간 정의 정제
AI 시스템이 작동하는 작업 공간(작동 범위), 조건(환경적 요인), 그리고 동적 요소(시간에 따라 변화하는 요인)를 명확히 정의하고 지속적으로 정제합니다. 입력 공간의 정의는 시스템 설계와 검증의 기초를 형성하며, 다양한 작동 조건에서의 안정성을 보장하기 위해 필요합니다.
예시: 자율주행 시스템의 경우, 입력 공간은 도로 유형(고속도로, 시내 도로), 날씨 조건(맑음, 비, 눈), 가시성(낮, 밤, 안개 등)을 포함합니다. 이를 통해 시스템이 모든 작동 환경에서 일관된 성능을 발휘하도록 지원합니다.
■ 환경적 요인 반영
AI 시스템의 작동 중 새로운 환경 조건이나 유발 조건이 발견되면 이를 입력 공간 정의에 반영하여 시스템 설계와 성능 평가에 반영합니다. 현실 세계의 변화와 예기치 않은 상황에 대응하기 위해 입력 공간은 고정된 정의가 아니라 지속적으로 업데이트되어야 합니다.
예시: 자율주행 시스템이 눈 덮인 도로에서 제대로 작동하지 않는 경우, 이러한 조건을 입력 공간 정의에 추가하여 학습 데이터를 보강하고 성능을 개선할 수 있습니다.
■ 검증 기준 제공
정제된 입력 공간 정의를 기반으로 AI 시스템의 성능 기대치를 설정하고, 시스템의 안전성을 검증하는 기준을 제공합니다. 검증 기준은 AI 시스템이 입력 공간 내 모든 조건에서 안정적으로 작동하는지 평가하기 위한 명확한 기준을 제시합니다.
예시: 입력 공간에 기반하여 자율주행 시스템의 보행자 감지 정확도를 99% 이상으로 유지해야 한다는 검증 기준을 설정하고, 이를 실제 테스트를 통해 확인합니다.
5-4. AI Output에 대한 불충분성 발생 제한
AI 시스템의 안정성과 안전성을 보장하기 위해서는 오류율 관리, 제한 조건 보고, 근본 원인 분석이 필요합니다. 이러한 과정은 오류가 발생할 가능성을 줄이고, 시스템의 성능 부족을 개선하며, 안전 요구사항을 체계적으로 도출하는 데 초점이 맞춰져 있습니다.
■ 오류율 관리
특정 시나리오에서 AI 시스템의 오류율이 지나치게 높은 경우, 이에 대한 원인을 분석하여 새로운 안전 요구사항을 도출합니다. 오류율 관리는 AI 시스템이 안전한 결과를 지속적으로 제공하도록 보장하기 위해 필수적입니다. 오류가 발생한 상황을 식별하고, 이를 방지하거나 완화하기 위한 요구사항을 정의합니다.
예시: 자율주행 차량이 강한 역광 조건에서 보행자를 잘못 인식하는 경우, 해당 오류의 원인을 분석한 뒤 역광 조건에서도 안정적으로 작동하는 시스템 설계를 위한 안전 요구사항을 추가합니다.
■ 제한 조건 보고
AI 시스템이 특정 입력 조건에서만 성능을 발휘할 경우, 이를 전체 시스템 개발 프로세스에 보고하여 대책을 마련합니다. 제한된 입력 조건에서의 성능 문제를 사전에 파악하여 전체 시스템 설계에 반영함으로써, 시스템이 예상치 못한 상황에서도 안정적으로 작동할 수 있도록 지원합니다.
예시: 자율주행 차량의 시각 인식 모델이 야간이나 안개가 낀 환경에서는 성능이 크게 저하되는 경우, 이를 전체 시스템 개발 프로세스에 보고하고 추가적인 센서(예: 라이다)를 도입하는 방안을 검토합니다.
■ 근본 원인 분석
AI 시스템의 안전 관련 속성을 기준으로 성능 부족의 근본 원인을 식별하고, 이를 개선하기 위한 새로운 요구사항을 도출합니다. 단순히 표면적인 문제를 해결하는 것이 아니라, 문제의 근본적인 원인을 분석하여 장기적인 성능 개선을 목표로 합니다.
예시: AI 시스템의 보행자 인식 오류가 낮은 품질의 학습 데이터에서 기인한 경우, 데이터 품질 개선, 추가 데이터 수집, 그리고 모델 재학습과 같은 개선 요구사항을 도출합니다.
5-5. Metrics, Measurements, 그리고 Threshold 설계
AI 시스템의 안전성을 보장하려면 안전 요구사항을 수치적으로 검증할 수 있는 체계적인 방법론이 필요합니다. 이를 위해 적절한 지표 정의, 임계값 설정, 데이터셋 설계가 필수적으로 이루어져야 합니다. 이러한 단계는 요구사항의 충족 여부를 객관적으로 평가하고, AI 시스템의 성능과 안전성을 신뢰할 수 있는 방식으로 검증하는 데 중점을 둡니다.
■ 지표 정의
AI 시스템의 안전 관련 속성을 측정할 수 있는 지표를 설계하고, 이를 측정하기 위한 적절한 방법을 정의합니다. 지표는 AI 시스템의 성능과 안전성을 평가하는 도구로 작용하며, 시스템이 안전 요구사항을 충족하는지 정량적으로 판단할 수 있는 기준을 제공합니다.
예시: 자율주행 차량의 보행자 감지 모델에서 정확도(Accuracy), 오탐지율(False Positive Rate), 미탐지율(False Negative Rate) 등의 지표를 정의하여 모델의 성능을 평가할 수 있습니다.
■ 임계값 설정
과거 제품 경험, 전문가 의견, 실험 데이터를 활용하여 각 지표의 허용 가능한 성능 임계값을 설정합니다. 임계값은 시스템의 안전성과 성능을 유지하기 위한 최소 기준을 의미하며, 과학적이고 경험적인 근거를 바탕으로 설정되어야 합니다.
예시: 보행자 감지 모델에서 미탐지율이 10^(-6) 이하로 유지되어야 한다는 임계값을 설정할 수 있습니다. 이 임계값은 실험 데이터나 업계 표준을 바탕으로 정의됩니다.
■ 데이터셋 설계
정의된 지표를 측정할 수 있도록 적합한 데이터셋을 구성하여 신뢰도 높은 분석을 지원합니다. 데이터셋은 시스템 성능 평가의 기반이 되며, 입력 공간을 충분히 포괄하고 대표성을 가지도록 설계해야 합니다.
예시: 자율주행 시스템의 데이터셋에는 다양한 날씨 조건(맑음, 비, 눈 등), 도로 유형(고속도로, 도시 도로, 시골길 등), 그리고 다양한 시간대(낮, 밤, 황혼 등)가 포함되어야 합니다. 이를 통해 시스템이 다양한 상황에서 성능을 평가받을 수 있습니다.
5.6 안전 요구사항 도출 시 고려사항
AI 시스템의 안전성과 신뢰성을 보장하려면 다양한 측면에서 요구사항을 설계하고 검토해야 합니다. 입력 공간 제한, 학습 데이터 고려, 공격 가능성 평가, 설명 가능성 향상, 성능 간 트레이드오프 관리는 이러한 과정에서 중요한 고려사항으로 작용합니다.
■ 입력 공간 제한
모델의 일반화 능력 부족을 고려하여 AI 시스템의 입력 공간을 명확히 정의하고, 이를 제한합니다. AI 시스템이 학습하지 않은 환경에서는 예기치 않은 오류가 발생할 가능성이 높으므로, 입력 공간을 구체적으로 정의하고 시스템이 작동할 수 있는 조건을 제한해야 합니다.
■ 학습 데이터 고려
학습 데이터와 실제 운영 데이터 간의 분포 차이를 최소화하기 위해 적절한 샘플 크기와 데이터 품질을 검토합니다. 학습 데이터와 운영 환경 간 불일치는 시스템 성능 부족으로 이어질 수 있으므로, 데이터 수집과 검증 과정을 통해 이를 최소화해야 합니다.
■ 공격 가능성 평가
예상 가능한 적대적 공격(adversarial attacks)을 식별하고, 이러한 공격이 AI 시스템에 미칠 영향을 평가합니다. AI 시스템이 악의적인 데이터나 예기치 않은 입력에 의해 오작동할 가능성을 사전에 평가하고, 이를 방지하기 위한 대책을 마련해야 합니다.
■ 설명 가능성 향상
AI 시스템의 "설명 가능성(Explainability)"을 개선하여 시스템 동작을 더 잘 이해하고 검증할 수 있도록 합니다. AI의 의사결정 과정이 투명하고 이해 가능해야, 안전성과 신뢰성을 보장할 수 있습니다. 설명 가능성은 검증 과정과 문제 해결에도 도움을 줍니다.
■ 성능 간 트레이드오프 관리
정확성과 강건성 사이의 균형점을 설정하여 안전 요구사항을 충족합니다. 모든 성능 지표를 동시에 최적화할 수는 없으므로, 안전성을 확보하면서도 성능 간 균형을 유지할 수 있는 설계를 고려해야 합니다.
AI 안전 요구사항 도출 작업 산출물
1. 입력 공간 정의 (정제됨): AI 안전 생명주기에 적합하도록 정제된 입력 공간 정의
2. AI 안전 요구사항: 정제된 AI 안전 요구사항 및 그에 따른 정량적/정성적 요구사항
3. AI 시스템의 알려진 부족 사항: 입력 공간의 특정 하위 도메인과 연계된 부족 사항 보고서
마치며...
AI 안전 요구사항 도출은 단순히 기술적 요구사항을 설정하는 것에 그치지 않고, 시스템의 안전성과 신뢰성을 보장하는 데 핵심적인 역할을 합니다. 특히 Supervised Machine Learning 기반 시스템은 데이터 품질, 입력 공간 정의, 모델 성능의 불확실성을 포함한 다양한 도전에 직면해 있습니다. 이러한 복잡성을 효과적으로 관리하기 위해 체계적이고 반복적인 접근법이 필요합니다.
이번 포스팅에서 다룬 AI 안전 요구사항 도출의 목적, 사전 준비 사항, 일반 요구사항, 그리고 작업 흐름은 AI 시스템의 전반적인 안전성을 강화하는 데 기여합니다. 이를 통해 AI 시스템이 실제 환경에서 신뢰할 수 있고, 예상치 못한 상황에서도 안전하게 작동하도록 보장할 수 있습니다.
AI 기술은 우리의 삶에 많은 변화를 가져오고 있으며, 그 잠재력은 무궁무진합니다. 그러나 그 가능성이 실현되기 위해서는 안전하고 신뢰할 수 있는 시스템 설계가 필수적입니다. AI 안전 요구사항 도출은 이러한 설계의 중요한 기초로, AI가 사람과 환경에 긍정적인 영향을 미치는 도구로 자리 잡을 수 있을 것으로 기대합니다.
“AI의 잠재력을 최대화하려면, 안전을 우선시하는 것이 무엇보다 중요합니다.
AI 안전 요구사항 도출은 그 시작점입니다.
안전을 넘어 신뢰로 나아가는 기술 개발의 여정을 함께 만들어 갈 수 있는 계기가 되면 좋겠습니다.”