AUTOSAR 기반 소프트웨어 통합 테스트 전략

 

소프트웨어 통합 테스트는 모듈화된 소프트웨어가 모듈 통합과정에서 오류가 없는지를 확인하는 테스트입니다.

그런데, 일부에서는 이 테스트를 모듈 통합이 완료된 상태에서 테스트하는 것으로 잘못 이해하는 경우가 있습니다.

약간 우스꽝 스러운 상황이지만, 용어를 잘못 이해한 상황으로 생각해보면, 이에 대한 이해가 부족한 것으로 볼 수 있기 때문에, 이번 포스팅에서는 소프트웨어 통합 테스트 전략에 대해 알아보도록 하겠습니다.

 

 

 

 

자동차 소프트웨어 개발에서 AUTOSAR (AUTomotive Open System ARchitecture)는 모듈화, 표준화, 호환성을 보장하는 주요 소프트웨어 아키텍처입니다. AUTOSAR 기반 소프트웨어는 Software Component (SWC)로 작성되며, 이들이 결합하여 Composition을 형성합니다. 이러한 구조는 기능 단위의 모듈화와 재사용성을 높여 주지만, 동시에 통합 테스트의 필요성을 더욱 증가시킵니다.

 

1. AUTOSAR SWC의 기본 개념과 통합의 필요성

AUTOSAR 구조에서 소프트웨어는 여러 개의 SWC로 나누어져 있으며, 이 SWC는 각자의 기능을 수행하는 Component입니다. 여러 Component가 결합하여 특정 기능을 제공하는 Composition을 형성하며, 각 Composition은 상위 기능을 담당하게 됩니다. 이처럼 여러 개의 SWC가 결합된 구조에서는 개별 SWC의 정상 작동이 확인되었더라도, 상호작용 중에 발생할 수 있는 문제를 조기에 발견하고 수정하는 통합 테스트가 필수적입니다.

소프트웨어 통합 테스트 의미

 

2. AUTOSAR 소프트웨어 통합 테스트의 주요 접근 방법

AUTOSAR 환경에서 통합 테스트는 보통 Component Integration과 Composition Integration으로 나눌 수 있습니다. 이를 통해 점진적으로 통합 테스트를 수행하며, 최종적으로 모든 SWC가 결합된 시스템 테스트에 이릅니다.

(1) Component 통합 (Component-Level Integration)

Component 단위 통합 테스트는 개별 SWC가 서로 잘 연결되어 기능을 수행하는지를 검증하는 과정입니다. 개별적으로 개발된 Component가 연관된 다른 Component와 상호작용할 때, 예상대로 데이터를 주고받는지 확인하는 것이 핵심입니다.

 

테스트 포인트:

• 각 Component의 인터페이스에서 RTE (Run-Time Environment) 호출이 예상대로 이루어지는지 확인합니다.
• 각 SWC가 제공하는 포트와 사용하는 포트를 통한 데이터 송수신이 정상적으로 수행되는지 검증합니다.
• Component 간 데이터 흐름이 AUTOSAR 정의에 따라 이루어지는지 확인합니다.

컴포넌트 통합 테스트 포인트

 

테스트 방법:

• 개별 SWC와 RTE를 연결하여 데이터를 송수신하며 인터페이스 테스트를 수행합니다.
• Mock Component를 사용하여 실제와 유사한 환경을 구성해, 각 Component가 정확히 작동하는지 확인할 수 있습니다.
• AUTOSAR에 기반한 버스 시뮬레이션 툴을 사용해 테스트 환경을 구현할 수 있으며, 이를 통해 통신이 정상적으로 수행되는지 확인합니다.

 

 

Mock Component란?

Mock Component는 소프트웨어 테스트에서 실제 컴포넌트의 기능을 모방해 테스트용으로 사용하는 가상 컴포넌트입니다. 실제 소프트웨어 컴포넌트(SWC) 대신 사용되며, 인터페이스나 예상 동작을 구현하여 통합 테스트에서 발생할 수 있는 다양한 상황을 재현할 수 있습니다.

(2) Composition 통합 (Composition-Level Integration)

Composition 통합은 여러 개의 Component가 모여 하나의 Composition을 형성할 때, 각 Component 간의 상호작용과 데이터 흐름이 예상대로 이루어지는지 확인하는 단계입니다. 이를 통해 전체적인 기능이 오류 없이 작동하는지 검증할 수 있습니다.

 

테스트 포인트:

• Composition 내 여러 Component 간의 데이터 흐름과 상호작용을 검증합니다.
• 상위 레벨의 데이터를 하위 Component에서 제대로 받아 처리하고 있는지 확인합니다.
• 인터페이스 오류 및 데이터 충돌 여부를 파악해 조기에 수정합니다.

컴포지션 통합 테스트 포인트

 

테스트 방법:

• Integration Framework를 사용해 여러 Component를 동시에 테스트할 수 있는 환경을 구성합니다. 이를 통해 Composition 단위로 전체 기능이 정상 작동하는지 검증합니다.
• 데이터가 실제 시스템에서처럼 흘러가도록 시뮬레이션 툴과 가상 ECU 환경을 사용해 실제 ECU와 유사한 조건에서 테스트할 수 있습니다.
• System Test Bench를 구성해 특정한 시나리오에 따라 Composition이 어떻게 반응하는지 확인합니다.

(3) 통합 테스트 포인트 종류 

AUTOSAR 기반 시스템에서 컴포넌트 및 컴포지션 레벨 통합 테스트의 주요 포인트는 인터페이스, 데이터 흐름, 의존성, 에러 핸들링 등입니다.

통합 테스트 포인트	설명
인터페이스	각 컴포넌트가 서로 데이터를 주고받는 경로인 포트(Port)와 RTE를 통해 정확히 통신하는지를 검증하는 과정입니다. AUTOSAR 컴포넌트는 정의된 포트를 통해 데이터를 송수신하며, 이때 인터페이스의 일관성과 정확성 검증이 필요합니다.
데이터 흐름	하나의 컴포넌트에서 생성된 데이터가 의도한 대로 다른 컴포넌트로 전달되는지, 그리고 이러한 데이터가 올바르게 해석되고 사용되는지를 검증하는 과정입니다. 이 과정에서 데이터가 중간에 손실되거나 왜곡되는 경우를 방지할 수 있습니다.
의존성 검증	각 컴포넌트가 다른 컴포넌트에 의존하는 경우, 의존하는 컴포넌트가 올바르게 동작하는지 확인하는 과정입니다. 특히, AUTOSAR에서는 상호 의존적인 컴포넌트가 많기 때문에, 이 부분에서 문제가 발생하지 않도록 꼼꼼히 테스트해야 합니다.
에러 핸들링	통합된 컴포넌트들이 비정상적인 상황에서 어떻게 반응하는지 검증하는 단계입니다. AUTOSAR 시스템에서는 오류나 비정상적인 데이터 입력에 대한 예외 처리가 특히 중요합니다.
성능 및 로드	컴포넌트 간 통합이 시스템 성능에 어떤 영향을 미치는지 확인하는 단계입니다. AUTOSAR 환경은 특히 실시간 성능이 중요하므로, 통합 테스트 과정에서 성능 문제가 발생하지 않도록 검증해야 합니다.
상태 천이 및 전이	AUTOSAR 컴포넌트는 종종 상태를 기반으로 동작합니다. 컴포넌트의 상태가 올바르게 유지되며 전환하는지 확인하는 것이 중요합니다.

 

다음은 각 통합 테스트 종류별 주요 테스트 항목입니다.

통합 테스트 종류	주요 테스트 항목	설명
인터페이스 테스트	입출력 데이터의 정확성	각 컴포넌트가 인터페이스를 통해 데이터를 주고받을 때, 전송되는 데이터가 정확한지 검증합니다.
	데이터 형식 검증	포트를 통해 주고받는 데이터의 형식이 정의된 타입과 일치하는지 확인합니다.
	RTE 호출 검증	각 컴포넌트의 함수 호출이 RTE를 통해 올바르게 이루어지는지, RTE가 데이터 전달을 정상적으로 수행하는지 테스트합니다.
데이터 흐름 테스트	데이터 일관성 검증	데이터가 여러 컴포넌트를 거쳐 이동할 때 일관성을 유지하는지 확인합니다.
	데이터 갱신 주기 확인	특정 주기마다 데이터가 갱신되는지, 예를 들어 주기적으로 센서 데이터를 받는 컴포넌트의 경우 해당 주기와 맞게 데이터가 전달되는지 확인합니다.
	데이터 종속성 확인	특정 컴포넌트가 이전 단계의 컴포넌트에서 전달된 데이터에 종속적일 때, 올바른 순서로 데이터가 전달되는지 확인합니다.
의존성 검증	의존 컴포넌트 가용성 확인	특정 컴포넌트가 다른 컴포넌트에 의존하여 데이터를 수신하거나 처리하는 경우, 의존 컴포넌트가 비정상적으로 동작할 때의 시나리오를 테스트합니다.
	의존성 순서 검증	데이터 처리 순서나 의존 관계가 올바르게 설정되어 있는지 확인합니다. 특정 컴포넌트가 선행되어야 하는 상황에서 의존성 순서가 맞지 않으면 오류가 발생할 수 있습니다.
	컴포넌트 간 타이밍 확인	데이터의 전달 시점과 컴포넌트의 동작 타이밍이 맞아야 하므로, 타이밍 오류가 발생하지 않는지 검증합니다.
에러 핸들링 및 예외 처리 테스트	비정상 입력 데이터 테스트	포트에서 기대하는 값 범위를 초과하는 데이터가 입력되었을 때 해당 컴포넌트가 어떻게 처리하는지 확인합니다.
	네트워크 오류 시나리오 테스트	AUTOSAR 시스템에서 네트워크 통신 중 오류가 발생했을 때 이를 어떻게 처리하는지 검증합니다. 데이터 전송 중단이나 패킷 손실 등에 대비한 처리 방안을 확인합니다.
	에러 코드 반환	오류가 발생할 때 적절한 에러 코드가 반환되는지, 이 에러 코드가 시스템에 의해 제대로 처리되는지 확인합니다.
성능 및 로드 테스트	응답 시간 테스트	각 컴포넌트가 데이터를 주고받는 과정에서 응답 시간이 너무 길어지지 않는지 확인합니다.
	메모리 사용량 검증	컴포넌트 간의 데이터 전송 과정에서 메모리 누수가 발생하지 않도록 검증하며, 메모리 사용량이 일정 범위를 초과하지 않도록 합니다.
	동시 처리 테스트	여러 개의 컴포넌트가 동시에 데이터를 처리할 때, 충돌이나 병목이 발생하지 않는지 검증합니다.
상태 관리 및 전이 테스트	상태 전이 테스트	컴포넌트가 특정 조건이나 입력에 따라 상태가 전환되는지 확인합니다.
	상태 유지 테스트	컴포넌트가 지정된 상태를 정확히 유지하고, 상태 변경이 필요 없는 상황에서 불필요하게 전환되지 않는지 검증합니다.
	복원 및 재시작 시나리오	시스템 오류 후 컴포넌트가 정상 상태로 복구되는지 테스트하며, 이를 통해 안정성을 높일 수 있습니다.

 

 

3. AUTOSAR 통합 방법의 주요 접근 전략

AUTOSAR 소프트웨어 통합 테스트는 상향식(Bottom-Up), 하향식(Top-Down), 그리고 혼합식(Sandwich) 접근법을 조합하여 사용합니다. 각 방법을 상황에 따라 적절히 선택하는 것이 중요합니다.

(1) 상향식 통합 방법 (Bottom-Up Integration)

하위 Component에서 상위 Composition으로 점진적으로 통합해가는 방식입니다. SWC가 개별적으로 작동한 후, 점진적으로 상위 구성에 결합됩니다.

Bottom-up Integration with AUTOSAR

• 적용 시기: 단위 Component가 복잡할 때 적용할 수 있습니다. 하위 모듈의 안정성이 중요할 때 특히 유용합니다.
• 장점: 하위에서부터 검증이 이루어지므로 문제 발생 시 원인을 쉽게 파악할 수 있습니다.
• 단점: 상위 기능의 테스트가 늦게 진행되며, Stub을 사용해 상위 인터페이스를 가상으로 구현해야 합니다.

(2) 하향식 통합 방법 (Top-Down Integration)

상위 Composition에서 하위 Component로 내려가며 통합을 진행하는 방식입니다. 상위 기능이 중심이 되어 하위 Component를 점진적으로 추가합니다.

Top-down Integration with AUTOSAR

• 적용 시기: 최상위 기능의 테스트가 필요하거나, 상위 레벨 기능의 오류를 조기에 발견하고자 할 때 유용합니다.
• 장점: 전체 시스템의 큰 그림을 빠르게 파악할 수 있어, 주요 기능이 정상 작동하는지 초기에 확인할 수 있습니다.
• 단점: 하위 Component가 없는 경우 Stub을 추가해야 하며, 상위 기능과 하위 모듈 간의 연계가 어려울 수 있습니다.

(3) 혼합식 통합 방법 (Sandwich Integration)

상향식과 하향식을 결합한 형태로, 동시에 상위와 하위 기능을 통합해나갑니다. 시스템에 따라 상위와 하위 Component를 동시에 결합하며, 점진적으로 완전한 통합 상태에 도달합니다.

• 적용 시기: 복잡한 시스템 구조에서 양방향 검증이 필요할 때 유용합니다.
• 장점: 상위와 하위 모듈이 동시에 검증되기 때문에 전체적인 안정성을 높일 수 있습니다.
• 단점: 관리가 복잡할 수 있으며, 시간과 리소스가 많이 소요될 수 있습니다.

 

4. AUTOSAR 통합 테스트 자동화 도구 활용

통합 테스트 과정에서 반복적이고 복잡한 작업을 효과적으로 수행하기 위해서는 테스트 자동화 도구를 사용하는 것이 중요합니다. AUTOSAR는 다양한 자동화 도구와 연동해 통합 테스트를 수행할 수 있습니다.

• Vector CANoe: AUTOSAR 환경에 최적화된 테스트 도구로, 실제 하드웨어 없이도 가상 ECU 환경을 시뮬레이션할 수 있습니다. CANoe를 통해 여러 Composition과 Component 간의 통신과 데이터를 모니터링할 수 있습니다.
• dSPACE: 하드웨어와 소프트웨어의 통합 테스트에 자주 사용되는 도구로, 시뮬레이션 환경을 구성해 가상 ECU와의 상호작용을 테스트할 수 있습니다.
• ETAS LABCAR: 실제 환경과 유사한 테스트 베드(Test Bed)를 제공하여, 실제 차량 환경에서 발생할 수 있는 다양한 상황을 시뮬레이션하고 검증할 수 있습니다.

 

---

마치며...

AUTOSAR SWC 기반의 소프트웨어 통합 테스트는 개별 Component와 Composition 간의 상호작용을 통해 시스템의 안정성을 검증하는 필수적인 단계입니다. 상향식, 하향식, 혼합식 등의 통합 전략을 적절히 활용하여 시스템의 복잡도에 맞는 효율적인 테스트를 진행하는 것이 중요합니다.

AUTOSAR 소프트웨어는 서로 의존하는 모듈들로 이루어져 있기 때문에, 각 모듈의 안정성을 조기에 확보하고 통합하는 과정이 성공적인 프로젝트 수행에 중요한 역할을 합니다.