소프트웨어 테스트 독립성 (Software Test Independence)

 

소프트웨어 개발에서 개발자와 테스트 엔니지어간에는 명확한 시각차이가 존재합니다.

개발자는 자신의 코드가 정상적으로 잘 수행될거란 믿음이 있지만,

테스트 엔지니어는 그렇지 못한 상황을 늘 염두에 두고 있거든요.

이번 포스팅에서는 이런 시각차이로 인해 테스트 독립성의 필요성에 대해 알아 보겠습니다.

 

 

---

테스트 독립성(Test Independence)이란 테스트를 수행하는 주체가 소프트웨어 코드나 시스템의 개발에서 독립된 위치에 있어, 보다 객관적이고 편견 없는 시각에서 결함을 찾아낼 수 있도록 하는 개념입니다. 테스트 독립성의 목표는 편견과 주관이 배제된 환경에서 소프트웨어 품질을 평가하고, 더 높은 수준의 품질 보증을 달성하는 것입니다. 개발자와 테스트 엔지니어가 서로 다른 관점에서 소프트웨어를 바라보는 것이 필수적인 이유이기도 합니다.

 

독립적인 검증 및 확인(IV&V, Independent Verification and Validation)에 애자일 원칙 통합하기

 

 

개발자와 테스트 엔지니어의 시각 차이

개발자와 테스트 엔지니어가 소프트웨어 테스트에 접근하는 방식에는 근본적인 차이가 있습니다. 개발자는 소프트웨어를 구현하고 그 기능이 요구사항에 맞게 동작하는지를 확인하는 데 초점을 맞추지만, 테스트 엔지니어는 주어진 기능과 요구사항을 바탕으로 잠재적 결함을 찾아내고, 예외 상황에서의 동작을 검증하는 데 중점을 둡니다.

 

소프트웨어 테스팅에 대한 개발자와 테스트 엔지니어간 시각 차이

개발자 시각:

• 개발자는 자신이 설계한 로직이 올바르게 동작한다고 믿는 경향이 있으며, 기능이 정상적으로 수행될 때의 시나리오에 초점을 맞춥니다.
• 개발자는 코드 작성 시 실수를 놓칠 수 있습니다. 또한, 자신이 설계한 로직을 테스트할 때는 무의식적으로 예상된 흐름만을 검증하는 경향이 있습니다. 예를 들어, 로그인 기능을 테스트할 때 올바른 ID와 비밀번호로 성공하는 시나리오를 중점적으로 확인할 가능성이 큽니다.

테스트 엔지니어 시각:

• 테스트 엔지니어는 소프트웨어가 예상치 못한 입력이나 경계 상황에서도 올바르게 동작하는지에 초점을 맞춥니다. 예를 들어, 로그인 기능을 테스트할 때 잘못된 ID나 비밀번호를 입력하거나, 특수문자를 입력하는 경우 등 다양한 예외 시나리오를 시도합니다.
• 테스트 엔지니어는 개발자와 달리 코드의 구현을 몰라도 되고, 심지어 몰라야 합니다. 이는 보다 객관적이고 전방위적인 시각으로 테스트를 수행하게 해주며, 사용자가 경험할 수 있는 예기치 않은 문제를 찾아내는 데 효과적입니다.

 

 

예시: 로그인 기능 테스트

개발자 관점:

• 개발자는 로그인 기능을 구현하면서 요구된 기본 기능을 확인합니다. 예를 들어, 올바른 아이디와 비밀번호를 입력했을 때 로그인에 성공하는지 검증합니다.
• 그러나 이 과정에서 특수한 예외 시나리오, 예를 들어 비밀번호에 특수문자를 입력하거나 잘못된 ID 입력 등의 경우를 간과할 가능성이 있습니다.

테스트 엔지니어 관점:

• 테스트 엔지니어는 올바른 시나리오 외에도 다양한 예외 상황을 고려합니다. 예를 들어, 비밀번호가 빈칸일 때, 입력한 비밀번호가 규칙에 맞지 않는 경우, 또는 네트워크가 끊어진 상황 등 비정상적인 상황에서의 동작을 중점적으로 검증합니다.또한, 사용자가 실수로 올바르지 않은 정보를 입력할 가능성에 대해 고려하고, 이를 통해 사용자 경험을 저해하는 문제를 찾아냅니다.

이러한 시각 차이로 인해, 테스트 독립성을 유지하는 것이 중요합니다. 개발자가 스스로 결함을 찾기는 어려우므로, 개발과 테스트는 별도의 역할로 구분되어 서로 다른 시각에서 소프트웨어를 검증하게 됩니다.

 

독립적 테스트 팀 구성과 테스트 엔지니어

테스트 독립성을 보장하기 위해서는, 개발과 테스트가 적절하게 분리된 조직 구성을 갖추는 것이 중요합니다. 이를 위해 다음과 같은 조직 구조와 역할을 고려할 수 있습니다.

1. 테스트 팀의 독립성 유지

• 테스트 팀은 개발 팀과 별도의 독립적인 위치에 있으며, 테스트 엔지니어는 개발 코드의 세부 구현보다는 요구사항과 테스트 케이스를 중심으로 소프트웨어를 검증합니다.
• 테스트 팀은 독립적인 보고 체계를 갖추어, 개발 팀의 성과나 일정에 영향을 받지 않고 품질에 집중할 수 있어야 합니다.
• 독립적인 테스트 팀은 소프트웨어가 전체적인 품질 기준을 충족하는지, 그리고 실제 사용자 환경에서 정상적으로 동작하는지를 객관적으로 검증하는 것에 중점을 둡니다.

2. 개발조직 내, 테스트 엔지니어 필요성

• 테스트 팀의 독립성도 중요하지만, 개발 조직 내에도 테스트 엔지니어가 필요합니다. 개발 조직 내의 테스트 엔지니어는 개발자와는 또다른 시각으로 소프트웨어를 평가하며, 소프트웨어 품질을 개선하고, 특히 QA(Quality Assurance) 조직과 개발 조직간의 협력을 원활하게 하는 연결 고리 역할도 수행하게 됩니다.
• 개발 조직 내 테스트 엔지니어는 개발팀의 일원으로, 개발자와 밀접하게 협력하여 개발 단계에서 테스트를 수행하고, 빠르게 피드백을 제공하여 결함을 조기에 수정하는 역할을 합니다.
• 즉, 개발조직 내 테스트 엔지니어는 개발과 동시에 테스트를 수행하여 조기 결함을 발견하고 빠른 피드백을 제공하는 것에 중점을 둡니다. 

독립적인 테스트 팀 구성을 위한 역할

1. QA(Quality Assurance) 매니저

• QA 매니저는 테스트 엔지니어들이 독립적으로 소프트웨어 품질을 관리할 수 있도록 환경과 자원을 지원하며, 테스트 계획과 전략을 총괄합니다.
• QA 매니저는 테스트의 독립성을 보장하는 역할을 수행하며, 개발 팀과 테스트 팀 간의 소통을 원활히 하여 테스트 중 발견된 결함이나 개선 사항을 효율적으로 피드백합니다.

2. 테스트 리더/엔지니어

• 테스트 리더는 개별 테스트 엔지지어들의 업무를 조율하고, 테스트 계획을 세부적으로 실행할 수 있도록 지원합니다. 또한 테스트 케이스 검토와 승인을 통해 테스트 엔지니어들이 작성한 테스트 케이스의 완성도와 품질을 검토하고 승인합니다.
• 반면, 테스트 엔지니어는 독립적인 시각에서 소프트웨어를 테스트하고, 다양한 경계 상황, 예외 케이스를 다루는 역할을 합니다.
• 테스트 엔지니어는 소프트웨어가 주어진 요구사항에 따라 일관되게 동작하는지 확인하며, 테스트 케이스를 작성하고 실제 사용자가 경험할 수 있는 결함을 발견합니다. 이러한 작업을 통해 사용자 경험과 품질을 개선합니다.

3. 테스트 자동화 엔지니어

• 테스트 자동화 엔지니어는 정형화된 테스트 시나리오를 자동화하여 반복적으로 실행될 수 있도록 시스템을 구축합니다.
• 자동화된 테스트는 동일한 테스트 시나리오를 반복 실행해 정확성과 효율성을 높이며, 코드 변경 시 회귀 테스트를 통해 기능이 변질되지 않도록 보장합니다. 이는 테스트 독립성을 유지하면서도 테스트 범위를 확장할 수 있게 합니다.

4. 결함 관리자 (Defect Manager)

•  결함 관리자는 테스트 결과에서 발생한 결함을 체계적으로 분류하고 우선순위를 매겨 개발 팀에 전달하며, 결함이 해결되는 과정을 모니터링합니다.
• 결함 관리자는 테스트 독립성을 유지하면서 결함이 원활하게 해결되도록 지원합니다. 결함 보고가 체계적으로 이루어지면 개발 팀과 테스트 팀 간의 커뮤니케이션이 개선됩니다.

5. 테스트 방법론/인프라/도메인 전문가

• 테스트 방법론 전문가는 테스트 수행과 관리에 있어 체계적인 방법론과 프레임워크를 도입하고, 팀이 일관된 테스트 절차를 따를 수 있도록 가이드라인을 제공합니다.
• 테스트 인프라 전문가는 테스트에 필요한 인프라와 도구를 최적화하고, 팀이 테스트 도구를 효율적으로 활용할 수 있도록 지원합니다. 테스트 환경을 설정하고 관리하여 테스트가 일관된 환경에서 안정적으로 이루어지도록 합니다.
• 테스트 도메인 전문가는 해당 소프트웨어가 사용하는 도메인(예: 금융, 의료, 항공 등)에 대한 깊은 이해를 바탕으로, 도메인 특화 결함과 리스크를 검토하고 평가합니다.

---

마치며...

독립적인 테스트 팀은 소프트웨어 품질 보증의 중요한 축을 담당하며, 각기 다른 역할들이 협력하여 전체 시스템의 신뢰성과 안정성을 높이는 데 기여합니다. 또한 테스트 수행을 위해 여러 역할들이 존재하는데 각기 다른 구성원들이 협력하여 단순한 결함 발견을 넘어서, 개발 주기 전반에 걸쳐 소프트웨어의 신뢰성과 안정성을 확보하는 밑거름이 될 수 있습니다.

독립적인 테스트 팀은 다양한 테스트 관점과 전문 지식을 기반으로 소프트웨어를 깊이 있게 평가하며, 사용자에게 안정적이고 신뢰할 수 있는 소프트웨어를 제공하는 데 중요한 역할을 수행합니다. 결국, 이러한 체계적인 테스트 팀 구성을 통해 기업은 품질 높은 소프트웨어를 빠르게 출시하며, 고객 신뢰와 만족을 높일 수 있습니다.