SW 테스트 - 검증 및 확인 (V&V) 테스트 - ASPICE

ASPICE 경험이 없는 개발 조직과 테스트 최소 1년을 수십종의 문서를 만들고 삽질 해야 레벨1을  달성 할 수 있습니다.

 

전체 14개 영역이 있고, 테스트 관련 영역은 5개나 있습니다.

단위 테스트 (Unit test), SW통합 테스트, SW Qualification test, 시스템 통합, 시스템 Qualification test입니다.

 

이중에서 공유 해볼려고 하는 것은 시스템 Qualification test (시스템 인정 시험)이라고 한글로 정의 하겠습니다.

 

ASPICE는 전형적인 V모델입니다.

그러기 때문에 시스템 인정 시험은 시스템 요구 사항을 기반으로 Test case를 설계 하고, 테스트를 수행 하고 실행 합니다.

보통 2시간 정도 인터뷰 하신다고 보시면 됩니다.

 

ASPICE의 모델을 이해 하시기 위해선 전체적인 SW공학을 이해 하셔 야 합니다.

아래의 질문 유형이 이렇습니다.

 

첫번째, 테스트 계획서를 보여달라고 하면서,

0. 참여자의 역할은?

1. 전체적인 시스템에 대해 설명 하고 테스트 계획서를 설명 해달라

2. 테스트 계획 중, 테스트의 범위가 어디 까지 인지 알려 달라.

3. 테스트 범위가 아닌 경우는 어떻게 테스트를 검증 할 것인가?

4. 시스템 인정 시험의 테스트 전략을 설명 해 달라.

5. 테스트 계획서는 어떤 시스템 요구 사항의 버전을 반영 하여 만든 것인가?

6. 테스트 계획서와 관련된 문서는 무엇이 있고 버전이 어떻게 되는가?

7, 테스트 계획서를 작성시 참고한 문서들은 무엇인가? 그리고 관련 표준은 무엇인가?

8. 테스트 계획서를 만드는 경우 테스트 계획서를 기반으로 나오는 문서들은 무엇인가?

9. 시스템 인정 시험의 진입 기준은 무엇인가?

10. 시스템 인정 시험의 종료 기준은 무엇인가?

11. 테스트 계획서에서 테스트 케이스 도출시 사용하는 설계 기법은 무엇 인가?

12. 테스트 계획서의 작성자, 리뷰어, 승인자는 누구인가?

13. 테스트 계획서에 대한 리뷰는 어떻게 진행을 하고 리뷰 프로세스를 알려 달라.

13-1. 시스템 통합 인정 시험의 통과 기준은 무엇인가?

13-2. WBS와 테스트 계획 문서를 띄워 놓고 일정 관리의 예시를 보여달라

13-3. 테스트 환경을 설명해 달라

13-4  테스트의 제약 사항에 대해 알려 달라. 두번째, TC를 보여 달라고 하면서,

14. TC도출 전, 시스템 요구 사항에서 어떤 item을 테스트 하기 위한 케이스의 준비 작업 이 있는가?  SW, HW 나눈다고 하였을 때 어떻게 기준을 세우는가?

15. 각 시스템 요구 사항에서 테스트 가능성은 어떻게 판단 하는가?

16. 시스템 각 요구 사항 중, verification criteria와 verification method에 대한 피드백에 대한 기준이 있는가?

17. 테스트 가능성 리뷰의 경우 또는 테스트 불가의 경우는 시스템 요구 사항 담당자에게 피드백 한 자료나, 회의 자료가 있는가?

18. TC설계시 설계 기법은 어떻게 적용 하였는가? 예시나 문서를 보여달라. 해당 TC에서 왜 특정 설계 기법을 적용 하였는가? 테스트 계획서와 비교 하면서,  테스트 계획서에 해당 설계 기법을 명시 하였지만 TC에 적용 하지 않았는데 그 이유는

19, 각 TC에 대하여 내부 동료 검토는 어떻게 진행 하는가?

20, TC를 만들기 위해 참고한 문서와 관련 문서를 알려 달라.

21. TC를 만들기 위해 시스템 요구 사항의 버전은 무엇인가?

22. TC는 어느 도구에서 관리를 하고 있는가? 추적성의 예시를 보여달라

23. TC의 우선 순위는 어떻 기준으로 정하는가?

24. TC수행 후, 결함이 발생하면 어디에 결함을 업로드 하는가?

 

25. 결함 관리 진행 예시를 보여달라.  결함을 등록시 1차 등록자는 누구인가? 협의한 회의 자료가 있는가? 결함 해결이 지연시, 어떻게 상위로 에스컬레이션 하는가? 해당 결함을 확인 하고 어느 정도의 시간이 걸리는가?

26. 전체 TC중에서 리그레션에 해당하는 TC들은 무엇인가? 그 기준을 알려 달라. 누구와 리그레션의 TC를 협의 하는가?

27. TC중 정상의 case와 예외 case를 알려 달라.

28. WBS 와 TC수행 일시의 날짜를 알려 달라

28-1 비기능 요구 사항의 TC를 알려 달라. 비기능 요구 사항에 관련된 TC가 없는데, 없는 이유는 무엇인가? 만약 있다면 SW품질 특성의 어떤 표준을 따라서 만든 것이 있는가? 예시를 보여달라

28-2. 본인이 만든 TC에 대해 문제 없이 만들었고, 시스템 요구 사항을 모두 커버 했다고 누가 보증할 수 있나? 세번째, 결과 리포트를 보여달라고 하면서

29. 테스트 결과 보고서는 누가 만드는가? 동료 검토는 어떻게 하는가? 검토를 위한 체크리스트가 있는가?

30. 테스트 결과는 어떤 테스트 케이스 버전과 요구 사항의 버전으로 만드는가?

31. pass와 fail에 대하여 알려 달라 fail이면 왜 fail이 되었는지 알려 달라.

32. 테스트 결과 공지는 어떻게 이루어 지는가? 테스트 결과에 대한 리뷰 회의록을 보여달라.

32-1 테스트 결과의 최종 승인자는 누구인가? 테스트 결과는 어디에서 업로드 하여 관리 하는가? 다른 질문 추가, 테스트 환경 등

33. 샘플을 받는 경우 어떻게 샘플을 받는가?

34. 샘플에 포함되는 SW이미지의 버전은 어떻게 확인 하는가?

35. 테스트 위한 샘플이 정상 동작 되는지 어떻게 확인 하나? 36. 테스트 샘플이 고장 난경우 어떻게 백업 대비가 잇나?

역량 게획 질문시) 테스트 매니저가 테스트 엔지니어의 역량 교육 계획은 어떻게 진행 하는가? 프로젝트 진행시 테스트 엔지니어의 역량 기준이 있나? 역량 계획 수립시 어떤 교육 과목을 수강 해야 하는가? 역량 게획서는 어떤 주기로 확인 하나?

 

두서 없이 정리 하였지만, 결국

1) 정확한 요구 사항 분석

2) 정확한 테스트 계획 수립

3) 제대로된 테스트 전략 및 수행 등이 있을 것 같습니다.

 

결국 테스트는 기본이고, 요구 공학과 형상 관리 그전에 SW공학은 필수로 이해 하셔야 합니다