NIPA AI바우처 지원사업을 위한 공급기업이 보유한 AI 솔루션에 대해 정확도, 정밀도, 재현율 등 다양한 성능지표를 적용하여 제 3자 테스트하고 AI 시험성적서를 발급합니다.
정보통신산업진흥원(NIPA)의 AI바우처 지원사업에서 공급기업이 제공하는 솔루션에 대해 사업기간 내 제3자 수행 시험성적서를 필수 제출하도록 정의하고 있는 바에 따라 성능 목표, 학습/테스트 데이터, 사용 알고리즘, 사용언어, 개발 프레임워크 등이 제시된 KOLAS 국제공인시험기관의 시험성적서를 제공합니다.
AI 솔루션 대상
AI(인공지능) 모델이 존재하는 머신러닝과 딥러닝 알고리즘에 기반한 솔루션
※룰(Rule) 기반 모델은 포함되지 않음
AI 솔루션 주요 성능 평가 지표
-
Data 입력
-
AI 모델
-
Output 확인
-
성능 평가
분류 모델 매트릭
분류 모델, 객체 인식 모델 등에 대한 성능을 평가합니다.
Accuracy(정확도) Recall(재현율) Specificity(특이도) Precision(정밀도) F1 Score(재현율과 정밀도의 조화 평균) PR-Curve(Precision Recall Curve) mAP(mean Average Precision) AUROC(Area Under the ROC Curve) Error Rate(오류율) 기타
예측 모델 매트릭
수요량 예측 모델, 가격 예측 모델 등 회귀모델에 대한 성능을 평가합니다.
R2 Score RMSE MAE 기타
기계번역 및 음성인식 매트릭
요약모델, 문자열 추출 모델 등 언어모델에 대한 성능을 평가합니다.
BLEU ROUGE-L WER CER 기타
기타
그 외 다양한 AI 모델에 적합한 성능지표에 대해 평가합니다.
IoU F-Beta ROC PCK MPJPE CIDR METEOR Hit-Rate FID 기타
한국시험인증원 장점
01대기기간 없이 빠른 시험, 고객 일정에 맞춘 시험성적서 발급
02제3자 공인시험기관의 시험 전문가를 통한 공신력있는 시험
03독립된 자체 테스트베드 보유, 지역에 상관없이 출장 시험 가능
AI 바우처 시험 절차 안내
-
STEP 1
시험 환경 확인
시험 환경 구성, 하드웨어 스펙(CPU, GPU, NPU, RAM, Storage 등), 소프트웨어 정보(OS, 설치 소프트웨어, 시험 도구 등)를 확인합니다.
-
STEP 2
모델 정보 및 데이터 확인
사용 알고리즘, 사용언어, 개발 프레임워크, 모델 로직, 앙상블 기법, 하이퍼 파라미터 등 모델 관련 정보와 데이터 원천, 학습 데이터, 검증 데이터, 테스트 데이터 등 데이터 관련 내용을 확인합니다.
-
STEP 3
평가 수행
AI(인공지능) 모델에 시험용 데이터 입력 후, 출력 데이터(추론 결과, 성능 평가 결과, 가시화 그래프 등)를 확인하여 합의된 평가 지표에 대해 목표 기준에 부합하는 시험 결과가 올바른 평가 산식에 의해 도출되었는지 확인합니다.
-
STEP 4
시험성적서 발급
시험성적서 초안 작성이 완료되면, G4B를 통한 최종 시험성적서 발급을 진행합니다.
