기술표준이슈

2017-05-15(2017-20호) 다운로드

[멀티미디어] 새로운 비디오 코덱 표준에 대한 기술조사요청서(CfE) 공표

1. Future Video Coding 표준화 개요

최신 비디오 코덱 표준인 HEVC(High Efficiency Video Coding)/H.265 보다 2배 이상의 부호화 성능을 갖는 차세대 비디오 부호화(Future Video Coding) 표준을 위하여, 2015년 10월 ITU-T VCEG(Q6/SG16)과 ISO/IEC MPEG(JTC 1/SC 29/WG 11)은 새로운 잠재적 표준기술을 탐색하기 위한 협력팀으로 JVET(Joint Video Exploration Team)을 출범시켰다. JVET는 2015년 10월 제네바에서의 제1차 회의 후 기존 HEVC 대비 성능 개선을 위한 후보 기술 탐색을 진행하고 있으며, 지난 2016년 10월 제4차 청두 회의에서 그 동안의 기술 탐색 결과 JVET의 참조SW인 JEM 3.0(Joint Exploration Model)의 성능이 기존의 HEVC 대비 약 10배의 복잡도 증가에 25%의 부호화 효율을 개선하였음을 확인하였다. 이를 바탕으로 2020년 표준 완료를 목표로, 향후 2017년 7월 Future Video Coding에 대한 기술제안요청서(CfP: Call for Proposal)를 공표하고 2018년 2월에 기고 기술 평가를 시작하는 표준화 일정을 확정하였다.

2. 제6차 JVET 회의 개요

호주 호바트(Hobart)에서 진행된 이번 제6차 JVET 회의에서는 JEM 5.0의 성능 향상을 위한 기술제안 및 새로운 실험영상 등과 관련한 80여건의 기고에 대한 검토 및 논의를 진행하였다. 지난 회의에서 구성된 3건의 탐색실험(Exploration Experiment: EE) 결과 및 신규 기술 제안을 바탕으로 JEM 6.0에 포함될 채택 기술을 결정하고 알고리즘 기술문서를 승인하였다. 또한, 가중 방향성 화면내 예측(Weighted angular prediction), 디코더측 움직임 벡처 유도(Decoder-side motion vector derivation), 360 비디오 부호화 시 적응적인 QP 적용(Adaptive QP for 360° video), 360 비디오 투영 수정 및 패딩(360° Projection Modifications and Padding) 기술을 포함하여 총 4건의 EE를 차기 회의까지 진행하기로 하였다. 또한, HDR/WCG 비디오를 위한 실험조건과 평가방법 및 360 비디오를 위한 실험조건과 평가방법을 발간하였다.

또한, Future Video Coding 표준화 일정에 따라 기술제안요청서(CfP)를 진행하기 위한 전단계로 기술조사요청서(Call for Evidence: CfE) 문서를 공표하였으며, 차기 회의에서 CfE의 제안 기술에 대한 평가를 진행하고 이를 바탕으로 기술제안요청서(CfP) 공표를 진행할 예정이다. Future Video Coding 표준화 CfE 대상에는 SDR(Standard Dynamic Range) 비디오, HDR(High Dynamic Range) 비디오 및 360 비디오가 포함되었다.

3. 기술조사요청서(CfE)

기술조사요청서는 본격적인 표준화를 위하여 기술 제안을 요청하는 기술제안요청서의 전단계로 CfP 이후 진행될 제안 기술의 평가 방법 등을 보다 철저하게 사전 확인하는 과정으로 볼 수 있다. 물론 이와 함께 CfE 단계에서의 주요 목적은 HEVC Main 10 프로파일 대비 부호화 성능 개선과 새로운 비디오 부호화 응용의 효과적인 지원 등이 CfP를 공표하여 기술제안을 받고 본격적인 표준화를 진행할 단계로 충분한지를 확인하는 것이다.

이번에 공표된 CfE 문서에는 세부적인 진행 일정과 함께 SDR(UHD 및HD), HDR, 360도 비디오 각각에 대한 테스트 시퀀스, 목표 부호화 비트율, 기술제안 방법, 평가방법 등을 명시하고 있다.

A. CfE 진행 일정

CfE는 다음과 같은 일정으로 진행된다.

B.SDR 비디오

UHD/HD를 포함한 SDR 비디오의 테스트 시퀀스는 아래 표와 같다.

부호화 성능비교를 위해서 시퀀스에 따라 각각 4개의 목표 부호화 비트율을 설정하였다. 주어진 비트율에 대한 제안 기술의 부호화 성능 및 결과를 제시하여야 하며, 아래의 조건으로 부호화 하여야 한다.

ㆍIntra Refresh Period는 주어진 테스트 시퀀스의 프레임율에 따라서 약 1초가 되도록 설정하고, Intra Period는 Intra Refresh Period 보다 크지 않도록 한다.

ㆍ목표 비트율을 +/-2% 이내에서 부호화 하기 위한 고정 QP를 사용해야 하고, 이를 위해서 필요하다면 한번 QP+1로 조정할 수 있으며, 이 경우 QP 변경 내용을 명시하여야 한다.

ㆍ전처리는 허용되지 않으며 후처리의 경우 부호화 루프내의 경우만 허용된다.

C. HDR 비디오

HDR 비디오에 대해서 HD 해상도(1920x1080, 1920x856)의 5개의 테스트 시퀀스(4:2:0, 10 비트)와 각 시퀀스에 대한 4개의 목표 비트율을 정하였다. 주어진 비트율에 대한 제안 기술의 부호화 성능 및 결과를 제시하여야 하며, 아래의 조건으로 부호화 하여야 한다.

ㆍIntra Refresh Period, Intra Period에 대한 조건은 SDR과 동일하다.

ㆍQP 설정의 경우, 주변 휘도 화소 값에 따른 QP의 조정이 예외적으로 허용되며, 이 경우 관련 내용을 명시하여야 한다.

D. 360도 비디오

360도 비디오에 대해서는 5개의 각 시퀀스에 대한 등장방형투영(ERP: Rquirectangular Projection) 포멧의 8K 해상도(8192x4096)의 입력 시퀀스와 4K 해상도(4096x2048)의 앵커 시퀀스(4:2:0, 10/8 비트)를 정하고, 추가로 유효 화소수(8,388,608)를 명시하고 있다. 각 시퀀스에 대한 4개의 목표 비트율을 정하였고, 주어진 비트율에 대한 제안 기술의 부호화 성능 및 결과를 제시하여야 하며, 아래의 조건으로 부호화 하여야 한다.

ㆍIntra Refresh Period, Intra Period에 대한 조건은 SDR과 동일하다.

ㆍQP 설정의 경우, 투영 과정에서의 기하학적 위치에 따른 QP의 조정이 예외적으로 허용되며, 이 경우 관련 내용을 명시하여야 한다.

ㆍ임의의 투영 매핑을 사용할 수 있으며, 이 경우 모든 시퀀스에 적용하여야 한다. 자동 알고리즘으로 시퀀스내에서 투영 포맷을 변경할 수 있다.

ㆍ사용한 모든 투영 포맷에 대한 부호화 해상도, 패딩 방법, end-to-end PSNR 등의 정보를 명시하여야 한다.

E. 평가방법

CfE에는 SDR, HDR, 360도 비디오에 대한 평가방법을 명시하고 있다. 제안자는 객관적이 성능으로 PSNR(프레임별 평균값, 휘도/색차 별도로), BD-Rate, BD-PSNR을 제시하여야 한다. 주관적 화질 평가를 위해서 ITU-R BT.2095.0의 EVP(Expert Viewing Protocol)를 사용하고, 대안으로 ITU-T P.910 DCR(Degradation category rating) 방법을 사용할 수도 있다.

HDR의 경우, 휘도값의 범위를 고려한 wPSNR을 사용하고, 전후처리 각 단계의 포함 여부에 따른 다양한 화질 측도에 따른 객관적인 성능을 제시하여야 한다.

360도 비디오의 경우, 화질 평가를 위해서 2D 직사각형 형태의 고정 사용자 시점 화면(static viewport)를 추출하고, 추후에 정해질 패스(상하, 좌우이 동적 시점 변경)의 동적 사용자 시점 화면(dynamic viewport)도 추출한다. 만약, 360Lib에서 지원되지 않는 투영 포맷 및 패딩 방법을 사용한 경우, 평가를 위해서 8K ERP YUV 파일이나 사용한 포멧을 디코딩 할 수 있는 바이너리 디코더를 함께 제공하여야 한다.

4. JVET 표준화 전망 및 맺음말

이번에 공표된 기술조사요청서(CfE)의 평가 결과를 바탕으로, 기존에 계획된 일정에 따라 오느 2020년 완료를 목표로 한 차세대 비디오 부호화 표준화의 기술제안요청서(CfP)가 공표될 것으로 예상되며, 본격적인 표준화가 진행될 것이다. 따라서, 다음 제7차 토리노 JVET 회의에서 CfE에 따라 진행될 제안기술, 평가절차 및 평가결과에 주목할 필요가 있다. CfP의 전단계로 CfE가 공표된 시점에서, 고해상도 SDR 비디오, HDR 비디오 및 360 비디오를 포함한 HEVC 이후의 새로운 비디오 표준에서 국제 표준 핵심기술을 확보하고 표준기술의 IPR을 선점하기 위한 연구와 JVET의 표준화에 적극 대응이 요구된다.

김재곤 (한국항공대학교 교수, jgkim@kau.ac.kr)

* 본 내용은 필자의 의견으로 TTA의 의견과 다를 수 있습니다.