이미지 인코딩 및 디코딩, 비디오 인코딩 및 디코딩, 방법, 시스템 및 훈련 방법

• Main Authors: FINLAY CHRISTOPHER, XU JAN, LYTCHIER ALEXANDER, RAYNER JONATHAN, BESENBRUCH CHRI, ZAFAR ARSALAN, CHERGANSKI ALEKSANDAR, RYDER TOM
• Format: Patent
• Language: Korean
• Published: 17.07.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION

손실 또는 무손실 이미지 또는 비디오 압축 및 전송을 위한 컴퓨터 구현 방법이 개시된다. 이 방법은, (i) 입력 이미지를 수신하는 단계, (ii) 인코더 훈련된 신경망을 사용해 상기 입력 이미지를 인코딩하여 y 잠재 표현(latent representation)을 생성하는 단계, (iii) 하이퍼인코더 훈련된 신경망을 사용해 상기 y 잠재 표현을 인코딩하여 z 하이퍼 잠재 표현(hyperlatent representation)을 생성하는 단계, (iv) 지정된 엔트로피 파라미터를 사용해 상기 z 하이퍼 잠재 표현을 양자화하여 양자화 z 하이퍼 잠재 표현을 생성하는 단계, (v) 지정된 엔트로피 파라미터를 사용하여, 상기 양자화 z 하이퍼 잠재 표현을 제1 비트스트림으로 엔트로피 인코딩(entropy encoding)하는 단계, (vi) 하이퍼디코더 훈련된 신경망을 사용해 상기 양자화 z 하이퍼 잠재 표현을 처리하여 위치 엔트로피 파라미터 μy, 엔트로피 스케일 파라미터 σy 및 상기 y 잠재 표현의 컨텍스트 행렬 Ay를 구하는 단계, (vii) 암시적 인코딩 솔버를 사용해 상기 y 잠재 표현, 상기 위치 엔트로피 파라미터 μy 및 상기 컨텍스트 행렬 Ay를 처리하여 양자화 잠재 잔차를 구하는 단계, (viii) 상기 엔트로피 스케일 파라미터 σy를 사용해 상기 양자화 잠재 잔차를 제2 비트스트림으로 엔트로피 인코딩하는 단계, 및 (ix) 상기 제1 비트스트림과 상기 제2 비트스트림을 전송하는 단계를 포함한다. Lossy or lossless compression and transmission, comprising the steps of: (i) receiving an input image; (ii) encoding it to produce a y latent representation; (iii) encoding the y latent representation to produce a z hyperlatent representation; (iv) quantizing the z hyperlatent representation to produce a quantized z hyperlatent representation; (v) entropy encoding the quantized z hyperlatent representation into a first bitstream, (vi) processing the quantized z hyperlatent representation to obtain a location entropy parameter μy, an entropy scale parameter σy, and a context matrix Ay of the y latent representation; (vii) processing the y latent representation, the location entropy parameter py and the context matrix Ay, to obtain quantized latent residuals; (viii) entropy encoding the quantized latent residuals into a second bitstream; and (ix) transmitting the bitstreams.