摘要:
前文我们已经对HEVC的HDR编码优化技术和HDR/WCG相关的整体编码方案做了介绍,本文总结几种具有代表性的技术方案,对业内常用的几个HDR分发标准做简要梳理。
背景
标准组织已对HDR内容的创建、传输、交付和显示的各个层面制定了标准,包括ITU(International Telecommunications Union)、SMPTE(Society of Motion Picture and Television Engineers)、CEA(Consumer Electronics Association)、MPEG(Motion Picture Experts Group)和BDA(Blu-ray Disc Association)。MPEG率先定义了HDR10规格,成为当前广泛使用的HDR内容分发标准。此外,业内提出了一些增强性的技术方案,代表性的包括Dolby Vision、HLG系统和Philips&Technicolor的SL-HDR1。
HDR内容分发标准
HDR10
MPEG研究了HDR的基本需求并得出结论:HEVC Main-10配置在压缩效率和信号质量上可以满足HDR内容的传输要求。其他行业组织也得出了类似的结论,10-bit 4:2:0格式的基本视频信号的最佳压缩方式可以适用于HDR和WCG内容。基于这些结论,BDA(Blu-ray Disc Association)、HDMI(High-Definition Multimedia Interface)和UHDA(UHD Alliance)采用了基于HEVC Main-10配置的传输格式,用于压缩和传输HDR和WCG内容,即“HDR10”[1],CTA(前CEA)在其HDR兼容显示规范中强制要求使用HDR10媒体配置文件。
HDR的开放平台版本HDR10仅仅是一些技术和规范的集合,还不是一个完整的端到端系统,如图4所示,首先,来自相机的线性光图像数据要进行某种形式的实时或离线分级,如通过HDR兼容的母片显示器上的视觉结果判断,内容的色彩体积在BT.2020规定的颜色空间容器内表示;随后,使用SMPTE ST2084中规定的PQ曲线[2]将RGB 4:4:4格式的图像数据编码为最能体现人类视觉特征的码字(图5);最后,将编码的数据分通道量化为10比特,执行颜色转换和色度子采样,将信号转化为Y’Cb’Cr’ 4:2:0格式,并输送到HEVC编码器。
图1 HDR10内容的母版制作过程[1]
图2 PQ曲线[1]
传统的SDR电视节目使用的Gamma曲线是基于电视显像管的特性定义的,无法承载高动态范围的信号,而PQ曲线表示的是光的绝对值,在从纯黑到10000尼特的范围内明确定义了光的值,因为EOTF的作用就是把数字视频信号的编码值换算成光强,所以PQ曲线具有更好的可扩展性,另外PQ曲线是基于人眼特性的,在人眼敏感的亮度范围中分配较多的码率,而在人眼不太敏感的高光部分则分配较少的码率,既符合人眼的视觉特征,又可以确保数据被充分利用。
HDR10内容的播放配置为:
HDR10显示器的播放过程几乎就是信号母片制作的逆过程,对信号进行解码,然后进行反颜色转换和子采样以恢复出RGB 4:4:4信号(图6),最后将该信号应用于SMPTE ST2084的播放转换函数(EOTF),恢复出线性光值。
图3 HDR10内容解码过程[1]
ST2086元数据中包含了母片显示器的黑电平和峰值亮度以及母片内容的亮度,如果播放器的色域比视频内容窄或者播放器的峰值亮度低于视频内容,播放器就可以根据元数据把视频内容映射到更窄的色域或更低的亮度,同时播放器只需要重映射到视频内容的峰值亮度即可,而不必达到ST2084中的最大值10000 nit。
杜比HDR技术-Dolby Vision
杜比视界(DV)[1]是杜比实验室的HDR系统,符合4K UHD Blu-ray规格,是一个端到端、可扩展的系统,使用PQ曲线映射线性光图像数据,可以按需兼容HDR10和SDR显示器。
杜比视界是杜比全景声的补充,电影、电视和游戏创作者借助它可以实现自己的创意,并让消费者体验到沉浸式的内容。DV关键的一步是HDR调色,包括高动态范围、宽色域以及可能的高分辨率、高帧率。
杜比开发了基于HDMI的RGB隧道,可以直接通过HDMI 2.0接口传输DV 12-bit视频流和元数据,而无需等待HDMI 2.0a的标准化。此外,DV使用动态元数据[3]表示图像的色度和亮度,动态元数据中包含了母片显示器的黑电平和峰值亮度以及母片内容的亮度,当新的场景出现时,动态元数据中还要包含相应的颜色体积。
相比于SDR动态范围更高、色域更宽的图像,杜比称为EDR(Extended Dynamic Range),DV的EDR内容生成器具有双层和单层两种配置,
在EDR母片处理过程中,会有动态元数据生成,它反映了视频每一帧的HDR版本和SDR版本之间的关系,逐帧描述了母片内容的亮度,动态元数据存储在DV的增强层中,DV的母片处理流程如图4所示。
图4 Dolby Vision母片处理流程[1]
DV内容的播放配置为:
无论视频内容采用单层配置还是双层配置,DV播放设备对这两者都可以兼容。由SDR基本层和增强层组成的DV双层视频流可以解码为两种格式,其一是可以结合SDR流和携带了动态元数据的增强层,生成包含动态元数据的DV HDR视频,或者,SDR流也可以被简单地解码为SDR视频。由HDR10 基本层和增强层组成的DV双层视频流则可以解码为DV HDR视频、HDR10视频或SDR视频。
在DV EDR解码器中,10-bit SDR或HDR10流和携带了动态元数据的2-bit增强层流被结合起来,最终生成了包含动态元数据的12-bit EDR视频,动态元数据则可以保证EDR视频的正常播放,DV内容的解码流程如图5所示。
图5 Dolby Vision内容的解码流程[1]
Hybrid Log Gamma(HLG)系统
英国BBC和日本NHK联合提出了一种HDR分发系统——HLG系统,该系统对于实时广播制作是更优的,HLG系统已经被日本组织ARIB纳入STD-B67标准中。
HLG系统中使用了混合的OETF曲线,在传统SDR的较低亮度区域使用标准的Gamma曲线,在较高亮度区域使用对数曲线,HLG的OETF曲线和传统SDR内容使用的OETF曲线如图6所示,有了这种混合的OETF曲线,就可以播放兼容SDR和HDR电视的单一的信号/视频流,并且HLG系统不依赖于元数据,信号与显示器是相互独立的。使用HLG技术不需要付版权费,也不需要经过广播公司和显示设备生产厂家的许可。
HLG系统可以兼容当前的10-bit HDR内容制作流程,相机拍摄的线性光图像数据使用HLG OETF曲线进行映射,颜色空间符合ITU BT.2020标准。
图6 HLG的EOTF曲线与SDR内容使用的EOTF曲线对比[1]
HLG内容的播放配置为:
为了播放HLG内容,显示设备需要切换到高亮度模式,并且要使用HLG系统的EOTF曲线而不是BT.1886 Gamma曲线或ST2084 EOTF曲线(PQ曲线)
与使用PQ曲线的HDR系统不同,HLG系统有自己独有的OETF曲线,并且会使用OOTF(Optical to Optical Transform Function)将场景亮度映射为显示亮度,对颜色进行一定的调整,如图7所示。
图7 HLG系统,显示设备中应用了OOTF
在传统的SDR视频系统中,为了提供一个系统Gamma(近似为1.1-1.2),摄像机内的OETF和显示器内的EOTF并不是精确的反转关系,系统Gamma的作用是调整图像的颜色以补偿观看环境中背景光造成的影响,特定的显示器的系统Gamma是变化的,而图像饱和度会受到系统Gamma的影响,更高的Gamma值往往对应着更饱和的图像。在HLG系统中,系统Gamma可以根据播放器的动态范围和背景光自适应调整,为了避免图像饱和度的变化,HLG内容显示器中会附加一个调整图像颜色的Gamma,相当于对颜色体积进行了映射。
飞利浦/特艺的SL-HDR1
特艺(Technicolor)开发了两种HDR技术:第一种是从摄像机获取10-bit HDR视频信号,然后生成可以兼容SDR和HDR显示器的视频信号;另一种称为智能音调管理,提供了一种将SDR素材“升级”为HDR内容的方法。在CES 2016上,特艺和飞利浦(Philips)合并了它们的HDR技术,即SL-HDR1标准[4]。
SL-HDR1分发系统的主要特征:
SL-HDR1分发系统如图8所示,原始内容首先要经过预处理、后处理和母片处理操作生成HDR母片信号和内容元数据,在编码阶段,HDR母片信号分解为SDR信号、内容元数据和动态元数据,SDR信号通过任意一种编码器(比如HEVC)进行编码,然后通过现有的SDR分发网络进行传输,同时传送的还有动态元数据,在解码端可以同时获得SDR视频和HDR视频,经过一定的后处理后即可进行显示。
图8 单层SL-HDR1分发系统
图9中的框图更加详细地描述了HDR分解和重建的过程,HDR分解的核心部分是HDR到SDR的转换,HDR重建则是将SDR视频转换为HDR视频,视频的峰值亮度需要适应显示器的性能。
图9 HDR内容分解和重建过程
参考文献
[1] Schulte T, Barsotti J. HDR Demystified: Emerging UHDTV Systems[J]. Technical paper, SpecraCal Inc, 2016.
[2] SMPTE, Standard ST 2084:2014, September 2014, “High Dynamic Range Electro Optical Transfer Function of Mastering Reference Displays”.
[3] SMPTE, Standard ST 2094-1:2016, “Dynamic Metadata for Color Volume Transform–Core Components”.
[4] François E, van de Kerkhof L. A single-layer HDR video coding framework with SDR compatibility[J]. 2016.
[5] Dolby Laboratories, 2016, “Dolby Vision for the Home.” Retrieved from URL http://www.dolby.com/us/en/technologies/dolby-vision/dolby-vision-white-paper.pdf