—

## Intel多媒体框架详解：硬件、性能与FFmpeg应用

### 引言

大家好，我是Intel开发者软件工程部门的工程师许广新。我们团队专注于多媒体框架，并与开源FFmpeg/GStreamer社区保持着紧密合作。FFmpeg官方Twitter曾赞扬我们为社区贡献了大量补丁。作为GStreamer在中国的首个maintainer，我们致力于推动多媒体技术的创新与发展。

### 基础介绍

今天，我们将从以下几个方面进行探讨：

1. Intel最新硬件功能
2. Intel独立显卡在HEVC transcoding的质量和性能
3. FFmpeg hardwork codecs的工作流程
4. 提供的Post Process：FFmpeg DNN和LibXCam
5. 在Intel GPU上搭建优化的硬件视频pipeline

### FFmpeg/GStreamer Pipeline

基本的FFmpeg/GStreamer pipeline包括输入、video parser、video decoder、video process、video encoder和输出。今天，我们将重点分享video parser和video codec的内容。

### 硬件Codec的优势与挑战

硬件Codec的主要优势包括低延时和高吞吐，以及降低CPU使用率和节省电源消耗。然而，硬件Codec在最高质量模式下的表现通常不如软件encoder。在Intel平台上，由于从driver到中间件、FFmpeg都是开源的，我们可以更好地进行定制化。

硬件Codec的主要用途包括视频播放、流媒体、云游戏以及对时延要求极高的video encoder。

### Intel媒体API

在Linux上，Intel提供了VAAPI和oneVPL两种媒体API。VAAPI是硬件抽象层，而oneVPL基于VAAPI，提供更强大的编码参数和更高质量的视频输出。

### Xe LowPower架构

Intel的Xe LowPower架构包括Tiger Lake、DG1和SG1三种平台。这一代的媒体引擎在encode和decode的输入输出上达到了两倍以上的提升，新增了AV1硬件decode，支持HEVC SCC扩展，以及HDR/杜比12bit端到端的视频pipeline。

### DG1显卡的transcode质量

DG1显卡在HEVC transcoding方面表现出色，码率比x265 medium好5%左右，最高可达30%的节省。通过VDENC和VME两种编码器，我们可以实现不同的质量和性能平衡。

### FFmpeg VAAPI和VPL架构

FFmpeg通过VAAPI和VPL接口调用硬件解码和编码功能。decode流程包括Demux、video decode、video Fliter等步骤，而encode流程则相反。

### FFmpeg DNN和LibXCam

FFmpeg DNN提供基于深度神经网络的功能，如超分、降噪等。LibXCam则是一个视频处理库，包括360视频stitching、数字降抖动、wavelet denoise以及HDR处理等。

### 搭建优化的pipeline

在搭建优化的硬件视频pipeline时，我们需要注意避免直接访问GPU内存，而是使用OpenCL、OpenGL、Vulkan或vpp等工具进行操作。此外，AVX512指令也可以帮助我们提高数据处理速度。

### 观察GPU状态的工具

Intel-GPU-Top等工具可以帮助我们观察GPU的状态，包括频率、引擎占用率等。通过这些工具，我们可以发现系统瓶颈并进行优化。

### 结语

通过本文的介绍，我们深入了解了Intel多媒体框架的各个方面，包括硬件功能、显卡性能以及与FFmpeg的相关性。希望这些内容能够帮助大家更好地利用Intel的硬件和软件资源，构建更高效的视频处理pipeline。

—

{1、Intel多媒体框架, 2、硬件功能, 3、显卡性能, 4、FFmpeg, 5、临界区关键词, 6、硬件视频pipeline, 7、Xe LowPower架构, 8、视频处理}

本文是基于《Intel多媒体框架介绍：含硬件功能、显卡性能及FFmpeg相关》的AI重写版本