0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

简述MPSoC VCU调试方法和调试流程

YCqV_FPGA_EETre 来源:博客园 作者:Hank FU 2021-10-13 10:43 次阅读

概要介绍

MPSoC VCU在很多产品中得到了应用。在不同产品的调试过程中,有一些共同的办法。

首先看看Video子系统的简单框图,其中包含视频输入、编解码、视频输出等模块。视频输入模块,硬件可能是HDMI-RX和FrmBufWrite; 软件一般是Linux V4L2。编解码模块是VCU,配套的软件是GStreamer,或者Ctrl-SW。视频输出模块,硬件可能是HDMI-TX和FrmBufRead; 软件一般是Linux DRM。

e53bb5fa-2bce-11ec-82a8-dac502259ad0.png

调试时,根据上述框图,逐个检查其中的模块的输入输出。

视频输入模块

检查视频输入源
调试VCU时,首先检查视频输入模块的输出是否正常。如果Linux V4L2管理视频输入模块的硬件,则会创建Linux的media/video设备,可以使用工具media-ctl查看它们的信息。对于HDMI-Rx,可以看到有没有连接源设备,视频输入源的分辨率、格式等。

#media-ctl -p -d /dev/media0 
 
Media controller API version 0.1.0
  
Media device information
------------------------
driver          xilinx-video
model           Xilinx Video Composite Device
serial
bus info
hw revision     0x0
driver version  0.0.0
  
Device topology
- entity 1: vcap_hdmi output 0 (1 pad, 1 link)
            type Node subtype V4L flags 0
            device node name /dev/video0
        pad0: Sink
                <- "a0000000.v_hdmi_rx_ss":0 [ENABLED]
  
- entity 5: a0000000.v_hdmi_rx_ss (1 pad, 1 link)
            type V4L2 subdev subtype Unknown flags 0
            device node name /dev/v4l-subdev0
        pad0: Source
                [fmt:RBG24/1920x1080 field:none]
                [dv.caps:BT.656/1120 min:0x0@25000000 max:4096x2160@297000000 stds:CEA-861,DMT,CVT,GTF caps:progressive,reduced-blanking,custom]
                [dv.detect:BT.656/1120 1920x1080p60 (2200x1125) stds:CEA-861 flags:CE-video]
                -> "vcap_hdmi output 0":0 [ENABLED]

抓取原始图像
在确保视频输入源的工作正常、分辨率和格式正确后,可以再继续使用yavta来抓取原始图像,从而检查图像内容。

#yavta -n 3 -c10 -f UYVY -f UYVY -s 1920x1080 --skip 7 -F /dev/video0
Device /dev/video0 opened.
Device `vcap_hdmi output 0' on `platform0' is a video output (without mplanes)[63898.159475] xilinx-frmbuf a0010000.v_frmbuf_wr: Framebuffer not configured for fourcc 0x59565955
 device.
Video format set: UYVY (59565955) 1920x1080 field none[63898.173868] xilinx-frmbuf a0010000.v_frmbuf_wr: Framebuffer not configured for fourcc 0x59565955
, 1 planes:
 * Stride 3840, buffer size 4147200
Video format:[63898.188189] xilinx-frmbuf a0010000.v_frmbuf_wr: Framebuffer not configured for fourcc 0x59565955
 UYVY (59565955) 1920x1080 field none, 1 planes:
 * Stride 3840, buffer size 4147200
3 buffers requested.
length: 1 offset: 3444933696 timestamp type/source: mono/EoF
Buffer 0/0 mapped at address 0x7fa84b0000.
length: 1 offset: 3444933696 timestamp type/source: mono/EoF
Buffer 1/0 mapped at address 0x7fa80bb000.
length: 1 offset: 3444933696 timestamp type/source: mono/EoF
Buffer 2/0 mapped at address 0x7fa7cc6000.
Unable to start streaming: Invalid argument (22).
3 buffers released.

检查原始图像
接下来再使用YUV Player 或者 YUV Player github 分支检查原始图像是否正确。需要根据图像源,正确设置分辨率和YUV格式。如果图像轮廓就时错误的,这表明Y数据就是错误的,或者分辨率的行宽是错误的,如果轮廓正确、颜色错误,这表明Y数据是对的,分辨率的高不对,或色彩格式不对。大块的连续色彩错误,有可能是把Y数据,当成了UV数据。

Encoder
得到了正确的YUV数据后,继续使用Encoder编码。如果有问题,保存Encoder输出的码流,传送到PC机上,使用FFMpeg检查。首先可以使用ffplay播放,用肉眼观察图像。

Microsoft Windows [Version 10.0.18363.1801]
(c) 2019 Microsoft Corporation. All rights reserved.
C:prj>ffplay vcu_example.h265
ffplay version N-89369-g5a93a85fd0 Copyright (c) 2003-2017 the FFmpeg developers
  built with gcc 7.2.0 (GCC)
  configuration: --enable-gpl --enable-version3 --enable-sdl2 --enable-bzlib --enable-fontconfig --enable-gnutls --enable-iconv --enable-libass --enable-libbluray --enable-libfreetype --enable-libmp3lame --enable-libopenjpeg --enable-libopus --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libtheora --enable-libtwolame --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libzimg --enable-lzma --enable-zlib --enable-gmp --enable-libvidstab --enable-libvorbis --enable-cuda --enable-cuvid --enable-d3d11va --enable-nvenc --enable-dxva2 --enable-avisynth --enable-libmfx
  libavutil      56.  4.100 / 56.  4.100
  libavcodec     58.  6.102 / 58.  6.102
  libavformat    58.  2.103 / 58.  2.103
  libavdevice    58.  0.100 / 58.  0.100
  libavfilter     7.  6.100 /  7.  6.100
  libswscale      5.  0.101 /  5.  0.101
  libswresample   3.  0.101 /  3.  0.101
  libpostproc    55.  0.100 / 55.  0.100
[hevc @ 000001b016710180] Stream #0: not enough frames to estimate rate; consider increasing probesize
Input #0, hevc, from 'vcu_example.h265':=    0KB sq=    0B f=0/0
  Duration: N/A, bitrate: N/A
    Stream #0 Video: hevc (Main), yuv420p(tv, unknown/bt709/unknown), 3840x2160, 45 fps, 45 tbr, 1200k tbn, 45 tbc
    nan M-V:    nan fd=   2 aq=    0KB vq=  844KB sq=    0B f=0/0

其次可以使用ffprobe导出码流信息,查看各帧的类型和大小。

C:prj>ffprobe vcu_example.h265 > vcu_example.h265.txt
ffprobe version N-89369-g5a93a85fd0 Copyright (c) 2007-2017 the FFmpeg developers
  built with gcc 7.2.0 (GCC)
  configuration: --enable-gpl --enable-version3 --enable-sdl2 --enable-bzlib --enable-fontconfig --enable-gnutls --enable-iconv --enable-libass --enable-libbluray --enable-libfreetype --enable-libmp3lame --enable-libopenjpeg --enable-libopus --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libtheora --enable-libtwolame --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libzimg --enable-lzma --enable-zlib --enable-gmp --enable-libvidstab --enable-libvorbis --enable-cuda --enable-cuvid --enable-d3d11va --enable-nvenc --enable-dxva2 --enable-avisynth --enable-libmfx
  libavutil      56.  4.100 / 56.  4.100
  libavcodec     58.  6.102 / 58.  6.102
  libavformat    58.  2.103 / 58.  2.103
  libavdevice    58.  0.100 / 58.  0.100
  libavfilter     7.  6.100 /  7.  6.100
  libswscale      5.  0.101 /  5.  0.101
  libswresample   3.  0.101 /  3.  0.101
  libpostproc    55.  0.100 / 55.  0.100
[hevc @ 0000019dfe94cd80] Stream #0: not enough frames to estimate rate; consider increasing probesize
Input #0, hevc, from 'vcu_example.h265':
  Duration: N/A, bitrate: N/A
    Stream #0 Video: hevc (Main), yuv420p(tv, unknown/bt709/unknown), 3840x2160, 45 fps, 45 tbr, 1200k tbn, 45 tbc

还可以使用ffmpeg把每一帧转换成bmp图片,仔细查看。

C:prj>ffmpeg  -i vcu_example.h265  -frames 10 vcu_example.%04d.bmp
ffmpeg version N-89369-g5a93a85fd0 Copyright (c) 2000-2017 the FFmpeg developers
  built with gcc 7.2.0 (GCC)
  configuration: --enable-gpl --enable-version3 --enable-sdl2 --enable-bzlib --enable-fontconfig --enable-gnutls --enable-iconv --enable-libass --enable-libbluray --enable-libfreetype --enable-libmp3lame --enable-libopenjpeg --enable-libopus --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libtheora --enable-libtwolame --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libzimg --enable-lzma --enable-zlib --enable-gmp --enable-libvidstab --enable-libvorbis --enable-cuda --enable-cuvid --enable-d3d11va --enable-nvenc --enable-dxva2 --enable-avisynth --enable-libmfx
  libavutil      56.  4.100 / 56.  4.100
  libavcodec     58.  6.102 / 58.  6.102
  libavformat    58.  2.103 / 58.  2.103
  libavdevice    58.  0.100 / 58.  0.100
  libavfilter     7.  6.100 /  7.  6.100
  libswscale      5.  0.101 /  5.  0.101
  libswresample   3.  0.101 /  3.  0.101
  libpostproc    55.  0.100 / 55.  0.100
[hevc @ 000002bda8bd9880] Stream #0: not enough frames to estimate rate; consider increasing probesize
Input #0, hevc, from 'vcu_example.h265':
  Duration: N/A, bitrate: N/A
    Stream #0 Video: hevc (Main), yuv420p(tv, unknown/bt709/unknown), 3840x2160, 45 fps, 45 tbr, 1200k tbn, 45 tbc
Stream mapping:
  Stream #0:0 -> #0:0 (hevc (native) -> bmp (native))
Press [q] to stop, [?] for help
Output #0, image2, to 'vcu_example.%04d.bmp':
  Metadata:
    encoder         : Lavf58.2.103
    Stream #0 Video: bmp, bgr24, 3840x2160, q=2-31, 200 kb/s, 45 fps, 45 tbn, 45 tbc
    Metadata:
      encoder         : Lavc58.6.102 bmp
frame=   10 fps=0.0 q=-0.0 Lsize=N/A time=0000.22 bitrate=N/A speed=0.568x
video:243001kB audio:0kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: unknown

有问题时,再使用保存的YUV文件,使用xilinx发布的ctrlsw_encoder在ZCU106单板上编码,对比效果。也可以试试Xilinx提供的配置文件。如果有区别,再对比实际代码和xilinx发布的ctrlsw_encoder、配置文件的区别。

Decoder
检查完encoder的输出,再检查decoder的输出。ctrlsw_decoder默认输出I420(YUV420)/I422(YUV422)格式的YUV输出。如果需要,可以参考VCU Ctrl-SW 2020.2输出 NV12 的 YUV 文件,使ctrlsw_decoder输出NV12/NV16的文件。输出后,也可以使用YUV Player 或者 YUV Player github 分支检查解码后的YUV图像是否正确。

图像质量
如果图像质量有问题,建议使用大的显示器或电视机查看。显示器或电视机要真实支持检查的分辨率,在显示中不能有缩放,避免缩放引起新的问题。也可以使用ffmpeg的下面命令,将码流转换为bmp图片,一帧一帧查看。

C:prj>ffmpeg  -i vcu_example.h265  -frames 10 vcu_example.%04d.bmp
ffmpeg version N-89369-g5a93a85fd0 Copyright (c) 2000-2017 the FFmpeg developers
  built with gcc 7.2.0 (GCC)
  configuration: --enable-gpl --enable-version3 --enable-sdl2 --enable-bzlib --enable-fontconfig --enable-gnutls --enable-iconv --enable-libass --enable-libbluray --enable-libfreetype --enable-libmp3lame --enable-libopenjpeg --enable-libopus --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libtheora --enable-libtwolame --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libzimg --enable-lzma --enable-zlib --enable-gmp --enable-libvidstab --enable-libvorbis --enable-cuda --enable-cuvid --enable-d3d11va --enable-nvenc --enable-dxva2 --enable-avisynth --enable-libmfx
  libavutil      56.  4.100 / 56.  4.100
  libavcodec     58.  6.102 / 58.  6.102
  libavformat    58.  2.103 / 58.  2.103
  libavdevice    58.  0.100 / 58.  0.100
  libavfilter     7.  6.100 /  7.  6.100
  libswscale      5.  0.101 /  5.  0.101
  libswresample   3.  0.101 /  3.  0.101
  libpostproc    55.  0.100 / 55.  0.100
[hevc @ 000001bb953e9880] Stream #0: not enough frames to estimate rate; consider increasing probesize
Input #0, hevc, from 'vcu_example.h265':
  Duration: N/A, bitrate: N/A
    Stream #0 Video: hevc (Main), yuv420p(tv, unknown/bt709/unknown), 3840x2160, 45 fps, 45 tbr, 1200k tbn, 45 tbc
Stream mapping:
  Stream #0:0 -> #0:0 (hevc (native) -> bmp (native))
Press [q] to stop, [?] for help
Output #0, image2, to 'vcu_example.%04d.bmp':
  Metadata:
    encoder         : Lavf58.2.103
    Stream #0 Video: bmp, bgr24, 3840x2160, q=2-31, 200 kb/s, 45 fps, 45 tbn, 45 tbc
    Metadata:yo
      encoder         : Lavc58.6.102 bmp
frame=   10 fps=0.0 q=-0.0 Lsize=N/A time=0000.22 bitrate=N/A speed=0.553x
video:243001kB audio:0kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: unknown

通常,增大码率、减小QP值、使用VBR、使用跳帧等,可以优化图像质量。

VCU性能

如果检查VCU性能,建议使用实际视频输入输出,因为文件操作有耗时内存拷贝。如果用文件,也一定要把文件放在Linux的ramdisk上,不能使用sd等存放。

测试性能时,千万记住,不能使用软件复制Video数据,包括Gstreamer的tee插件。

案例

使用VBR优化图像质量
有项目反应图像质量与参考的视频有差距。拿到VCU编码的视频码流和参考视频码流后,使用ffprobe分析,得到每一帧的大小。发现VCU的视频码流的I帧小于150KByte,而参考视频码流的视频码流的I帧有400KByte。建议使用VBR。应用VBR后,图像质量明显改善。

解决I帧小导致的图像质量问题
有项目反应图像质量与参考的视频有差距。拿到VCU编码的视频码流和参考视频码流后,使用ffprobe分析,得到每一帧的大小。发现VCU的视频码流的I帧大约时是180KByte,而参考视频码流的视频码流的I帧有1000KByte。该项目使用VBR后,I帧图像也没有增大。检查VCU的配置,发现配置文件了有“MaxPictureSize = 1500”,相当于180KByte。建议客户设置“MaxPictureSize = 20000”,或者移除这一条后,图像质量明显改善。MaxPictureSize用于限制帧编码后的最大大小,目的是减少码率波动,会限制I帧的质量。

建议
分析VCU的问题时,请提供VCU的视频码流、参考视频码流、原始码流、配置文件。

作者:Hank FU,hankf@xilinx.com,文章来源:博客园
编辑:jq
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • PC
    PC
    +关注

    关注

    9

    文章

    2080

    浏览量

    154170
  • MPSoC
    +关注

    关注

    0

    文章

    198

    浏览量

    24277
  • VCU
    VCU
    +关注

    关注

    17

    文章

    80

    浏览量

    20549

原文标题:【工程师分享】MPSoC VCU调试方法和调试流程

文章出处:【微信号:FPGA-EETrend,微信公众号:FPGA开发圈】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    伺服电机有哪些调试方法?如何调?

    伺服电机是一种高精度的电机,广泛应用于自动化设备、机器人、数控机床等领域。为了确保伺服电机的性能和稳定性,需要进行正确的调试。以下是一些常见的伺服电机调试方法及其操作步骤: 电机参数设置 在
    的头像 发表于 10-22 11:04 861次阅读

    无线网桥的连接与调试方法

    无线网桥的连接与调试方法主要涉及设备的配置、网络参数的设定以及通信质量的优化。以下是详细的步骤和注意事项:
    的头像 发表于 10-01 15:23 659次阅读

    FPD link系统概念与诊断调试方法

    电子发烧友网站提供《FPD link系统概念与诊断调试方法.pdf》资料免费下载
    发表于 09-27 11:11 0次下载
    FPD link系统概念与诊断<b class='flag-5'>调试</b><b class='flag-5'>方法</b>

    数字电源的低压调试和高压调试

    数字电源的低压调试和高压调试是电力系统中非常关键的部分,它们直接关系到设备的稳定运行和电能供应的质量。以下是对这两种调试方法的详细解析:
    的头像 发表于 09-15 11:39 411次阅读

    深度学习的模型优化与调试方法

    深度学习模型在训练过程中,往往会遇到各种问题和挑战,如过拟合、欠拟合、梯度消失或爆炸等。因此,对深度学习模型进行优化与调试是确保其性能优越的关键步骤。本文将从数据预处理、模型设计、超参数调整、正则化、模型集成以及调试与验证等方面,详细介绍深度学习的模型优化与
    的头像 发表于 07-01 11:41 811次阅读

    PLC系统的安装与调试流程

    PLC控制系统的安装与调试,涉及到各项工作,并且只能按序进行,一环紧扣一环,稍有不慎都将导致调试失败,不但延误工期,甚至会损坏设备。本文介绍了在现场实践中总结出的PLC控制系统的安装与调试威廉希尔官方网站 经验
    的头像 发表于 03-27 17:08 760次阅读
    PLC系统的安装与<b class='flag-5'>调试</b><b class='flag-5'>流程</b>

    TLT507-GDB程序调试方法说明

    TLT507-GDB程序调试方法说明
    的头像 发表于 01-26 10:11 978次阅读
    TLT507-GDB程序<b class='flag-5'>调试</b><b class='flag-5'>方法</b>说明

    开关电源调试内容与四大调试方法分享

    开关电源调试是指根据设计的输入输出规格对其电器性能、保护功能等进行调试调试开关电源主要调试低压高压工作状态、输出电压是否稳定、带载能力等。
    的头像 发表于 01-23 16:35 1445次阅读

    RK3568-GDB程序调试方法说明

    RK3568-GDB程序调试方法说明
    的头像 发表于 01-19 16:16 1844次阅读
    RK3568-GDB程序<b class='flag-5'>调试</b><b class='flag-5'>方法</b>说明

    DCS系统调试内容及方法

    在这一层次中,通过设置断点1、2,使DCS调试与辅助仪表盘仪表调试相对独立、互不干扰,从而便于实现对这两个工序的平行作业,并可避免因设备状态不正常或接线错误等原因造成设备的损坏。
    发表于 01-18 10:46 1836次阅读
    DCS系统<b class='flag-5'>调试</b>内容及<b class='flag-5'>方法</b>

    介绍6种常见的反调试方法

    是一种防止逆向的方案。逆向人员如果遇到复杂的代码混淆,有时会使用调试器动态分析代码逻辑简化分析流程。例如恶意软件通常会被安全研究人员、反病毒厂商和其他安全专业人员分析和调试,以了解其行为和功能,并
    的头像 发表于 01-15 09:53 3841次阅读
    介绍6种常见的反<b class='flag-5'>调试</b><b class='flag-5'>方法</b>

    5g滤波器调试方法

    调试方法、如何快速准确地识别滤波器性能问题等。本文将详细介绍5G滤波器调试方法,包括设计、制造和验证。 一、滤波器调试前的设计准备 在进
    的头像 发表于 01-09 15:01 1484次阅读

    电机控制调试助手怎么用

    电机控制调试助手是一种帮助用户进行电机控制调试的辅助工具。它可以提供实时监测、参数设置、故障诊断和历史数据分析等功能,为用户提供便捷、高效的电机调试和优化方法。 首先,电机控制
    的头像 发表于 12-28 13:57 918次阅读

    5g滤波器调试方法有哪些

    5G滤波器调试方法主要包括以下几种常见的方法: 一、频域法 频域法是一种基于频率响应特性的滤波器调试方法。它通过对信号的频谱进行分析,确定频
    的头像 发表于 12-27 11:44 1458次阅读

    施耐德电动门调试方法

    工作是至关重要的。本文将详细介绍施耐德电动门调试方法和步骤。 一、调试环境准备 在进行电动门调试之前,需要确保环境具备以下条件: 施耐德电动门安装完毕,各部位已经连接好并进行检查;
    的头像 发表于 12-26 17:48 1623次阅读