当前位置: 首页 > news >正文

Qt和ffmpeg结合打造gb28181推流/支持udp和tcp被动以及tcp主动三种方式

一、前言说明

上次已经实现了ffmpeg的rtp推流,折腾了好一阵子才搞定,原来是要指定rtp_mpegts方式,但是问题又来了,默认ffmpeg支持的是udp推流,而28181中的要求还要支持tcp被动和tcp主动两种方式,这个要么改ffmpeg底层代码实现,据说不少大佬是采用的这个方式,这种方式好是好,就是对不熟悉ffmpeg底层代码的人来说,太难了,而且一旦换了ffmpeg版本,又要重新写,得不偿失,你看现在ffmpeg8.0又出来了,这不又得改代码才行。综合各种因素考虑了很久,决定采用自己的思路来实现,完全不用修改源码,既然默认是支持的udp推流,那就指定一个127.0.0.1的地址让他推流好了,udp本身无连接的,加上127.0.0.1本身是内部网络地址,不会经过网卡,都是操作系统底层内部交互数据,所以用Qt绑定对应的端口接收数据,再将收到的数据用tcp的方式发出去就好了,收到啥就发出去啥,我真他娘的是个天才,这种绕弯的思路都可以想到。

思路肯定是对的,立马实践验证,发现数据收发是对的,但是28181服务端收到数据解码死活不行,后面查看相关资料才知道,要在对应数据前面加上4字节长度,对应国标文档GB/T 28181文档中提到的引用 IETF RFC4571 ,RFC 4571 的核心规定就是:在通过TCP等流式传输协议发送RTP包时,必须在每个RTP包前面加上一个2字节或4字节的长度字段(Length Prefix)。GB/T 28181通常采用4字节的大端整数格式。按照这个规范要求,在收到udp传过来的每个包前面主动加上4字节长度,验证测试非常完美ok,打完收工加鸡腿。

二、效果图

Snipaste_2025-10-21_08-28-57

Snipaste_2025-10-21_08-29-13

三、相关地址

  1. 国内站点:https://gitee.com/feiyangqingyun
  2. 国际站点:https://github.com/feiyangqingyun
  3. 个人作品:https://blog.csdn.net/feiyangqingyun/article/details/97565652
  4. 文件地址:https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码:01jf 文件名:bin_video_gb28181/bin_video_simulate。

四、功能特点

  1. 支持设备注册、注销、心跳、校时、注册认证、注销认证等。
  2. 设备上线后可以手动获取设备状态、设备信息、配置信息、预置位信息等。
  3. 设备上线后自动获取设备通道信息,包括中文通道名称。识别到通道上线离线变化,会重新获取该设备的所有通道信息。
  4. 支持视频点播,可以分别点播主码流和子码流,内置rtp解包线程,解包后发给视频播放组件解码播放。
  5. 每个设备每个通道支持点播多个视频,通过ssrc区分,支持共用端口和不同端口收流。
  6. 支持对某个设备下面所有通道、某个通道、某个通道对应的某个流分别关闭。
  7. 支持录像文件查询和回放,回放控制支持暂停播放、继续播放、倍速播放、切换播放进度。
  8. 支持录像文件下载,支持倍速比如8倍速下载,可同时多线程批量下载。
  9. 回放和下载同时支持IPC和NVR,比如摄像头自带的SD存储卡录像文件回放,NVR上的硬盘录像文件回放。
  10. 支持云台控制,向上、向下、向左、向右、左上、右上、左下、右下方位移动,镜头放大缩小,光圈放大缩小,镜头聚焦放焦。
  11. 支持预置位信息的查询、调用、添加、修改、删除等操作。
  12. 自动目录订阅功能,通道上线下线都有对应的信号通知。
  13. 内置定时读取通道信息机制,以保证通道信息是最新的,比如有些NVR是不断更新的通道信息。
  14. 内置订阅警情和位置移动功能,订阅后各种警情事件比如运动目标检测报警、入侵检测报警、徘徊检测报警等自动上报。
  15. 支持语音对讲功能,可以直接在视频窗体的悬浮条上单击语音对讲按钮,再次单击关闭对讲,对讲期间悬浮条常驻显示。
  16. 支持设备布防撤防,布防后警情信息会主动上报。
  17. 国标服务同时支持udp和tcp方式,可选只监听一种或者两种都监听,tcp方式自动处理粘包问题。
  18. 国标拉流同时支持udp、tcp被动、tcp主动三种方式,每个通道都可以自由选择何种拉流方式。
  19. 内置拉流端口池,每次拉流从中取出一个,关闭流自动回收端口号,重复利用。
  20. 收流端口自动纠错,自动跳过被占用的端口,不会出现端口占用导致收流失败的情况。
  21. 支持三种取流方式自动检测离线重连,检测到离线后,自动重启点播拉流整个流程。
  22. 录像文件回放,上一个完成后自动切换到下一个继续回放,直到所有回放完成。支持高达8倍速回放。
  23. 视频播放自适应硬解码,极低资源占用,实时性极好,带悬浮条显示视频流信息,可以直接在悬浮条单击按钮保存录像文件到本地。
  24. 支持几千路国标消息交互并发,实时视频流支持64路同时显示,可以拓展更多路数。
  25. 支持阿里云等云服务器,可以分别设置内网监听地址和外网访问地址,一般云服务器上是监听地址用内网,对外访问用外网地址。
  26. 支持视频分发,也就是推流,视频通道打开后可以自动推流到流媒体服务器,其他需要的地方拉流即可,支持rtsp、rtmp、hls、webrtc等方式拉流。
  27. 支持注册重定向,方便做负载均衡和区域化部署,这样可以支持几十万个设备连接都没问题。
  28. 支持图像抓拍,可以设置抓拍最多10张图片,可设置抓拍间隔,抓拍到的图片会通过信号通知。
  29. 实时预览和录像回放都支持推流,推流支持叠加文字和图片水印以及各种ffmpeg支持的滤镜效果,支持多个水印同时叠加。
  30. 同时支持gb28181-2011、gb28181-2016、gb28181-2022以及后续可能的所有协议版本。
  31. SIP解析和交互采用纯Qt底层代码实现,udp/tcp通信交互,祖传原创代码解析,不依赖任何第三方。
  32. 代码量少,gb28181交互部分共几千行代码,注释详细,接口友好,使用极其简单,提供非常详细的使用示例。
  33. 支持海康、大华、宇视、华为、天地伟业等所有国标设备,包括一些没有ssrc的设备。
  34. 支持所有Qt版本和编译器以及操作系统,包括但不限于win、linux、mac、android、嵌入式linux、树莓派香橙派、国产os等。

五、相关代码

SaveMode AbstractSaveThread::getSaveMode(const QString &url)
{SaveMode saveMode = SaveMode_File;if (url.startsWith("rtmp://") || url.startsWith("rtmps://")) {saveMode = SaveMode_Rtmp;} else if (url.startsWith("rtsp://") || url.startsWith("rtsps://")) {saveMode = SaveMode_Rtsp;} else if (url.startsWith("srt://")) {saveMode = SaveMode_Srt;} else if (url.startsWith("udp://")) {saveMode = SaveMode_Udp;} else if (url.startsWith("tcp://")) {saveMode = SaveMode_Tcp;} else if (url.startsWith("rtp://")) {saveMode = SaveMode_Rtp;} else if (url.startsWith("rist://")) {saveMode = SaveMode_Rist;}return saveMode;
}QString AbstractSaveThread::getSaveFormat(const QString &url, const QString &audioCodecName)
{QString format = "mp4";if (url.startsWith("rtmp://") || url.startsWith("rtmps://")) {format = "flv";} else if (url.startsWith("rtsp://") || url.startsWith("rtsps://")) {format = "rtsp";} else if (url.startsWith("srt://") || url.startsWith("udp://") || url.startsWith("rist://")) {format = "mpegts";} else if (url.startsWith("rtp://")) {format = "rtp_mpegts";} else if (audioCodecName != "aac") {format = "mov";}return format;
}void FFmpegSave::writePacket(AVPacket *packet, int index)
{//没打开不处理if (!isOk) {return;}//暂停期间不处理并且将关键帧标志位复位/继续录制后重新以关键帧开头保证画面流畅/没有这个处理可能暂停后继续播放中间图像会有花块if (isPause) {keyFrame = false;return;}//校验索引if (!this->checkIndex(index)) {return;}//只有音频以及视频转码音频不转码情况下不需要判断关键帧if ((videoIndexIn < 0 && audioIndexIn >= 0) || (videoEncode && !audioEncode)) {keyFrame = true;}//保证收到视频关键帧以后再开始写入/如果首帧不是关键帧部分播放器比如vlc播放器打开可能是绿屏if (!keyFrame && index == videoIndexIn) {keyFrame = FFmpegHelper::checkPacketKey(packet);}if (!keyFrame) {return;}//可以直接写入到文件也可以排队处理/直接写入会改变原有的包的各种属性参数//this->writePacket2(packet, packet->stream_index == videoIndexIn);mutex.lock();packets << FFmpegHelper::creatPacket(packet);mutex.unlock();
}void FFmpegSave::writeFrame(AVFrame *frame, int index)
{//没打开或者暂停阶段不处理if (!isOk || isPause) {return;}//校验索引if (!this->checkIndex(index)) {return;}//只有音频以及视频编码的情况下不需要判断关键帧if ((videoIndexIn < 0 && audioIndexIn >= 0) || videoEncode) {keyFrame = true;}if (!keyFrame) {return;}mutex.lock();//有宽度是视频帧/否则是音频帧if (frame->width > 0) {//启用了转换则用先执行转换if (videoSwsCtx) {int result = sws_scale(videoSwsCtx, (const quint8 **)frame->data, frame->linesize, 0, videoHeight, videoFrame->data, videoFrame->linesize);if (result >= 0) {frames << av_frame_clone(videoFrame);}} else {frames << av_frame_clone(frame);}} else {//启用了转换则用先执行转换if (audioSwrCtx) {int len = frame->nb_samples;//int size = av_samples_get_buffer_size(NULL, audioFrame->channels, audioFrame->nb_samples, audioCodecCtx->sample_fmt, 1);int result = swr_convert(audioSwrCtx, audioFrame->data, len, (const quint8 **)frame->data, frame->nb_samples);if (result >= 0) {frames << av_frame_clone(audioFrame);}} else {frames << av_frame_clone(frame);}}mutex.unlock();
}
http://www.hskmm.com/?act=detail&tid=35496

相关文章:

  • 【每日积累】浅谈mvc,mvvm,mvp
  • Random VIMs
  • 66页习题
  • 【React系列】一文让你了解React中Component和PureComponent差异之分
  • DIY ChatGPT 一周狂揽 27k Star「GitHub 热点速览」
  • Active Directory安全技巧:FSMO角色管理与PowerShell查询
  • 【React系列】React.memo() vs useMemo()
  • 联合体与枚举
  • 【每日积累】javascript 一文弄懂eval
  • 量子计算25年发展历程与技术挑战
  • 腾讯云COS通过CDN加速配置指南 - 教程
  • 前端: 如何优化列表大批量的数据渲染
  • 【模块化解读】commonjs vs commonjs2 exports vs module.exports
  • 【GitHub每日速递 251021】一键将全新Arch安装变身超美现代Web开发系统!Omarchy太神了
  • 藏宝阁
  • [Mongodb]mongodb的安装以及增删改查
  • PHP 8.5 新特性 闭包可以作为常量表达式了
  • 【JavaScript-基础】split,splice,slice 三者的用法
  • 2025 代码源 CSP-S 模拟赛复盘
  • 2025.10.21——1绿
  • 【JavaScript-基础】map、forEach、for、for in、for of等的区别
  • dotnet 利用 Windows 注册表实现开机自动启动
  • 使用uWSGI和Nginx部署深度学习模型指南
  • 帮我回答这些问题
  • Python 类属性的应用场景
  • 为什么很多人分不清关联和聚合?
  • 机器学习商业应用实战指南
  • 在线签名工具,手写签名保存为png图片,用于生成电子签名用于word文档等
  • 什么情况下,有必要将属性设为类属性而非实例属性?
  • 在线签名工具,保存为png图片,用于生成电子签名用于word文档等