一、前言说明
上次已经实现了ffmpeg的rtp推流,折腾了好一阵子才搞定,原来是要指定rtp_mpegts方式,但是问题又来了,默认ffmpeg支持的是udp推流,而28181中的要求还要支持tcp被动和tcp主动两种方式,这个要么改ffmpeg底层代码实现,据说不少大佬是采用的这个方式,这种方式好是好,就是对不熟悉ffmpeg底层代码的人来说,太难了,而且一旦换了ffmpeg版本,又要重新写,得不偿失,你看现在ffmpeg8.0又出来了,这不又得改代码才行。综合各种因素考虑了很久,决定采用自己的思路来实现,完全不用修改源码,既然默认是支持的udp推流,那就指定一个127.0.0.1的地址让他推流好了,udp本身无连接的,加上127.0.0.1本身是内部网络地址,不会经过网卡,都是操作系统底层内部交互数据,所以用Qt绑定对应的端口接收数据,再将收到的数据用tcp的方式发出去就好了,收到啥就发出去啥,我真他娘的是个天才,这种绕弯的思路都可以想到。
思路肯定是对的,立马实践验证,发现数据收发是对的,但是28181服务端收到数据解码死活不行,后面查看相关资料才知道,要在对应数据前面加上4字节长度,对应国标文档GB/T 28181文档中提到的引用 IETF RFC4571 ,RFC 4571 的核心规定就是:在通过TCP等流式传输协议发送RTP包时,必须在每个RTP包前面加上一个2字节或4字节的长度字段(Length Prefix)。GB/T 28181通常采用4字节的大端整数格式。按照这个规范要求,在收到udp传过来的每个包前面主动加上4字节长度,验证测试非常完美ok,打完收工加鸡腿。
二、效果图
三、相关地址
- 国内站点:https://gitee.com/feiyangqingyun
- 国际站点:https://github.com/feiyangqingyun
- 个人作品:https://blog.csdn.net/feiyangqingyun/article/details/97565652
- 文件地址:https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码:01jf 文件名:bin_video_gb28181/bin_video_simulate。
四、功能特点
- 支持设备注册、注销、心跳、校时、注册认证、注销认证等。
- 设备上线后可以手动获取设备状态、设备信息、配置信息、预置位信息等。
- 设备上线后自动获取设备通道信息,包括中文通道名称。识别到通道上线离线变化,会重新获取该设备的所有通道信息。
- 支持视频点播,可以分别点播主码流和子码流,内置rtp解包线程,解包后发给视频播放组件解码播放。
- 每个设备每个通道支持点播多个视频,通过ssrc区分,支持共用端口和不同端口收流。
- 支持对某个设备下面所有通道、某个通道、某个通道对应的某个流分别关闭。
- 支持录像文件查询和回放,回放控制支持暂停播放、继续播放、倍速播放、切换播放进度。
- 支持录像文件下载,支持倍速比如8倍速下载,可同时多线程批量下载。
- 回放和下载同时支持IPC和NVR,比如摄像头自带的SD存储卡录像文件回放,NVR上的硬盘录像文件回放。
- 支持云台控制,向上、向下、向左、向右、左上、右上、左下、右下方位移动,镜头放大缩小,光圈放大缩小,镜头聚焦放焦。
- 支持预置位信息的查询、调用、添加、修改、删除等操作。
- 自动目录订阅功能,通道上线下线都有对应的信号通知。
- 内置定时读取通道信息机制,以保证通道信息是最新的,比如有些NVR是不断更新的通道信息。
- 内置订阅警情和位置移动功能,订阅后各种警情事件比如运动目标检测报警、入侵检测报警、徘徊检测报警等自动上报。
- 支持语音对讲功能,可以直接在视频窗体的悬浮条上单击语音对讲按钮,再次单击关闭对讲,对讲期间悬浮条常驻显示。
- 支持设备布防撤防,布防后警情信息会主动上报。
- 国标服务同时支持udp和tcp方式,可选只监听一种或者两种都监听,tcp方式自动处理粘包问题。
- 国标拉流同时支持udp、tcp被动、tcp主动三种方式,每个通道都可以自由选择何种拉流方式。
- 内置拉流端口池,每次拉流从中取出一个,关闭流自动回收端口号,重复利用。
- 收流端口自动纠错,自动跳过被占用的端口,不会出现端口占用导致收流失败的情况。
- 支持三种取流方式自动检测离线重连,检测到离线后,自动重启点播拉流整个流程。
- 录像文件回放,上一个完成后自动切换到下一个继续回放,直到所有回放完成。支持高达8倍速回放。
- 视频播放自适应硬解码,极低资源占用,实时性极好,带悬浮条显示视频流信息,可以直接在悬浮条单击按钮保存录像文件到本地。
- 支持几千路国标消息交互并发,实时视频流支持64路同时显示,可以拓展更多路数。
- 支持阿里云等云服务器,可以分别设置内网监听地址和外网访问地址,一般云服务器上是监听地址用内网,对外访问用外网地址。
- 支持视频分发,也就是推流,视频通道打开后可以自动推流到流媒体服务器,其他需要的地方拉流即可,支持rtsp、rtmp、hls、webrtc等方式拉流。
- 支持注册重定向,方便做负载均衡和区域化部署,这样可以支持几十万个设备连接都没问题。
- 支持图像抓拍,可以设置抓拍最多10张图片,可设置抓拍间隔,抓拍到的图片会通过信号通知。
- 实时预览和录像回放都支持推流,推流支持叠加文字和图片水印以及各种ffmpeg支持的滤镜效果,支持多个水印同时叠加。
- 同时支持gb28181-2011、gb28181-2016、gb28181-2022以及后续可能的所有协议版本。
- SIP解析和交互采用纯Qt底层代码实现,udp/tcp通信交互,祖传原创代码解析,不依赖任何第三方。
- 代码量少,gb28181交互部分共几千行代码,注释详细,接口友好,使用极其简单,提供非常详细的使用示例。
- 支持海康、大华、宇视、华为、天地伟业等所有国标设备,包括一些没有ssrc的设备。
- 支持所有Qt版本和编译器以及操作系统,包括但不限于win、linux、mac、android、嵌入式linux、树莓派香橙派、国产os等。
五、相关代码
SaveMode AbstractSaveThread::getSaveMode(const QString &url)
{SaveMode saveMode = SaveMode_File;if (url.startsWith("rtmp://") || url.startsWith("rtmps://")) {saveMode = SaveMode_Rtmp;} else if (url.startsWith("rtsp://") || url.startsWith("rtsps://")) {saveMode = SaveMode_Rtsp;} else if (url.startsWith("srt://")) {saveMode = SaveMode_Srt;} else if (url.startsWith("udp://")) {saveMode = SaveMode_Udp;} else if (url.startsWith("tcp://")) {saveMode = SaveMode_Tcp;} else if (url.startsWith("rtp://")) {saveMode = SaveMode_Rtp;} else if (url.startsWith("rist://")) {saveMode = SaveMode_Rist;}return saveMode;
}QString AbstractSaveThread::getSaveFormat(const QString &url, const QString &audioCodecName)
{QString format = "mp4";if (url.startsWith("rtmp://") || url.startsWith("rtmps://")) {format = "flv";} else if (url.startsWith("rtsp://") || url.startsWith("rtsps://")) {format = "rtsp";} else if (url.startsWith("srt://") || url.startsWith("udp://") || url.startsWith("rist://")) {format = "mpegts";} else if (url.startsWith("rtp://")) {format = "rtp_mpegts";} else if (audioCodecName != "aac") {format = "mov";}return format;
}void FFmpegSave::writePacket(AVPacket *packet, int index)
{//没打开不处理if (!isOk) {return;}//暂停期间不处理并且将关键帧标志位复位/继续录制后重新以关键帧开头保证画面流畅/没有这个处理可能暂停后继续播放中间图像会有花块if (isPause) {keyFrame = false;return;}//校验索引if (!this->checkIndex(index)) {return;}//只有音频以及视频转码音频不转码情况下不需要判断关键帧if ((videoIndexIn < 0 && audioIndexIn >= 0) || (videoEncode && !audioEncode)) {keyFrame = true;}//保证收到视频关键帧以后再开始写入/如果首帧不是关键帧部分播放器比如vlc播放器打开可能是绿屏if (!keyFrame && index == videoIndexIn) {keyFrame = FFmpegHelper::checkPacketKey(packet);}if (!keyFrame) {return;}//可以直接写入到文件也可以排队处理/直接写入会改变原有的包的各种属性参数//this->writePacket2(packet, packet->stream_index == videoIndexIn);mutex.lock();packets << FFmpegHelper::creatPacket(packet);mutex.unlock();
}void FFmpegSave::writeFrame(AVFrame *frame, int index)
{//没打开或者暂停阶段不处理if (!isOk || isPause) {return;}//校验索引if (!this->checkIndex(index)) {return;}//只有音频以及视频编码的情况下不需要判断关键帧if ((videoIndexIn < 0 && audioIndexIn >= 0) || videoEncode) {keyFrame = true;}if (!keyFrame) {return;}mutex.lock();//有宽度是视频帧/否则是音频帧if (frame->width > 0) {//启用了转换则用先执行转换if (videoSwsCtx) {int result = sws_scale(videoSwsCtx, (const quint8 **)frame->data, frame->linesize, 0, videoHeight, videoFrame->data, videoFrame->linesize);if (result >= 0) {frames << av_frame_clone(videoFrame);}} else {frames << av_frame_clone(frame);}} else {//启用了转换则用先执行转换if (audioSwrCtx) {int len = frame->nb_samples;//int size = av_samples_get_buffer_size(NULL, audioFrame->channels, audioFrame->nb_samples, audioCodecCtx->sample_fmt, 1);int result = swr_convert(audioSwrCtx, audioFrame->data, len, (const quint8 **)frame->data, frame->nb_samples);if (result >= 0) {frames << av_frame_clone(audioFrame);}} else {frames << av_frame_clone(frame);}}mutex.unlock();
}