一、概述

本系列文章主要是收集与整理音视频直播、点播、监控等技术开发及应用，狭义上可特指流媒体的技术应用。

1. 应用场景

• 直播
• 点播
• 语音、视频通话
• 监控
• 结合应用，如多媒体音视频会议系统

2. 相关技术

• 网络通讯
• 编码、解码
• 推流、拉流

3. 一些概念

(1) 编解码 codec

对数据或信号进行变化的设备或程序。

(2) 容器

对多种媒体资源或字幕等进行包装。对数据进行容器化包装就称为封装，常见的封装格式是与文件扩展名相关的，如：*.mpg, *.avi, *.mov, *.mp4, *.rm, *.ogg or *.tta

(3) 采样率

物理和数学概念，以一种速度提取数字信号，单位是赫兹Hz。

(4) 分辨率

通常指图像或视频的尺寸。

(5) 帧率 fps

视频格式每秒钟播放的静态画面数量。

(6) 压缩

对数字信号压缩体积，分为两种：

• 无损格式，例如WAV，PCM，TTA，FLAC，AU，APE，TAK，WavPack(WV)
• 有损格式，例如MP3，Windows Media Audio（WMA），Ogg Vorbis（OGG），AAC

二、算法与协议

1. 视频编码标准

主要有：MPEG-n和 H.n 两种技术：

标准年份组织说明H.1201984ITU-T组织H.2611990ITU-T主要应用于视频会议、视频通话MPEG11993ISO ／IECVCD使用这个压缩算法H.262/MPEG-2 第二部份1995ISO ／ IEC 、ITU-TDVD影碟（DVD-Video ）、蓝光（Blu-Ray ）影碟、数位视讯广播（DVB ）、SVCDH.2631996ITU-T视讯会议、视讯通话、3G 手机视讯（3GP ）MPEG41999ISO ／IECMPEG的第4个版本H.264/MPEG-4 AVC2003ISO ／ IEC 、ITU-T蓝光（Blu-Ray ）影碟、数位视讯广播（DVB ）、iPod 视讯、高画质DVD（HD DVD ）H.2652013ITU

2. 主要流媒体协议

名称推出机构传输层协议客户端目前使用领域劣势RTSP+RTPIETFTCP+UDPVLC, WMPIPTVRTMPAdobe Inc.TCPFlash互联网直播苹果设备不提供原生支持RTMFPAdobe Inc.UDPFlash互联网直播MMSMicrosoft Inc.TCP/UDPWMP互联网直播+点播HTTPWWW+IETFTCPFlash互联网点播实时性差、原生支持不好hls(m3u8)Applehttp浏览器直播实时性差，延迟在10秒以上，分发HLS码流低，小文件分发不是很友好

总结：

• PC/Phone+直播+实时性要求高：使用flash播放RTMP。
• PC/Phone+直播+没有实时性要求：使用RTMP或者HLS均可。
• PC/Phone+点播：使用HTTP或者HLS。
• Phone+WEB+直播：HLS。

其它协议：

• H.323：是ITU-T第16工作组的建议，由一组协议构成，其中有负责音频与视频信号的编码、解码和包装；

三、网页播放音视频方案

1. rtmp + 插件（非Flash）

• ckplayer
• vlc 插件
• quicktime
• kurento
• vgx

2. rtsp+插件

• streamedia(支持Chrome无插件播放)
• vlc player(不支持RTP/AVP传输的NAT穿孔)
• quicktime
• Realplayer(本身不支持H.264)

3. Flash插件(jwplayer)

• Server(Red5) + 使用RTMP直播协议
• ffmpeg + xuggle => rtsp转rtmp => flash插件
• ffmpeg + jwplayer

4. 流媒体转为websocket

• ffmpeg + stream-server(nodejs脚本) + h5 Canvas显示
• ffmpeg + jsmpeg
• ffmpeg + xuggle + h5 video
• ffmpeg + websocket(server) + streamedian.js（开源）

5. webRtc

目前大部分移动端浏览器还不支持。