学音视频开发需要学数字逻辑吗

总体来讲，音视频开发是有一定的技术门槛的，我觉得至少需要在这个领域踏踏实实积累个3-5年，才能对音视频相关的开发知识有一个整体、深刻的理解。

从技术上来讲，需要从如下两个大类知识点上去积累：

C/C++通用开发知识

音视频开发的主要编程语言就是C和C++。

这块的专业知识积累是通用的，并不局限于某个特定的行业，属于程序员的技术功底。

可以重点关注如下几个方面：

计算机系统的底层工作原理

操作系统原理

程序的编译、链接和加载机制

C/C++语言特性背后蕴含的思想，底层工作原理，适用场景，存在什么样的问题

软件设计原则和设计模式

数据结构和算法

多线程并发编程原理

网络编程

跨平台

操作系统API

软件调试

2 音视频领域专业知识

这块属于从事音视频行业的专业知识。

这块的专业知识是非常多的，每个功能模块背后涉及很多专业的知识。

音视频的开发可以分为两大块，涉及的内容大致如下：

音视频客户端开发

客户端应用开发

音视频引擎开发

音视频引擎SDK

音视频引擎框架

音视频引擎功能模块

音/视频采集

音/视频渲染

音/视频数据处理

音/视频编/解码

录制

串流

音视频同步

流媒体服务器开发

通用服务器开发知识，需要关注如下几个点

高稳定性

高性能

高并发

高可用

流媒体服务器开发

SFU vs MCU

流媒体协议转换

弱网下的音视频传输协议

录制 & 转码

…

上述内容中，客户端应用开发、音视频引擎SDK、音视频引擎框架、通用服务器开发等主要涉及C/C++通用开发知识，但要设计好这些部分必须对音视频相关的知识和产品业务有比较深刻的理解才能做到。通常，音视频架构师比较关注这些部分。

而音视频引擎底层功能模块和SFU/MCU流媒体服务器的开发，则和音视频的专业知识密切相关。

已经给大家准备好了安装环境和各种视频资料，资料放在自己的群里面：832218493（需要自取）

视频数据可以通过如下方式获得：

USB摄像头

专业的硬件视频采集卡（有软压卡和硬压卡之分）

网络摄像机（支持RTSP协议）

操作系统提供的屏幕录制API

读取音视频文件并解码

订阅流媒体服务器上的流

音频数据可以通过如下方式获得：

声卡

扬声器播放声音的回环采集（依赖操作系统的API）

读取音视频文件并解码

订阅流媒体服务器上的流

支持音频输入的网络摄像机（支持RTSP协议）

支持音频输入的视频采集卡

在手机上，操作系统的SDK会提供相关的音视频采集接口

音/视频渲染

视频渲染一般需要了解OpenGL，而音频渲染需要了解OpenAL

可以通过开源库SDL来快速实现渲染模块

在Windows下使用DirectShow框架，操作系统提供了对应的视频和音频渲染模块（通过GraphEdit可以看到）

在DirectShow中渲染器会涉及到音视频同步的策略，当然，也完全可以自己去实现音视频同步模块

音/视频数据处理

这些模块基本是在编码前或解码后，对视频或音频的原始数据进行某种算法上的处理

视频处理主要包括分辨率转换、色彩空间转换、帧率转换、图像增强、多路视频拼接、添加字幕、添加LOGO等，这块对整体的性能影响比较大，往往需要使用SIMD指令进行汇编优化或使用GPU算法进行加速

音频处理主要包括回声消除、噪声抑制、自动增益、混音等，这块往往会涉及比较多的信号处理和数学知识，是音频中比较复杂的一块

音/视频编/解码

视频编/解码

要理解视频的基本编码原理，熟悉视频编码的关键参数和码流格式

目前使用比较多的是H264，H265开始逐步在使用，其他的视频编码也有很多，如AVS、VP8、VP9等

视频编码对音视频引擎的性能影响比较大，这块基本都是需要使用GPU加速的，目前的Intel集显对H264和H265支持还是比较好的，NVIDIA的独立显卡在编码上存在路数的限制；手机上一般都有对应的硬件加速模块；在性能较好的硬件上，可以考虑开源的X264

音频编/解码

要理解音频的基本编码原理，熟悉音频的关键参数和码流格式

目前使用比较多的是AAC，其他的音频编码也有很多，如G711、G722、OPUS等

在PC上，一般音频的相关模块对性能的影响不明显，但在海思嵌入式系统上，音频模块对性能的影响就不能忽略，因为海思基本没有提供音频的硬件加速模块，而ARM CPU性能也有点弱

录制

需要理解FLV、MP4、TS等容器格式

对于特殊的录制方式要注意软件的处理方式，例如，加片头和片尾的录制功能，追加录制

MP4录制要注意moov box放在文件开始或结束对录制文件的写入和点播的影响

录制时音视频均匀混合的策略

串流

理解视频互动、直播和点播的工作原理

关键评价指标

延迟

首屏时间

同步

流畅性

画质/音质

理解下述的几种音视频传输协议

RTMP

HTTP + FLV / Websocket + FLV

HLS

RTP & RTCP

RTSP

SIP

WebRTC

H323

弱网下的音视频传输协议

理解TCP协议栈原理

可靠的UDP传输协议

KCP

SRT

QUIC

FEC + 丢包重传机制（如NACK）

音视频的开发并不是完全从零开始，而是有许多可以依赖的开源库，但要用好这些库，需要对上述的音视频专业知识有深刻的理解。

比较常见的音视频开源库，如下：

ffmpeg

可以直接使用ffmpeg的命令行实现转码、切片等常见功能

可以基于FFmpeg API封装开发自己的音视频模块

live555

比较完善的RTSP库

x264

比较常用的H264编码库

fdkaac

比较常用的AAC编解码库

librtmp

支持rtmp协议，产品化时需要自己进一步完善

pjsip

支持sip协议

webrtc

google开源的webrtc库，有比较好的音/视频引擎，对网络状态的实时评估可以借鉴，回声消除模块也是比较有名的

SDL

比较有名的音视频渲染库

SRS

国内比较知名的RTMP流媒体服务器，支持HLS、HTTP+FLV，40版本开始支持WebRTC

OWT

Intel开源的WebRTC套件，支持了WebRTC客户端SDK和分布式的WebRTC MCU服务器

OpenCV

著名的视频算法库

另外，视频的编码和解码可以基于Intel Media SDK和NVIDIA的NVENC来实现。

在海思嵌入式上，海思芯片（如Hi3531D等）提供了硬件的音视频采集、音视频渲染、视频编/解码、视频图像处理等核心功能，这就需要借助于海思提供的SDK进行开发了。

顺便给大家推荐一个学习音视频的学习大纲 需要自取：

C++Linux服务器音视频资料分享

QQ群名片

不算。5e是服务器在国内的社区服，不属于官服。同时5e采用128位弹道，官匹采用64位弹道。

5e在国内是csgo游戏权威平台，有很多中国职业选手在上面打天梯比赛。在5e平台上打出的成绩能够反映出玩家真实的游戏水平，同时5e为大多数国内玩家使用，在游戏时交流起来也更顺畅。

扩展资料：

角色设定：每局对战随机阵营，玩家可以选择己方阵营下的角色，部分角色需要通过解锁。 

CT阵营（反恐精英）

海豹部队第6分队（SEAL TEAM 6）

海豹部队第六分队（ST-6）现为美国海军特战开发小组（DEVGRU），由理查马辛克中尉于 1980 年成立。海豹部队第六分队永远保持警戒状态随时回应世界各地以美国为目标的恐怖攻击行动。

特种应变部队（Special Response Team）

特种应变部队（SRT）或称作特种武器战术部队（SWAT），隶属于美国国内警察执法机构的特种军事作战部队专门执行危险任务。

-反恐精英：全球攻势

android上，视频/音频流直播是极少有人关注的一部分。每当我们讨论流媒体，RTMP(Real Time Messaging Protocol)是不可或缺的。RTMP是一个基本的视频/音频直播流协议，但是不幸的是Android标准的VideoView不支持RTMP的播放。因此，如果想在android上播放RTMP直播流，你必须使用支持RTMP协议的库。在本教程中我们将讨论如何通过使用安卓的 [Vitamio] 库播放由 RTMP 协议传输的流媒体。

Android Vitamio 库

Vitamio是一个android和ios上基于FFmpeg的开源项目。Vitamio为我们提供了一个清洁、简单、全面、真实的硬件加速解码器和渲染器API，Vitamio是一个支持多种音视频格式 如 FLV, TS/TP, WMV, DivX, Xvid等多种标准格式的非常强大的库。所不同的是，它也支持类似mkv和srt嵌入和外挂字幕播放。但是它带有一个许可证，因此在使用它之前请先获得认证。在这个android RTMP例子中，我们不仅讨论RTMP直播流，而且也会讨论m3u8流（HLS），RTSP流和 MMS (Microsoft Media Stream)。首先让在我们的项目中引用Vitamio库。

在Android Studio中引用Vitamio库的步骤如下：

1下载Vitamio bundle

2解压并且在Android Studio上File->Import Module

3指定到VitamioBundle路径，选择vitamio文件夹 点击完成

4在buildgradle(Module: app)依赖部分添加依赖项目(‘:vitamio’)

5打开buildgradle (Module: vitamio) – 改变最小sdk版本为7

6不要忘记在manifestxml中添加internet权限

7完成！

Android RTMP流

在讲述如何使用之前，让我们先了解下RTMP。Real Time Messaging Protocol (RTMP)是一个Adobe Systems所拥有的一个协议。该协议是Adobe公司拥有的开发音视频流的flash player。后来该协议的部分被公开，供公众使用。更多请查看这里这个协议大多用于IPTV和实时视频点播流，但它也用于其他领用。

在android上，标准的VideoView不支持RTMP播放。但WebView可以播放RTMP流。这解决了播放RTMP流的问题，但是我认为web apps 不能提供一个很好的界面和体验。因此这这个android RTMP例子中我们将运用第三方库-Vitamio 直播RTMP流的流媒体。在工程中引用Vitamio之后，请在你的layout文件添加Vitamio的VideoView：

activity_mainxml

<xml version="10" encoding="utf-8">

<LinearLayout xmlns:android="http://schemasandroidcom/apk/res/android"

android:layout_width="match_parent"

android:layout_height="match_parent"

android:orientation="vertical" >

<iovovvitamiowidgetVideoView android:id="@+id/vitamio_videoView"

android:layout_width="wrap_content"

android:layout_height="wrap_content" />

</LinearLayout>123456789101112

另外请编写你的activity如下：

MainActivityjava

package comtruitonrtmpplayer; import androidnetUri; import androidosBundle; import androidsupportv7appActionBarActivity; import javautilHashMap; import iovovvitamioLibsChecker; import iovovvitamioMediaPlayer; import iovovvitamiowidgetMediaController; import iovovvitamiowidgetVideoView; public class MainActivity extends ActionBarActivity {

private static final String TAG = "MainActivity"; private String path; //private HashMap<String, String> options;

private VideoView mVideoView; @Override

protected void onCreate(Bundle savedInstanceState) { superonCreate(savedInstanceState); if (!LibsCheckercheckVitamioLibs(this)) return;

setContentView(Rlayoutactivity_main);

mVideoView = (VideoView) findViewById(Ridvitamio_videoView);

path = "rtmp://rrbalancerbroadcasttnegde:1935/pw/ruk/ruk"; /options = new HashMap<>();

optionsput("rtmp_playpath", "");

optionsput("rtmp_swfurl", "");

optionsput("rtmp_live", "1");

optionsput("rtmp_pageurl", "");/

mVideoViewsetVideoPath(path); //mVideoViewsetVideoURI(Uriparse(path), options);

mVideoViewsetMediaController(new MediaController(this));

mVideoViewrequestFocus();

mVideoViewsetOnPreparedListener(new MediaPlayerOnPreparedListener() { @Override

public void onPrepared(MediaPlayer mediaPlayer) {

mediaPlayersetPlaybackSpeed(10f);

}

});

}

}1234567891011121314151617181920212223242526272829303132333435363738394041424344454647

虽然上面代码很清晰明了，但需要指出的是请修改你播放RTMP流的路径。在android上，有时可能使用带报头路径来播放RTMP流。幸运的是，Vitamio RTMP播放器也支持这种方式。因此，所有类型的RTMP流可以使用Vitamio库。上面的例子会是这个样子：

Android Vitamio 直播视频播放功能的实现

Android RTSP流媒体

实时流协议(RTSP)通过多媒体服务器传输内容，例如YouTube使用RTSP流发布内容。关于RTSP流比较容易的部分是，它可以通过android标准的VideoView来完成，想了解更多，请参考我的VideoView例子。

但是如果你使用Vitamio库，可以更好的播放RTSP流。事实上Vitamio也支持RTSP流的回播。和上面过程是一样的，包括Vitamio的VideoView在布局文件，并使用路径变量指定的RTSP url

mVideoView = (VideoView) findViewById(Ridvitamio_videoView);

path = "rtsp://wowzaec2demostreamlocknet/vod/mp4:BigBuckBunny_115kmov";

mVideoViewsetVideoPath(path);

mVideoViewsetMediaController(new MediaController(this));

mVideoViewrequestFocus();

mVideoViewsetOnPreparedListener(new MediaPlayerOnPreparedListener() { @Override

public void onPrepared(MediaPlayer mediaPlayer) {

mediaPlayersetPlaybackSpeed(10f);

}

});12345678910111213

Android m3u8 流媒体

“如何在android上播放m3u8视频”是android开发者最常见的问题之一。通过Http 协议进行视频流直播最简单的办法就是使用标准的 VideoView 但只能在android30以上的设备上播放m3u8流。因为在Android 30引入HTTP/ HTTPS直播和HTTP/ HTTPS渐进式流媒体协议，在android31完全支持HTTPS。

如果你希望在早期的版本上实现支持android m3u8流的HTTP实时流媒体 (HLS)。应该考虑使用Vitamio库，这个库支持在android API7以上播放m3u8。使用方式，同样的在布局文件中使用Vitamio的VideoView，并指定的HTTP实时流媒体URL。

mVideoView = (VideoView) findViewById(Ridvitamio_videoView);

path = "http://93184221133/00573D/236/236-0m3u8";

mVideoViewsetVideoPath(path);

mVideoViewsetMediaController(new MediaController(this));

mVideoViewrequestFocus();

mVideoViewsetOnPreparedListener(new MediaPlayerOnPreparedListener() { @Override

public void onPrepared(MediaPlayer mediaPlayer) {

mediaPlayersetPlaybackSpeed(10f);

}

});12345678910111213

Playing m3u8 stream on Android with Vitamio would look something like this:

在androi上使用Vitamio播放m3u8流效果如下：

Android Vitamio 直播视频播放功能的实现

Android MMS 流

Vitamio库是一个强大的库，还支持Microsoft媒体服务器（MMS）流中的播放。 MMS是网络流媒体协议，主要用于网络广播和电台直播。使用Vitamio用于在anroid的MMS流和其他协议没有什么不同。所有你需要做的只是更换路径变量指向一个MMS url：

mVideoView = (VideoView) findViewById(Ridvitamio_videoView);

path = "mms://beotelmediabeotelnet/studiob";

mVideoViewsetVideoPath(path);

mVideoViewsetMediaController(new MediaController(this));

mVideoViewrequestFocus();

mVideoViewsetOnPreparedListener(new MediaPlayerOnPreparedListener() { @Override

public void onPrepared(MediaPlayer mediaPlayer) {

mediaPlayersetPlaybackSpeed(10f);

}

});123456789101112

结论

通过上面的讨论，可以确定地说，Vitamio是一个强大的多平台库（ios and android）。通过使用Vitamio库 能播放多种类型的视频格式和协议如RTMP, RTSP, HTTP Live, and HTTP渐进式流协议。另外一个很好的功能是，vitamio支持字幕和多音轨的播放。Vitamio的唯一的缺点是，它不是完全的开源。

阅读全文