第七章 Filter 滤镜

在讲述这章前，我先提一个问题：如何给视频加水印？

Windows客户端开发的小伙伴第一个想到的是GDI+吧？视频读入GDI+，然后每帧画一个水印，再写入新的视频中；Qt也一样，skia等其他绘图库同理。

我个人这儿是不太推荐使用滤镜的，滤镜难学，并且很容易出问题，如果对其他绘图库比较熟悉了，并且能解决问题了，那么尽量就不要用滤镜。滤镜相对于其他库来说效率并不会提高多少，唯一好处就是，不用附带其他绘图库，利于软件的三方库的统一。

不过也不是一定不要用这个，如果恰好有跨平台需求，或者你没学过其他绘图库，或者想要实现幕布恰好滤镜自带等等，至于用不用这个全看取舍。

非滤镜图像处理

这个比较简单，以GDI+为例：

// AVFrame* 转 rgb32格式AVFrame*
// rgb32格式AVFrame* 转 Gdiplus::Bitmap
// 对Gdiplus::Bitmap进行绘制
// Gdiplus::Bitmap 转 rgb32格式AVFrame*
// rgb32格式AVFrame* 转 AVFrame*

非滤镜音频处理

需要达到很棒的效果的音频处理需要加很多音频公式，比如去噪等等。这儿我给出一个示例，双路音频合流，其他关于音频的处理同理。

处理音频首先需要将各种格式统一，比如channel都转为1，然后sample_rate都转为44100，音频格式都转为AV_SAMPLE_FMT_S16，也就是short类型数据，有符号16位数字，取值范围为-32768~32767。

然后开始合流，对S16格式音频来说，合流就是简单的相加即可。

AVFrame *_frame1, *_frame2;// 这两帧为有效的 AV_SAMPLE_FMT_S16 格式，单声道，相同采样率
size_t _sCount = _frame1->nb_samples;
int16_t *_data1 = (int16_t*) _frame1->data [0];
int16_t *_data2 = (int16_t*) _frame2->data [0];
for (size_t i = 0; i < _sCount; ++i, ++_data1, ++_data2) {
    int _n = *_data1 + (int) *_data2;
    _n = (_n < -32768 ? -32768 : _n);
    _n = (_n > 32767 ? 32767 : _n);
    // 此处将结果放置在_frame1中
    *_data1 = (int16_t) _n;
}

滤镜的使用

虽然我个人不推荐使用滤镜，不过如果有想使用滤镜的，那么按照下面步骤来：

// 初始化
AVFilterGraph *_graph = avfilter_graph_alloc ();
// 生成描述字符串
char _args [512] = { '\0' };
snprintf (_args, _countof (_args), "video_size=%dx%d:pix_fmt=%d:time_base=%d/%d:pixel_aspect=%d/%d", _codec_ctx->width, _codec_ctx->height, AV_PIX_FMT_YUV420P, _codec_ctx->time_base.num, _codec_ctx->time_base.den, _codec_ctx->sample_aspect_ratio.num, _codec_ctx->sample_aspect_ratio.den); // 视频
snprintf (_args, _countof (_args), "sample_rate=%d:sample_fmt=%s:time_base=%d/%d:channel_layout=%I64x", _codec_ctx->sample_rate, av_get_sample_fmt_name (AV_SAMPLE_FMT_FLTP), _codec_ctx->time_base.num, _codec_ctx->time_base.den, _codec_ctx->channel_layout); // 音频
// 创建输入信息结构
const AVFilter *_filter_i avfilter_get_by_name ("buffer"); // 视频
const AVFilter *_filter_i avfilter_get_by_name ("abuffer"); //音频
AVFilterContext *_filter_ctx_i = nullptr;
int _ret = avfilter_graph_create_filter (&_filter_ctx_i, m_filters_i [_n], _name.c_str (), _args, nullptr, m_graph);
if (!_filter_ctx_i) {
    printf ("avfilter_graph_create_filter failed %d\n", _ret);
    return false;
}
// 创建输入管道
AVFilterInOut *_output = avfilter_inout_alloc ();
_output->name = av_strdup (_name.c_str ());
_output->filter_ctx = _filter_ctx_i;
_output->pad_idx = 0;
_output->next = nullptr;
// 创建输出信息结构
const AVFilter *_filter_o avfilter_get_by_name ("buffersink"); // 视频
const AVFilter *_filter_o avfilter_get_by_name ("abuffersink"); //音频
AVFilterContext *_filter_ctx_o = nullptr;
_ret = avfilter_graph_create_filter (&_filter_ctx_o, m_filter_o, "out", nullptr, nullptr, m_graph);
if (!_filter_ctx_o) {
    printf ("avfilter_graph_create_filter failed %d\n", _ret);
    return false;
}
// 创建输出管道
AVFilterInOut *_input = avfilter_inout_alloc ();
_input->name = av_strdup ("out");
_input->filter_ctx = m_filter_ctx_o;
_input->pad_idx = 0;
_input->next = nullptr;
// 指定输出像素格式或采样格式
// 视频
enum AVPixelFormat pix_fmts [] = { AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE };
_ret = av_opt_set_int_list (m_filter_ctx_o, "pix_fmts", pix_fmts, AV_PIX_FMT_NONE, AV_OPT_SEARCH_CHILDREN);
// 音频
static AVSampleFormat _sample_fmt = AV_SAMPLE_FMT_FLTP;
_ret = av_opt_set_bin (m_filter_ctx_o, "sample_fmts", (uint8_t*) &_sample_fmt, sizeof (_sample_fmt), AV_OPT_SEARCH_CHILDREN);
_ret = av_opt_set_bin (m_filter_ctx_o, "channel_layouts", (uint8_t*) &m_channel_layout, sizeof (m_channel_layout), AV_OPT_SEARCH_CHILDREN);
_ret = av_opt_set_bin (m_filter_ctx_o, "sample_rates", (uint8_t*) &m_sample_rate, sizeof (m_sample_rate), AV_OPT_SEARCH_CHILDREN);
// 指定滤镜语法
const char *_filter_str = "[in]crop=640:420[out]"; // 此处为滤镜语法
if ((_ret = avfilter_graph_parse_ptr (m_graph, _afilter.c_str (), &_input, _outputs, nullptr)) < 0) {
    printf ("avfilter_graph_parse_ptr failed %d\n", _ret);
    return false;
}
if ((_ret = avfilter_graph_config (m_graph, nullptr)) < 0) {
    printf ("avfilter_graph_config failed %d\n", _ret);
    return false;
}

// 下面开始循环处理数据
// 写入
_ret = av_buffersrc_add_frame_flags (_filter_ctx_i, _frame_new, AV_BUFFERSRC_FLAG_KEEP_REF);
// 读取
_ret = av_buffersink_get_frame (_filter_ctx_o, _frame);

// 释放
avfilter_free (_filter_ctx_i);
_filter_ctx_i = nullptr;
avfilter_free (_filter_ctx_o);
_filter_ctx_o = nullptr;
av_free ((void*) _filter_i);
_filter_i = nullptr;
av_free ((void*) _filter_o);
_filter_o = nullptr;
avfilter_graph_free (&_graph);

滤镜语法

滤镜的实现是通过滤镜语法来的，所以再实现滤镜前先说说滤镜语法。这种语法实际上是一种DSL，专为FFmpeg滤镜服务。

文字水印

参数介绍的差不多了，下面来实际写一串文本滤镜：

drawtext=fontsize=100:fontfile=a.ttf:text='hello':x=20:y=20

这一行中分为两部分，一部分是“drawtext=”，这部分指定绘制文本参数，如果有多个指定项则用;分割；另一部分是“fontsize=100:fontfile=a.ttf:text='hello':x=20:y=20”，全是drawtext的内容，这部分分隔符是“:”。

文本或者动态颜色字符串可以使用格式化方式来动态生成，比如

...text='%{localtime\:%Y-%m-%d %H\:%M\:%S}'...

另外，滤镜远远不止文字水印这么简单，可以对图像进行一些操作比如蒙版缩放等，也能对声音进行操作，如果官方没有的滤镜还能自己实现一个滤镜，接受参数同时按照自己的想法来处理。

参考：ffmpeg-filters