过去一周我一直在尝试通过 RTP 实现 H.264 流式传输，使用 x264 作为编码器和 libavformat 来打包和发送流。问题是，据我所知，它无法正常工作。

现在我只是编码随机数据 (x264_picture_alloc) 并从 libx264 中提取 NAL 帧。这相当简单:

x264_picture_t pic_out;
x264_nal_t* nals;
int num_nals;
int frame_size = x264_encoder_encode(this->encoder, &nals, &num_nals, this->pic_in, &pic_out);

if (frame_size <= 0)
{
    return frame_size;
}

// push NALs into the queue
for (int i = 0; i < num_nals; i++)
{
    // create a NAL storage unit
    NAL nal;
    nal.size = nals[i].i_payload;
    nal.payload = new uint8_t[nal.size];
    memcpy(nal.payload, nals[i].p_payload, nal.size);

    // push the storage into the NAL queue
    {
        // lock and push the NAL to the queue
        boost::mutex::scoped_lock lock(this->nal_lock);
        this->nal_queue.push(nal);
    }
}

nal_queue 用于将帧安全地传递给 Streamer 类，然后该类将帧发送出去。现在它没有线程化，因为我只是在测试以尝试让它工作。在对单个帧进行编码之前，我已确保初始化编码器。

但我不认为 x264 是问题所在，因为我可以在它返回的 NAL 中看到帧数据。 流式传输数据是使用 libavformat 完成的，它首先在 Streamer 类中初始化:

Streamer::Streamer(Encoder* encoder, string rtp_address, int rtp_port, int width, int height, int fps, int bitrate)
{
    this->encoder = encoder;

    // initalize the AV context
    this->ctx = avformat_alloc_context();
    if (!this->ctx)
    {
        throw runtime_error("Couldn't initalize AVFormat output context");
    }

    // get the output format
    this->fmt = av_guess_format("rtp", NULL, NULL);
    if (!this->fmt)
    {
        throw runtime_error("Unsuitable output format");
    }
    this->ctx->oformat = this->fmt;

    // try to open the RTP stream
    snprintf(this->ctx->filename, sizeof(this->ctx->filename), "rtp://%s:%d", rtp_address.c_str(), rtp_port);
    if (url_fopen(&(this->ctx->pb), this->ctx->filename, URL_WRONLY) < 0)
    {
        throw runtime_error("Couldn't open RTP output stream");
    }

    // add an H.264 stream
    this->stream = av_new_stream(this->ctx, 1);
    if (!this->stream)
    {
        throw runtime_error("Couldn't allocate H.264 stream");
    }

    // initalize codec
    AVCodecContext* c = this->stream->codec;
    c->codec_id = CODEC_ID_H264;
    c->codec_type = AVMEDIA_TYPE_VIDEO;
    c->bit_rate = bitrate;
    c->width = width;
    c->height = height;
    c->time_base.den = fps;
    c->time_base.num = 1;

    // write the header
    av_write_header(this->ctx);
}

这就是事情似乎出了问题的地方。上面的 av_write_header 似乎什么也没做；我已经使用 wireshark 来验证这一点。作为引用，我使用 Streamer streamer(&enc, "10.89.6.3", 49990, 800, 600, 30, 40000); 来初始化 Streamer 实例，其中 enc对以前用于处理 x264 的 Encoder 对象的引用。

现在当我想流出一个 NAL 时，我使用这个:

// grab a NAL
NAL nal = this->encoder->nal_pop();
cout << "NAL popped with size " << nal.size << endl;

// initalize a packet
AVPacket p;
av_init_packet(&p);
p.data = nal.payload;
p.size = nal.size;
p.stream_index = this->stream->index;

// send it out
av_write_frame(this->ctx, &p);

此时，我可以看到 RTP 数据出现在网络上，它看起来像我一直在发送的帧，甚至包括来自 x264 的一点版权 blob。 但是，我用过的播放器都无法理解这些数据。 VLC 退出需要 SDP 描述，apparently isn't required .

然后我尝试通过 gst-launch 播放它:

gst-launch udpsrc port=49990 ! rtph264depay !解码箱! xvimagesink

这将等待 UDP 数据，但是当收到它时，我得到:

ERROR: element /GstPipeline:pipeline0/GstRtpH264Depay:rtph264depay0: No RTP format was negotiated. Additional debug info: gstbasertpdepayload.c(372): gst_base_rtp_depayload_chain (): /GstPipeline:pipeline0/GstRtpH264Depay:rtph264depay0: Input buffers need to have RTP caps set on them. This is usually achieved by setting the 'caps' property of the upstream source element (often udpsrc or appsrc), or by putting a capsfilter element before the depayloader and setting the 'caps' property on that. Also see http://cgit.freedesktop.org/gstreamer/gst-plugins-good/tree/gst/rtp/README

由于我没有使用 GStreamer 来流式传输自身，所以我不太确定 RTP 上限意味着什么。但是，这让我想知道我是否没有通过 RTP 发送足够的信息来描述流。我对视频很陌生，我觉得这里缺少一些关键的东西。有什么提示吗？

最佳答案

h264 是一种编码标准。它指定了如何压缩视频数据并将其存储为稍后可以解压缩为视频流的格式。

RTP是一种传输协议(protocol)。它规定了可以携带由任意编码器编码的音频-视频数据的数据包的格式和顺序。

GStreamer 期望接收符合 RTP 协议(protocol)的数据。您是否期望 libaformat 生成 GStreamer 可立即读取的 RTP 数据包？也许 GStreamers 需要额外的流描述，使其能够使用适当的解码器接受和解码流式数据包？也许它需要额外的 RTSP 交换或 SDP 流描述 rune 件？

错误消息非常清楚地表明 RTP 格式尚未协商。 caps 是功能的简写。接收器需要知道发射器的能力才能正确设置接收器/解码器。

我强烈建议至少尝试为您的 RTP 流创建一个 SDP 文件。 libav格式should be able to do it for you .

关于c++ - 使用 libavformat 通过 RTP 流式传输 H.264，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10143753/