音视频同步 on Dorkytiger 的小屋

PTS / DTS

Mon, 01 Jan 0001 00:00:00 +0000

一、为什么需要两个时间戳

I 帧：不需要参考其他帧，解码顺序 = 显示顺序
P 帧：参考前一帧，解码顺序 = 显示顺序

B 帧：需要参考前后帧 → 解码顺序 ≠ 显示顺序！

视频帧顺序（显示顺序）：
  I B B P B B P B B ...
  1 2 3 4 5 6 7 8 9 ...

解码器需要的顺序（解码顺序）：
  I P B B P B B ...  ← 因为解码 B 帧需要前后的 P 和 I
  1 4 2 3 7 5 6 ...

所以每个帧有两个时间戳：
  DTS（Decode TimeStamp）：解码器按这个顺序解码
  PTS（Present TimeStamp）：播放器按这个顺序显示

举个实际例子：
  帧序列：I1(pts=0) B2(pts=1) B3(pts=2) P4(pts=3) B5(pts=4) B6(pts=5) P7(pts=6)
  解码顺序：I1(dts=0) P4(dts=1) B2(dts=2) B3(dts=3) P7(dts=4) B5(dts=5) B6(dts=6)
          ↓解码          ↓需要 P4 解码后才能解 B2
  显示顺序：I1 B2 B3 P4 B5 B6 P7

二、在 FFmpeg 中拿正确的 PTS

// 解码后的 frame 中的 pts 要用 stream 的 time_base 转换成秒
void print_frame_timestamp(AVFormatContext* fmt_ctx, int stream_idx, AVFrame* frame) {
    AVStream* stream = fmt_ctx->streams[stream_idx];
    AVRational tb = stream->time_base;

    // frame->pts 的单位是 time_base
    // 例如 time_base = {1, 1000} 表示 pts 单位是毫秒
    // 例如 time_base = {1, 90000} 表示 pts 单位是 1/90000 秒（H.264 常用）

    double pts_seconds = frame->pts * av_q2d(tb);
    printf("PTS = %ld (raw), %.3f (seconds)\n", frame->pts, pts_seconds);
}

// 把 packet 的时间戳从编码器时基转换到流时基
void convert_packet_ts(AVFormatContext* fmt_ctx, AVCodecContext* enc_ctx,
                        AVStream* stream, AVPacket* packet) {
    av_packet_rescale_ts(packet,
                         enc_ctx->time_base,       // 编码器时基
                         stream->time_base);       // 容器时基
}

音频主时钟同步

Mon, 01 Jan 0001 00:00:00 +0000

一、为什么用音频做主时钟

音频时钟：声卡以固定采样率播放，每一帧时长精确可计算
  一帧 1024 个样本，48000Hz → 每帧时长 = 1024/48000 = 21.33ms
  声卡中断或 DMA 传输时精确触发

视频时钟：显示器刷新率不稳定（VSync/Gsync/丢帧）
  一帧 60fps → 16.67ms
  实际可能因为解码延迟、渲染延迟而漂移

所以：
  播放器初始化时记录音频开始播放的时钟
  每一帧音频计算出当前的"期望位置"
  视频根据音频位置决定"是丢帧还是重复帧"

二、实现逻辑

// 最简单的音视频同步逻辑（伪代码）

struct SyncClock {
    // 音频时钟（主时钟）
    int64_t audio_start_time;          // 开始播放时的系统时间（毫秒）
    size_t total_samples_played;       // 已播放的总采样数
    int sample_rate;                   // 采样率

    // 获取当前音频播放位置（毫秒）
    double audio_clock() {
        double seconds = (double)total_samples_played / sample_rate;
        return seconds * 1000.0;
    }

    // 判断视频帧是否同步
    SyncAction check_video_sync(double video_pts_ms) {
        double audio_pts_ms = audio_clock();
        double diff = video_pts_ms - audio_pts_ms;

        // 偏差阈值
        if (diff < -100.0) {
            // 视频比音频快了 100ms 以上 → 需要等待（重复上一帧）
            return SyncAction::DELAY;
        } else if (diff > 100.0) {
            // 视频比音频慢了 100ms 以上 → 需要丢帧
            return SyncAction::DROP;
        } else {
            // 在同步范围内，正常显示
            return SyncAction::SHOW;
        }
    }
};

enum class SyncAction { SHOW, DELAY, DROP };

三、同步策略对比

视频快了（视频 PTS < 音频时钟）：
    策略一：把等待时间计入，推迟显示当前帧
    策略二：重复显示上一帧（画面静止，但感觉不到）
    后果：画面延迟增大，但不会卡顿

视频慢了（视频 PTS > 音频时钟）：
    策略一：直接丢弃当前帧（跳帧）
    策略二：跳过解码，直接拿下一帧
    后果：画面有轻微跳帧，但声音保持连续

经验法则：
    快 20ms 以内 → 忽略（人眼感觉不到）
    快 20-100ms → 延迟显示
    快 100ms+ → 丢帧

    播放器选择"丢帧保留音频同步"：
    声音卡顿是最容易被注意到的，画面稍微跳一下在可接受范围。

第七阶段总结

Mon, 01 Jan 0001 00:00:00 +0000

PTS vs DTS：
    DTS = 解码器使用的顺序
    PTS = 显示时使用的顺序
    B 帧导致两者不一致

音频主时钟：
    音频位置 = 已播放样本数 / 采样率
    视频根据音频位置决定丢帧或等待

同步阈值：
    偏差 < ±20ms：忽略
    偏差 20-100ms：延迟显示或跳帧
    偏差 > 100ms：必须纠正（音频优先）