音频基础 on Dorkytiger 的小屋

PCM 裸音频

Mon, 01 Jan 0001 00:00:00 +0000

一、音频怎么变成数据

声卡以固定的频率采样声波的电压值，每次采样得到一个数值。这些数值按时间顺序排列就是 PCM 数据。

声波（模拟信号）：  ╱╲    ╱╲    ╱╲    ╱╲
                 ╱  ╲  ╱  ╲  ╱  ╲  ╱  ╲
采样（数字信号）：  █   █   █   █   █   █
                  ↑   ↑   ↑   ↑   ↑   ↑
                 t0  t1  t2  t3  t4  t5
                 每隔 1/44100 秒采一次

二、三个关键参数

// 采样率（Sample Rate）：每秒采多少次
// 44100 Hz = CD 音质
// 48000 Hz = 视频/DVD 标准
// 96000 Hz = 高解析度音频

// 位深（Bit Depth）：每次采样用多少 bit 表示
// 16 bit = CD 音质，每个样本范围 -32768 ~ 32767
// 24 bit = 录音室级别
// float 32 = 音频处理内部格式

// 声道数（Channels）：
// 1 = Mono
// 2 = Stereo（左右声道交织）
// 6 = 5.1 环绕声

// PCM 数据量计算
void calc_pcm_size(int sample_rate, int bit_depth, int channels, int duration_sec) {
    int bytes_per_sample = bit_depth / 8;
    int bytes_per_sec = sample_rate * bytes_per_sample * channels;
    int total_bytes = bytes_per_sec * duration_sec;

    printf("PCM 参数: %dHz/%dbit/%dch\n", sample_rate, bit_depth, channels);
    printf("每秒: %d bytes (%.1f KB)\n", bytes_per_sec, bytes_per_sec / 1024.0);
    printf("1 分钟: %d bytes (%.1f MB)\n", total_bytes, total_bytes / 1024.0 / 1024);
}

// calc_pcm_size(48000, 16, 2, 60);
// 输出：
// 每秒: 192000 bytes (187.5 KB)
// 1 分钟: 11520000 bytes (11.0 MB)
// 对比：同样的 1 分钟 AAC 128kbps → 约 1MB，压缩率约 11x

三、音频在内存中的布局

// Stereo 16-bit PCM 的内存布局（交织模式 Interleaved）：
// [L][R][L][R][L][R]...
//  采样0  采样1  采样2
// 每个样本是 int16_t（小端序）

#include <cstdint>

struct Stereo16Sample {
    int16_t left;
    int16_t right;
};

// 生成一个 440Hz 的正弦波测试音（A4 音）
void generate_sine_wave(int16_t* buffer, int num_samples, int sample_rate) {
    double freq = 440.0;  // A4
    for (int i = 0; i < num_samples; i++) {
        double t = (double)i / sample_rate;
        double value = sin(2.0 * M_PI * freq * t) * 32767.0;  // 归一化到 16bit 范围
        buffer[i] = (int16_t)value;
    }
}

// 混音：把两个音频叠加（注意防止溢出）
void mix_audio(const int16_t* a, const int16_t* b, int16_t* out, int count) {
    for (int i = 0; i < count; i++) {
        int mixed = (int)a[i] + (int)b[i];
        // 防止溢出：钳制到 int16_t 范围
        if (mixed > 32767) mixed = 32767;
        if (mixed < -32768) mixed = -32768;
        out[i] = (int16_t) mixed;
    }
}

AAC 音频编码

Mon, 01 Jan 0001 00:00:00 +0000

一、PCM → AAC 的转换

extern "C" {
#include <libavcodec/avcodec.h>
#include <libavutil/audio_fifo.h>
}

// 把 PCM 帧编码为 AAC packet
struct AudioEncoder {
    AVCodecContext* ctx = nullptr;

    bool init(int sample_rate, int channels) {
        const AVCodec* codec = avcodec_find_encoder(AV_CODEC_ID_AAC);
        if (!codec) return false;

        ctx = avcodec_alloc_context3(codec);
        ctx->sample_fmt = AV_SAMPLE_FLT_FLTP;  // AAC 编码器要求 float planar
        ctx->sample_rate = sample_rate;
        ctx->channel_layout = channels == 1 ? AV_CH_LAYOUT_MONO : AV_CH_LAYOUT_STEREO;
        ctx->channels = channels;
        ctx->bit_rate = 128000;  // 128 kbps

        return avcodec_open2(ctx, codec, nullptr) >= 0;
    }

    // 编码一帧 PCM 数据
    // 注意：AAC 一帧固定 1024 个样本
    AVPacket* encode(const float* pcm_data, int num_samples) {
        AVFrame* frame = av_frame_alloc();
        frame->nb_samples = num_samples;
        frame->format = ctx->sample_fmt;
        frame->channel_layout = ctx->channel_layout;
        av_frame_get_buffer(frame, 0);

        // 把输入 PCM 拷贝到 frame（planar 格式：ch0 全在 data[0], ch1 全在 data[1]）
        memcpy(frame->data[0], pcm_data, num_samples * sizeof(float));

        AVPacket* packet = av_packet_alloc();
        if (avcodec_send_frame(ctx, frame) == 0) {
            avcodec_receive_packet(ctx, packet);
        }

        av_frame_free(&frame);
        return packet;
    }

    ~AudioEncoder() { avcodec_free_context(&ctx); }
};

二、AAC 的 ADTS 头部

当你从编码器拿到 AAC 裸流时，每帧数据开头有一个 ADTS 头部（7 或 9 字节），包含了采样率、声道数、帧长度等信息。没有 ADTS 头部，解码器不知道数据怎么解析。

音频重采样

Mon, 01 Jan 0001 00:00:00 +0000

一、什么时候需要重采样

你的游戏/桌面采集的音频是 48000Hz，但推流到某个平台要求 44100Hz。
或者来源是 2 声道，平台要求 1 声道（混音）。

这时就需要音频重采样（resample）。

FFmpeg 提供 libswresample：
swr_init(src_rate, src_channels, src_fmt,
         dst_rate, dst_channels, dst_fmt)
→ 一次调用完成采样率转换 + 声道布局转换 + 格式转换

extern "C" {
#include <libswresample/swresample.h>
}

struct AudioResampler {
    SwrContext* swr = nullptr;

    bool init(int src_rate, int dst_rate, int channels) {
        swr = swr_alloc_set_opts(nullptr,
            dst_rate, AV_CH_LAYOUT_STEREO, AV_SAMPLE_FLT_FLTP,   // 输出
            src_rate, AV_CH_LAYOUT_STEREO, AV_SAMPLE_FLT_FLTP,   // 输入
            0, nullptr);
        return swr_init(swr) >= 0;
    }

    // 输入 AVFrame（src_format），输出转换后的 AVFrame
    AVFrame* resample(AVFrame* src) {
        AVFrame* dst = av_frame_alloc();
        dst->format = AV_SAMPLE_FLT_FLTP;
        dst->channel_layout = AV_CH_LAYOUT_STEREO;
        dst->sample_rate = dst_rate;
        dst->nb_samples = src->nb_samples;
        av_frame_get_buffer(dst, 0);

        swr_convert(swr,
                    dst->data, dst->nb_samples,
                    (const uint8_t**)src->data, src->nb_samples);

        return dst;
    }
};

第五阶段总结

Mon, 01 Jan 0001 00:00:00 +0000

PCM 音频：
    采样率 × 位深 × 声道数 = 每秒数据量
    48000/16bit/stereo = 187.5 KB/s

AAC 编码：
    128 kbps ≈ 16 KB/s，压缩比约 11:1
    ADTS 头部标识帧的开始和参数

音频处理常用操作：
    混音（两个 PCM 波形相加，防溢出）
    重采样（采样率/声道/格式转换）
    音量调整（PCM 值乘以系数）