Android Visualizer 实战:把声音画出来

0 阅读4分钟

android.media.audiofx.Visualizer 是系统提供的音频效果(AudioEffect)之一。它挂在音频链路上,旁路监听正在播放的声音,把数据回吐给你——画波形、画频谱、做响度表。


一、它是怎么工作的

Visualizer 不是"录音",而是在音频混音链路上开一个旁路监听:

你的 AudioTrack / MediaPlayer
        ↓
    AudioFlinger 混音
        ↓
   ┌──┴──┐
   │Visualizer│ ← 旁路捞一份数据出来
   └────┘
        ↓
      HAL → DAC → 扬声器

因为是"捞一份数据出来",所以:

  • 它拿到的是混音后的音频(含系统音效、EQ 效果),不是你原始的 PCM
  • 它不改变声音本身,纯粹是旁听
  • 但系统把它归类为"捕获音频",必须申请 RECORD_AUDIO 权限

两种捕获数据

方法回调数据含义
getWaveForm(byte[])onWaveFormDataCapture时域波形,振幅序列,范围 [-128, 127]
getFft(byte[])onFftDataCapture频域 FFT,复数形式的实部/虚部

画频谱柱状图要用 onFftDataCapture,用错回调画出来的是波形不是频谱——这是最高频的误区。


二、两种挂载方式

Visualizer 的构造函数只收一个参数:audioSessionId。

// 方式 A:监听全局输出混音(所有 App 的声音)
Visualizer visualizer = new Visualizer(0);
// 方式 B:只监听某一个播放器(推荐)
AudioTrack track = new AudioTrack.Builder()...build();
Visualizer visualizer = new Visualizer(track.getAudioSessionId());

AudioTrack / MediaPlayer 都有 getAudioSessionId(),拿到后 Visualizer 只会看到这个播放器的声音,不会被别的 App 污染。

两种方式的权限要求不同:

方式所需权限
session = 0(全局混音)RECORD_AUDIO + MODIFY_AUDIO_SETTINGS
session = 具体 idRECORD_AUDIO

三、调用顺序:顺序错了必踩坑

Visualizer 有严格的配置顺序:

new Visualizer(sessionId)
    ↓
setCaptureSize(...)          ← 必须在 enable 之前
setScalingMode(...)          ← 同上
setDataCaptureListener(...)  ← 同上
    ↓
setEnabled(true)             ← 最后才开启采集
    ↓
    运行中……
    ↓
setEnabled(false)            ← 停止采集
release()                    ← 释放 native 资源

在 setEnabled(true) 之后调用 setCaptureSize() 会直接抛 IllegalStateException,官方文档明确写着 "This method must not be called when the Visualizer is enabled"。


四、完整封装

下面这个 SpectrumAnalyzer 把所有细节封装好了,可以直接用:

public class SpectrumAnalyzer {
​
    private static final String TAG = "SpectrumAnalyzer";
    private static final int CAPTURE_SIZE = 1024;   // 2 的幂
    private static final int BAR_COUNT = 40;         // 柱状图条数
​
    private final Visualizer visualizer;
    private final float[] magnitudes = new float[CAPTURE_SIZE / 2];
    private final float[] bars = new float[BAR_COUNT];
​
    /** 频谱回调结果监听,由 UI 层自行刷新 */
    public interface OnSpectrumListener {
        void onSpectrum(float[] bars);
    }
​
    private OnSpectrumListener listener;
​
    public SpectrumAnalyzer(int audioSessionId) {
        visualizer = new Visualizer(audioSessionId);
​
        // 必须在 enable 之前设置
        int[] range = Visualizer.getCaptureSizeRange();
        int size = CAPTURE_SIZE;
        if (size < range[0]) size = range[0];
        if (size > range[1]) size = range[1];
        visualizer.setCaptureSize(size);
​
        // NORMALIZED 会按内容自动放大,适合音乐可视化
        visualizer.setScalingMode(Visualizer.SCALING_MODE_NORMALIZED);
​
        visualizer.setDataCaptureListener(new Visualizer.OnDataCaptureListener() {
            @Override
            public void onWaveFormDataCapture(Visualizer v, byte[] waveform, int samplingRate) {
                // 时域数据,这里不用
            }
​
            @Override
            public void onFftDataCapture(Visualizer v, byte[] fft, int samplingRate) {
                handleFft(fft, samplingRate);
            }
            // rate 单位是毫赫兹(mHz),不是 Hz!
        }, Visualizer.getMaxCaptureRate() / 2, false, true);
    }
​
    public void setOnSpectrumListener(OnSpectrumListener l) {
        this.listener = l;
    }
​
    public void start() {
        visualizer.setEnabled(true);
    }
​
    public void stop() {
        visualizer.setEnabled(false);
    }
​
    public void release() {
        visualizer.release();
    }
​
    /** 解析 FFT 数据并分桶成柱状图 */
    private void handleFft(byte[] fft, int samplingRateMilliHz) {
        int n = fft.length;
​
        // 布局:index 0 = DC,index 1 = Nyquist,index 2/3 = Rf1/If1 ...
        for (int k = 0; k < n / 2; k++) {
            float re = fft[2 * k];
            float im = (2 * k + 1 < n) ? fft[2 * k + 1] : 0;
            // 复数模长 = 该频率点的能量
            magnitudes[k] = (float) Math.hypot(re, im);
        }
​
        // 只取人耳有效区间 20Hz ~ 20kHz,跳过直流
        int samplingRate = samplingRateMilliHz / 1000;
        int startBin = (int) (20 * n / samplingRate);
        int endBin = (int) (Math.min(20000, samplingRate / 2) * n / samplingRate);
        if (endBin <= startBin) endBin = startBin + 1;
​
        // 按对数分组,每组取峰值(不是均值,峰值才有"跳动"感)
        int usableBins = endBin - startBin;
        for (int i = 0; i < BAR_COUNT; i++) {
            int from = startBin + (int) (usableBins * (i / (double) BAR_COUNT));
            int to = startBin + (int) (usableBins * ((i + 1) / (double) BAR_COUNT));
            if (to <= from) to = from + 1;
​
            float peak = 0;
            for (int j = from; j < to && j < n / 2; j++) {
                if (magnitudes[j] > peak) peak = magnitudes[j];
            }
            bars[i] = peak;
        }
​
        // 归一化到 0~1,便于绘制
        float max = 0;
        for (float b : bars) {
            if (b > max) max = b;
        }
        if (max > 0) {
            for (int i = 0; i < BAR_COUNT; i++) {
                bars[i] /= max;
            }
        }
​
        if (listener != null) {
            listener.onSpectrum(bars);
        }
    }
}

用法:

// 1. 准备 AudioTrack,取 sessionId
AudioTrack track = new AudioTrack.Builder()
        .setAudioFormat(format)
        .setTransferMode(AudioTrack.MODE_STREAM)
        .build();
​
// 2. 挂上 Visualizer
SpectrumAnalyzer analyzer = new SpectrumAnalyzer(track.getAudioSessionId());
analyzer.setOnSpectrumListener(bars -> {
    // 把 bars 丢给自定义 View 刷新(注意:别在回调里直接操作 UI)
    spectrumView.updateBars(bars);
});
analyzer.start();
​
track.play();
​
// 3. 退出时必须释放
// analyzer.release();

五、小结

  1. 本质:Visualizer 是挂在混音链路上的旁路监听,捞到的是混音后的音频,不是原始 PCM。
  2. 挂载:优先用 audioTrack.getAudioSessionId() 只监听自己的播放器,避免被别的 App 污染。
  3. 顺序:setCaptureSize / setScalingMode / setDataCaptureListener 全部要在 setEnabled(true) 之前调用,否则抛 IllegalStateException。
  4. 权限与收尾:RECORD_AUDIO 必需(监听全局混音还要 MODIFY_AUDIO_SETTINGS);退出时 stop() → release()。