iOS Audio hand by hand: 变声,混响,语音合成 TTS,Swift5,基于 AVAudioEngine 等

·  阅读 3766
iOS Audio hand by hand: 变声,混响,语音合成 TTS,Swift5,基于 AVAudioEngine 等

AVAudioEngine 比 AVAudioPlayer 更加强大,当然使用上比起 AVAudioPlayer 繁琐。

AVAudioEngine 对于 Core Audio 作了一些使用上的封装简化,简便的做了一些音频信号的处理。

使用 AVAudioPlayer ,是音频文件级别的处理。

使用 AVAudioEngine,是音频数据流级别的处理。

AVAudioEngine 可以做到低时延的、实时音频处理。还可以做到音频的多输入,添加特殊的效果,例如三维空间音效

AVAudioEngine 可以做出强大的音乐处理与混音 app,配合制作复杂的三维空间音效的游戏,本文来一个简单的变声应用

通用架构图,场景是 K 歌

aaa

AVAudioEngine 使用指南

首先,简单理解下

111

来一个 AVAudioEngine 实例,然后添加节点 Node, 有播放器的 Player Node, 音效的 Effect Node.

将节点连在音频引擎上,即 AVAudioEngine 实例。然后建立节点间的关联,组成一条音频的数据处理链。 处理后的音频数据,流过最后的一个节点,就是音频引擎的输出了。

开始做一个变声的功能,也就是音调变化

需要用到 AVAudioEngine 和 AVAudioPlayerNode

    // 音频引擎是枢纽
    var audioAVEngine = AVAudioEngine()
    // 播放节点
    var enginePlayer = AVAudioPlayerNode()
    // 变声单元:调节音高
    let pitchEffect = AVAudioUnitTimePitch()
    // 混响单元
    let reverbEffect = AVAudioUnitReverb()
    // 调节音频播放速度单元
    let rateEffect = AVAudioUnitVarispeed()
    // 调节音量单元
    let volumeEffect = AVAudioUnitEQ()
    // 音频输入文件
    var engineAudioFile: AVAudioFile!

做一些设置

先取得输入节点的 AVAudioFormat 引用,

这是音频流数据的默认描述文件,包含通道数、采样率等信息。

实际上,AVAudioFormat 就是对 Core Audio 的音频缓冲数据格式文件 AudioStreamBasicDescription, 做了一些封装。

audioAVEngine 做子节点关联的时候,可以用到

// 做一些配置,功能初始化
    func setupAudioEngine() {
        // 这个例子,是单音
        let format = audioAVEngine.inputNode.inputFormat(forBus: 0)
        // 添加功能
        audioAVEngine.attach(enginePlayer)
        
        audioAVEngine.attach(pitchEffect)
        audioAVEngine.attach(reverbEffect)
        audioAVEngine.attach(rateEffect)
        audioAVEngine.attach(volumeEffect)
        // 连接功能
        audioAVEngine.connect(enginePlayer, to: pitchEffect, format: format)
        audioAVEngine.connect(pitchEffect, to: reverbEffect, format: format)
        audioAVEngine.connect(reverbEffect, to: rateEffect, format: format)
        audioAVEngine.connect(rateEffect, to: volumeEffect, format: format)
        audioAVEngine.connect(volumeEffect, to: audioAVEngine.mainMixerNode, format: format)
        
        // 选择混响效果为大房间
        reverbEffect.loadFactoryPreset(AVAudioUnitReverbPreset.largeChamber)
        
        do {
            // 可以先开启引擎
            try audioAVEngine.start()
        } catch {
            print("Error starting AVAudioEngine.")
        }
    }

播放

func  play(){
        let fileURL = getURLforMemo()
        var playFlag = true
        
        do {
           //   先拿 URL 初始化 AVAudioFile
           //   AVAudioFile 加载音频数据,形成数据缓冲区,方便 AVAudioEngine 使用
            engineAudioFile = try AVAudioFile(forReading: fileURL)
             //  变声效果,先给一个音高的默认值
            //  看效果,来点尖利的
            pitchEffect.pitch = 2400
            reverbEffect.wetDryMix = UserSetting.shared.reverb
            rateEffect.rate = UserSetting.shared.rate
            volumeEffect.globalGain = UserSetting.shared.volume
        } catch {
            engineAudioFile = nil
            playFlag = false
            print("Error loading AVAudioFile.")
        }
        
         // AVAudioPlayer 主要是音量大小的检测,这里做了一些取巧
        //  就是为了制作上篇播客介绍的,企鹅张嘴的动画效果
        do {
            audioPlayer = try AVAudioPlayer(contentsOf: fileURL)
            audioPlayer.delegate = self
            if audioPlayer.duration > 0.0 {
                // 不靠他播放,要静音
                //  audioPlayer 不是用于播放音频的,所以他的音量设置为 0
                audioPlayer.volume = 0.0
                audioPlayer.isMeteringEnabled = true
                audioPlayer.prepareToPlay()
            } else {
                playFlag = false
            }
        } catch {
            audioPlayer = nil
            engineAudioFile = nil
            playFlag = false
            print("Error loading audioPlayer.")
        }
        // 两个播放器,要一起播放,前面做了一个 audioPlayer 可用的标记 
        if playFlag == true {
            //  enginePlayer,有声音
             //  真正用于播放的 enginePlayer
            enginePlayer.scheduleFile(engineAudioFile, at: nil, completionHandler: nil)
            enginePlayer.play()
            // audioPlayer,没声音,用于检测
            audioPlayer.play()
            setPlayButtonOn(flag: true)
            startUpdateLoop()
            audioStatus = .playing
        }
    }


上面的小技巧: AVAudioPlayerNode + AVAudioPlayer

同时播放 AVAudioPlayerNode (有声音), AVAudioPlayer (哑巴的,就为了取下数据与状态), 通过 AVAudioPlayerNode 添加变声等音效,通过做音量大小检测。

看起来有些累赘,苹果自然是不会推荐这样做的。

111

如果是录音,通过 NodeTapBlock 对音频输入流的信息,做实时分析。

播放也类似,处理音频信号,取出平均音量,就可以刷新 UI 了。

通过 AVAudioPlayer ,可以方便拿到当前播放时间,文件播放时长等信息,

通过 AVAudioPlayerDelegate,可以方便播放结束了,去刷新 UI

当然,使用 AVAudioPlayerNode ,这些都是可以做到的


结束播放

func stopPlayback() {
        setPlayButtonOn(flag: false)
        audioStatus = .stopped
        // 两个播放器,一起开始,一起结束
        audioPlayer.stop()
        enginePlayer.stop()
        stopUpdateLoop()
    } 

音效: 音高,混响,播放速度,音量大小

调节音高,用来变声, AVAudioUnitTimePitch

音效的 pitch 属性,取值范围从 -2400 音分到 2400 音分,包含 4 个八度音阶。 默认值为 0

一個八度音程可以分为12个半音。

每一个半音的音程相当于相邻钢琴键间的音程,等于100音分

    func setPitch(value: Float) {
        pitchEffect.pitch = value
    }
调节混响, AVAudioUnitReverb

wetDryMix 的取值范围是 0 ~ 100,

0 是全干,干声即无音乐的纯人声

100 是全湿润,空间感很强。

干声是原版,湿声是经过后期处理的。

   func toSetReverb(value: Float) {
        reverbEffect.wetDryMix = value
    }
调节音频播放速度, AVAudioUnitVarispeed

音频播放速度 rate 的取值范围是 0.25 ~ 4.0,

默认是 1.0,正常播放。

func toSetRate(value: Float) {
        rateEffect.rate = value
    }
调节音量大小, AVAudioUnitEQ

globalGain 的取值范围是 -96 ~ 24, 单位是分贝

func toSetVolumn(value: Float){
        volumeEffect.globalGain = value
    }

语音合成 TTS,输入文字,播放对应的语音

TTS,一般会用到 AVSpeechSynthesizer 和他的代理 AVSpeechSynthesizerDelegate AVSpeechSynthesizer 是 AVFoundation 框架下的一个类,它的功能就是输入文字,让你的应用,选择 iOS 平台支持的语言和方言,然后合成语音,播放出来。

111

iOS 平台,支持三种中文,就是三种口音,有中文简体 zh-CN,Ting-Ting 朗读;有 zh-HK,Sin-Ji 朗读;有 zh-TW,Mei-Jia 朗读。

可参考 How to get a list of ALL voices on iOS

AVSpeechSynthesizer 合成器相关知识

AVSpeechSynthesizer 需要拿材料 AVSpeechUtterance 去朗读。

语音文本单元 AVSpeechUtterance 封装了文字,还有对应的朗读效果参数。

朗读效果中,可以设置口音,本文 Demo 采用 zh-CN。还可以设置变声和语速 (发音速度)。

拿到 AVSpeechUtterance ,合成器 AVSpeechSynthesizer 就可以朗读了。如果 AVSpeechSynthesizer 正在朗读,AVSpeechUtterance 就会放在 AVSpeechSynthesizer 的朗读队列里面,按照先进先出的顺序等待朗读。

苹果框架的粒度都很细,语音合成器 AVSpeechSynthesizer,也有暂定、继续播放与结束播放功能。

停止了语音合成器 AVSpeechSynthesizer,如果他的朗读队列里面还有语音文本AVSpeechUtterance,剩下的都会直接移除。

AVSpeechSynthesizerDelegate 合成器代理相关

使用合成器代理,可以监听朗读时候的事件。例如:开始朗读,朗读结束

TTS: Text To Speech 三步走

先设置
// 来一个合成器
let synthesizer = AVSpeechSynthesizer()

// ...

// 设置合成器的代理,监听事件
synthesizer.delegate = self


朗读、暂停、继续朗读与停止朗读
// 朗读
func  play() {
    let words = UserSetting.shared.message
    // 拿文本,去实例化语音文本单元
    let utterance = AVSpeechUtterance(string: words)
    // 设置发音为简体中文 ( 中国大陆 )
    utterance.voice = AVSpeechSynthesisVoice(language: "zh-CN")
    // 设置朗读的语速
    utterance.rate = AVSpeechUtteranceMaximumSpeechRate * UserSetting.shared.rate
    // 设置音高
    utterance.pitchMultiplier = UserSetting.shared.pitch
    synthesizer.speak(utterance)
  }

// 暂停朗读,没有设置立即暂停,是按字暂停
func pausePlayback() {
        synthesizer.pauseSpeaking(at: AVSpeechBoundary.word)
    }

// 继续朗读
 func continuePlayback() {
        synthesizer.continueSpeaking()
    }

// 停止播放
func stopPlayback() {
    // 让合成器马上停止朗读
    synthesizer.stopSpeaking(at: AVSpeechBoundary.immediate)
    // 停止计时器更新状态,具体见文尾的 github repo
    stopUpdateLoop()
    setPlayButtonOn(false)
    audioStatus = .stopped
  }
设置合成器代理,监听状态改变的时机
// 开始朗读。朗读每一个语音文本单元的时候,都会来一下
func speechSynthesizer(_ synthesizer: AVSpeechSynthesizer, didStart utterance: AVSpeechUtterance) {
    setPlayButtonOn(true)
    startUpdateLoop()
    audioStatus = .playing
  }
  
// 结束朗读。每一个语音文本单元结束朗读的时候,都会来一下
    func speechSynthesizer(_ synthesizer: AVSpeechSynthesizer, didFinish utterance: AVSpeechUtterance) {
    stopUpdateLoop()
    setPlayButtonOn(false)
    audioStatus = .stopped
  }
  
// 语音文本单元里面,每一个字要朗读的时候,都会来一下
// 读书应用,朗读前,可以用这个高光正在读的词语
  func speechSynthesizer(_ synthesizer: AVSpeechSynthesizer, willSpeakRangeOfSpeechString characterRange: NSRange, utterance: AVSpeechUtterance) {
    let speakingString = utterance.speechString as NSString
    let word = speakingString.substring(with: characterRange)
    print(word)
  }
  
    // 暂定朗读
    func speechSynthesizer(_ synthesizer: AVSpeechSynthesizer, didPause utterance: AVSpeechUtterance) {
        stopUpdateLoop()
        setPlayButtonOn(false)
        audioStatus = .paused
    }
    
    // 继续朗读
    func speechSynthesizer(_ synthesizer: AVSpeechSynthesizer, didContinue utterance: AVSpeechUtterance) {
        setPlayButtonOn(true)
        startUpdateLoop()
        audioStatus = .playing
    }

代码:

github repo

分类:
iOS
标签:
分类:
iOS
标签:
收藏成功!
已添加到「」, 点击更改