FFmpeg使用AudioToolbox播放PCM

41.FFmpeg学习笔记 - iOS硬编码pcm到aac 前文12.FFmpeg学习笔记 - aac&adts解析讲过aac格式,本篇文章用iOS平台的AudioToolbox框架硬编码AAC。 1.编码aac,需要输入pcm数据,一般从麦克风获取,所以本文用AVCaptureSession从麦克风获取原始音频pcm数据。 - (void)startCapture { self.mCaptureSession = [[AVCapt... 阅读详情

跟YUV数据一样,PCM数据也是裸数据流,里面不包含存储格式、通道数、采样率等信息,我们只有知道这些信息,才能正常播放PCM数据,在AudioToolbox中使用AudioStreamBasicDescription结构体来描述这些参数。AudioStreamBasicDescription结构体定义如下:

struct AudioStreamBasicDescription
{
    Float64             mSampleRate;//采样率
    AudioFormatID       mFormatID;//数据格式
    AudioFormatFlags    mFormatFlags;//数据的存储方式
    UInt32              mBytesPerPacket;//每个packet中有几个字节
    UInt32              mFramesPerPacket;//每个packer中有几个frame
    UInt32              mBytesPerFrame;//每个frame中有几个字节
    UInt32              mChannelsPerFrame;//每个frame中有几个通道
    UInt32              mBitsPerChannel;//每个通道有多少位
    UInt32              mReserved;
};

我用到的PCM数据格式是s16le,通道数为2,采样率是44.1K。因此我构建的AudioStreamBasicDescription结构体如下:

int channels = 2;
AudioStreamBasicDescription audioStreamBasicDescription;
audioStreamBasicDescription.mSampleRate = 44100;
audioStreamBasicDescription.mFormatID = kAudioFormatLinearPCM;
audioStreamBasicDescription.mFormatFlags = kAudioFormatFlagIsSignedInteger | kAudioFormatFlagIsPacked;
audioStreamBasicDescription.mFramesPerPacket = 1;
audioStreamBasicDescription.mChannelsPerFrame = channels;
audioStreamBasicDescription.mBitsPerChannel = 16;
audioStreamBasicDescription.mBytesPerPacket = channels*2;
audioStreamBasicDescription.mBytesPerFrame = channels*2;

构建好这些音频参数后,我们就来使用AudioUnit一步一步来播放PCM数据。

1、初始化AudioUnit

- (void)setupAudioUnit {
    AudioComponentDescription audioDesc;
    audioDesc.componentType = kAudioUnitType_Output;
    audioDesc.componentSubType = kAudioUnitSubType_RemoteIO;
    audioDesc.componentManufacturer = kAudioUnitManufacturer_Apple;
    audioDesc.componentFlags = 0;
    audioDesc.componentFlagsMask = 0;
    
    AudioComponent inputComponent = AudioComponentFindNext(NULL, &audioDesc);
    AudioComponentInstanceNew(inputComponent, &_audioUnit);
}

2、设置AudioUnit属性

- (void)setupAudioUnitProperty:(AudioStreamBasicDescription)audioStreamBasicDescription {
    AudioUnitSetProperty(self.audioUnit, kAudioUnitProperty_StreamFormat, kAudioUnitScope_Input, 0, &audioStreamBasicDescription, sizeof(audioStreamBasicDescription));
    AURenderCallbackStruct callbackStruct;
    callbackStruct.inputProc = (AURenderCallback)AudioUnitPlayer_AURenderCallback;
    callbackStruct.inputProcRefCon = (__bridge void * _Nullable)(self);
    AudioUnitSetProperty(self.audioUnit, kAudioUnitProperty_SetRenderCallback, kAudioUnitScope_Global, 0, &callbackStruct, sizeof(callbackStruct));
}

这一步,我们把之前构建好的AudioStreamBasicDescription音频参数告诉AudioUnit,这样它就知道怎么去解析播放PCM数据了。我们还设置了一个回调方法AudioUnitPlayer_AURenderCallback,播放音频时,音频设备需要数据了,设备就是通过这个回调方法告诉我们,它没有PCM数据了,需要我们传输数据给它了。是一个被动的传输过程,而不是我们主动把数据喂给设备。

3、定义AudioUnitPlayer_AURenderCallback方法

static OSStatus AudioUnitPlayer_AURenderCallback(void *inRefCon,
                            AudioUnitRenderActionFlags *ioActionFlags,
                            const AudioTimeStamp *inTimeStamp,
                            UInt32 inBusNumber,
                            UInt32 inNumberFrames,
                            AudioBufferList *ioData)
{
    memset(ioData->mBuffers[0].mData, 0, ioData->mBuffers[0].mDataByteSize);
    AudioUnitPlayer *player = (__bridge AudioUnitPlayer *)inRefCon;
    NSData *data = [player.fileHandle readDataOfLength:ioData->mBuffers[0].mDataByteSize];
    if (data.length<ioData->mBuffers[0].mDataByteSize) {
        if (@available(iOS 13.0, *)) {
            [player.fileHandle seekToOffset:0 error:nil];
        } else {
            [player.fileHandle seekToFileOffset:0];
        }
        [player stopPlayer];
        return noErr;
    }
    memcpy(ioData->mBuffers[0].mData, data.bytes, data.length);
    return noErr;
}

可以看到,我们就是通过这个方法把PCM数据传输给音频设备的。

【学习地址】:FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发

【文章福利】:免费领取更多音视频学习资料包、大厂面试题、技术视频和学习路线图,资料包括(C/C++,Linux,FFmpeg webRTC rtmp hls rtsp ffplay srs 等等)有需要的可以点击1079654574加群领取哦~

4、开始播放或暂停

- (void)startPlayer {
    AudioOutputUnitStart(self.audioUnit);
}
​
- (void)stopPlayer {
    AudioOutputUnitStop(self.audioUnit);
}
完整代码如下: .h文件

#import <Foundation/Foundation.h>
#import <AudioToolbox/AudioToolbox.h>
​
NS_ASSUME_NONNULL_BEGIN
​
@interface AudioUnitPlayer : NSObject
​
+ (instancetype)player:(AudioStreamBasicDescription)audioDesc pcmPath:(NSString *)pcmPath;
- (void)startPlayer;
- (void)stopPlayer;
​
@end
​
NS_ASSUME_NONNULL_END
.m文件

#import "AudioUnitPlayer.h"
​
@interface AudioUnitPlayer ()
​
@property (nonatomic, assign) AudioUnit audioUnit;
@property (nonatomic, strong) NSFileHandle *fileHandle;
​
@end
​
@implementation AudioUnitPlayer
​
+ (instancetype)player:(AudioStreamBasicDescription)audioStreamBasicDescription pcmPath:(NSString *)pcmPath
{
    AudioUnitPlayer *obj = [[AudioUnitPlayer alloc] init:audioStreamBasicDescription pcmPath:pcmPath];
    return obj;
}
​
- (instancetype)init:(AudioStreamBasicDescription)audioStreamBasicDescription pcmPath:(NSString *)pcmPath
{
    self = [super init];
    if (self) {
        [self setupAudioUnit];
        [self setupAudioUnitProperty:audioStreamBasicDescription];
        self.fileHandle = [NSFileHandle fileHandleForReadingAtPath:pcmPath];
​
    }
    return self;
}
​
- (void)setupAudioUnit {
    AudioComponentDescription audioDesc;
    audioDesc.componentType = kAudioUnitType_Output;
    audioDesc.componentSubType = kAudioUnitSubType_RemoteIO;
    audioDesc.componentManufacturer = kAudioUnitManufacturer_Apple;
    audioDesc.componentFlags = 0;
    audioDesc.componentFlagsMask = 0;
    
    AudioComponent inputComponent = AudioComponentFindNext(NULL, &audioDesc);
    AudioComponentInstanceNew(inputComponent, &_audioUnit);
}
​
- (void)setupAudioUnitProperty:(AudioStreamBasicDescription)audioStreamBasicDescription {
    
    AudioUnitSetProperty(self.audioUnit, kAudioUnitProperty_StreamFormat, kAudioUnitScope_Input, 0, &audioStreamBasicDescription, sizeof(audioStreamBasicDescription));
    
    AURenderCallbackStruct callbackStruct;
    callbackStruct.inputProc = (AURenderCallback)AudioUnitPlayer_AURenderCallback;
    callbackStruct.inputProcRefCon = (__bridge void * _Nullable)(self);
    AudioUnitSetProperty(self.audioUnit, kAudioUnitProperty_SetRenderCallback, kAudioUnitScope_Global, 0, &callbackStruct, sizeof(callbackStruct));
​
}
​
static OSStatus AudioUnitPlayer_AURenderCallback(void *inRefCon,
                            AudioUnitRenderActionFlags *ioActionFlags,
                            const AudioTimeStamp *inTimeStamp,
                            UInt32 inBusNumber,
                            UInt32 inNumberFrames,
                            AudioBufferList *ioData)
{
    memset(ioData->mBuffers[0].mData, 0, ioData->mBuffers[0].mDataByteSize);
    AudioUnitPlayer *player = (__bridge AudioUnitPlayer *)inRefCon;
    NSData *data = [player.fileHandle readDataOfLength:ioData->mBuffers[0].mDataByteSize];
    if (data.length<ioData->mBuffers[0].mDataByteSize) {
        if (@available(iOS 13.0, *)) {
            [player.fileHandle seekToOffset:0 error:nil];
        } else {
            [player.fileHandle seekToFileOffset:0];
        }
        [player stopPlayer];
        return noErr;
    }
    memcpy(ioData->mBuffers[0].mData, data.bytes, data.length);
    return noErr;
}
​
- (void)startPlayer {
    AudioOutputUnitStart(self.audioUnit);
}
​
- (void)stopPlayer {
    AudioOutputUnitStop(self.audioUnit);
}
​
@end

原文链接:【FFmpeg】使用AudioToolbox播放PCM - 简书

多层环境室内定位系统综述总结 本文是一篇发表于2025年《IEEE Access》期刊的综述论文,由埃及开罗美国大学与卡塔尔卡内基梅隆大学团队合作完成,聚焦多层环境室内定位系统的核心挑战、技术方案及未来方向,填补了该领域缺乏全面综述的空白。 阅读详情

相关推荐

CST实战:5分钟搞定圆极化天线轴比分析(含远场设置技巧)

本文提供了一份CST Studio Suite圆极化天线轴比分析的实战指南。文章详细讲解了轴比的概念与工程标准,并重点演示了如何正确设置远场监视器以获取Axial Ratio数据,包括关键步骤与后处理技巧。最后,通过植入式天线在生物组织环境中的案例,分析了复杂环境对轴比性能的影响及优化思路。

nokia的博客 1001

Audio Toolbox 框架简介

Audio Toolbox 框架简介

ProgramNovice的博客 1074

金融风控实战:用Python从零搭建贷款违约预测模型(附完整数据集)

本文详细介绍了如何使用Python从零构建金融风控中的贷款违约预测模型,涵盖数据清洗、特征工程、模型构建与评估等全流程。通过实战案例展示逻辑回归、XGBoost和LightGBM三大算法的对比,特别强调AUC-ROC指标在金融风控中的重要性,并附完整数据集和代码实现。

weixin_29175469的博客 266

Apple AudioToolbox 之 音频编解码(AudioConverterRef)

今天记录是的是 使用AudioToolbox框架 使用AudioConverterRef工具进行本地音频文件的编码和解码。

goldWave的博客 1239

噪声整形与过采样实战:从N-bit ADC到DSM的SQNR优化指南

本文深入探讨了噪声整形与过采样技术在DSM(Delta-Sigma调制器)中的应用,重点分析了量化器位数(N)、滤波器阶数(L)和过采样率(OSR)对SQNR优化的影响。通过实战案例和参数协同优化策略,帮助工程师在音频处理和通信系统设计中实现更优的信号质量。

weixin_42561040的博客 340

西电微原课设——矩阵式键盘数字密码锁设计

内容要求:根据设定好的密码,采用4x4矩阵键盘实现密码的输入功能。当密码输入正确之后,锁就打开(绿灯亮),10秒之后,锁自动关闭(红灯亮);如果连续输入三次密码不正确,就锁定按键5秒钟,同时发出报警(黄灯闪),5秒后,解除按键锁定,恢复密码输入。...

Polaris的博客 1万+

Audio Toolbox

audio toolbox

beidideshu的博客 1450

Amesim应用篇-电芯等效电路模型标定

为了使计算模型更加准确,在有电芯实验测试数据的情况下,依据现有的实验数据对Amesim中的电池等效电路模型进行标定。标定的目的是为了获得更加符合项目实际情况的电芯等效电路模型,标定完的电芯可以用于搭建PACK模型,也可以用于其他虚拟实验。本文以充电标定为例,进行介绍。放电标定与充电一致。

2201_75375391的博客 1217

FFmpeg中configure的参数配置解释

这些选项允许你根据项目要求进行定制,减少生成的库和二进制文件的大小或限制特定功能的使用。你可以使用这些参数来启用或禁用特定的编码器、解码器、复用器、解复用器、解析器、比特流过滤器、协议、输入设备、输出设备和滤镜等。通过设置这些选项,你可以根据需求定制FFmpeg的构建和功能,只包括你所需的组件和功能。例如,你可以选择是否启用GPL代码、构建静态库还是共享库、构建特定的程序,以及是否构建文档等。通过使用这些参数,可以使FFmpeg链接到相应的外部库,从而启用与这些库相关的组件和功能。

Mr_Tony的专栏 6091

《MySQL 入门教程》第 03 篇 管理数据库

本篇主要介绍 MySQL 数据库的创建、查看、选择和删除操作,包括使用 mysql 命令行和 MySQL Workbench 图形工具两种方式。

Tony.Dong的专栏 3526

全面解析量化价值投资多因子模型的原理

明明知道“买便宜的好公司”是价值投资的核心,但面对3000+只A股,如何快速筛选出“便宜又好”的标的?主观判断总被情绪干扰——明明PE很低的股票,买了却不涨;或者因为“感觉”错过牛股?想规模化投资,但手动分析100只股票就要花一周,根本无法覆盖全市场?量化价值投资的多因子模型,正是解决这些问题的钥匙。它将价值投资的核心逻辑(“便宜”“好公司”)转化为可量化的因子,用数学模型替代主观判断,实现系统化筛选、可回测验证、规模化复制的投资决策。为什么多因子模型能有效预测股票收益?

AI天才研究院 1062

iOS 音频学习边录音边转码AVCaptureSession

这种方法用来录音相对比较少, 主要是用来录视频的多一些, 不过也是一种方法, 所以就说一下,主要的难点也是在AudioBooxTool这个框架, 用起来不是很熟。 1.录制声音 利用AVCaptureSession来录音, 这部分是属于AVFounation的内容, 相对比较基础, 所以直接看代码就好 //建立会话者 AVCaptureSession *captureSession = [[AVCaptureSession alloc] init]; self.captu

gcs的博客 1256

NL2SQL进阶系列(3):Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解[Text2SQL]

NL2SQL进阶系列(3):Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解[Text2SQL]

丨汀、的博客 5425

iphone利用AudioQueue播放wav(PCM码)

1、ffmpeg解码音频流并且保存成wav文件。  这一步比较简单,只要熟悉ffmpeg解码音频的流程,将解码出的pcm码,保存到本地文件中,并实时统计解码的pcm的字节长度,最后解码完成之后再添加44字节的wav文件头。 save_audio.c Code example 1 2 3 4 5 6 7 8 9

nogodoss的专栏 1626

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

从 pcm 播放器,继续学习 AudioToolBox 的 services 与非压缩格式

一般的播放套路,3 步走 先读数据,文件还原采样数据 对于音频资源文件,使用 Audio File Services, 和 Audio File Stream Services 采样数据,集中为音频缓冲 通过 Audio Converter Services, AudioConverterFillComplexBuffer, 这个方法比较全面, 非压缩数据可以转 pcm buffer, 压缩数据也可以转 pcm buffer, 把 pcm buffer 交给 AVAudioPlayerNode ,就可以播放

dengjiangszhan的博客 1248

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

FFmpeg Kit平台特定功能:AudioToolbox应用

在移动应用和桌面应用的音频处理领域,开发者经常面临一个核心挑战:如何在保持高性能的同时,实现跨平台的音频编码、解码和处理功能?FFmpeg Kit通过集成Apple平台的AudioToolbox框架,为iOS、macOS和tvOS开发者提供了完美的解决方案。 AudioToolbox是Apple生态系统中的核心音频框架,提供了高效的音频编解码、格式转换和音频处理能力。FFmpeg Kit通过深度...

gitblog_01018的博客 1139

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

iOS 音视频高级编程:Audio Unit播放FFmpeg解码的音频

文档描述了iOS播放经FFmpeg解码的音频数据的编程步骤,具体基于Audio Toolbox框架的Audio Session和Audio Unit框架提供的接口实现。在iOS 7及以上平台Audio Session已标识为废弃,改用AVAudioSession实现即可,编程逻辑基本保持一致。同时,尝试不解码的情况下,直接播放AAC流,这是个人理解的『硬解』AAC。 所有测试数据均来自iPhon

chmel_foxmail的博客 1439

iOS 音视频开发:Audio Unit播放FFmpeg解码的音频

本文档描述了iOS播放经FFmpeg解码的音频数据的编程步骤,具体基于Audio Toolbox框架的Audio Session和Audio Unit框架提供的接口实现。在iOS 7及以上平台Audio Session已标识为废弃,改用AVAudioSession实现即可,编程逻辑基本保持一致。同时,尝试不解码的情况下,直接播放AAC流,这是个人理解的『硬解』AAC。 所有测试数据均来自iPho

l_215851356的专栏 1354

iOS音频编解码基础:PCM、WAV、MP3、AAC、FLAC 格式差异与移动端适配

iOS音频开发中,格式选择直接影响功能体验。本文对比分析了PCM、WAV、MP3、AAC和FLAC五大常用格式的特性与iOS适配要点。

linwenglong7155的博客 856

iOS开发系列--音频播放、录音、视频播放、拍照、视频录制

前面用了大量的篇幅介绍了iOS中的音、视频播放和录制,有些地方用到了封装好的播放器、录音机直接使用,有些是直接调用系统服务自己组织封装,正如本篇开头所言,iOS对于多媒体支持相当灵活和完善,那么开放过程中如何选择呢,下面就以一个表格简单对比一下各个开发技术的优缺点。提示:从本文及以后的文章中可能慢慢使用storyboard或xib,原因如下:1.苹果官方目前主推storyboard;

irainsa的博客 812

IOS播放音频

转自:https://blog.csdn.net/samuelandkevin/article/details/88946046 iOS音频播放 豆瓣开源播放器代码DOUAudioStreamer starRTC,免费IM(含单聊,群聊,聊天室),免费一对一视频聊天(回音消除),语音聊天,直播连麦,白板,小班课,多人会议,局域网无服务器直连,兼容webRTC, 支持webRTC加速,P2P...

lipeiran1987的专栏 537

Unity集成科大讯飞离线TTS:PCM流直转AudioClip实现毫秒级语音播报

语音合成(TTS)技术将文本转换为自然语音,其核心原理涉及文本分析、声学模型与波形生成。在游戏开发与嵌入式应用中,离线TTS因其低延迟、高稳定性成为关键技术,尤其适用于网络受限或实时交互场景。Unity作为主流开发引擎,其音频系统基于AudioClip对象管理采样数据,而多数离线TTS SDK(如科大讯飞)输出原始PCM音频流。通过将PCM数据直接转换为AudioClip,开发者可绕过文件IO与第三方解码库,实现内存级零延迟播放。这种方案不仅解决了实时流式播放的挑战,还避免了项目复杂度与跨平台兼容性问题,是

diaoju3333的博客 485

音频播放

iOS中音频播放的一般格式: ACC ALAC IMA4 MP3 caf linear音效播放:是播放一些短音频 长做点缀音频使用 AudioToolbox.framework音乐播放:是播放一些较长的音频,对于这些音频的播放 通常需要进行精确的控制 使用 AVFoundation.framework音效AudioToolbox.framework是一套基于C语言的框架 使用它来播放音效其

ldl_csdn_ios的博客 401

AudioUnit录制和播放m4a/CAF/WAV(五)

前言 直有时候我们采集音频后希望将它通过网络传输给另一端播放,比如直播时,主播录制的声音通过网络传输给观众再播放,那肯定要先将裸音频数据先压缩了在传输,比如我们可以用aac编码方式压缩,可以用MP3编码方式压缩,他们都可以在保证音质效果的前提下极大的压缩音频数据,至于aac和MP3算法的区别和原理这里就不讨论了。其实能进行aac和mp3压缩的方式有很多,比如可以用FFMpeeg库,也可以用苹果自带的AudioToolbox框架,这里将讨论如何用AudioUnit实现aac压缩音频数据并保存到M4A封装格式

翻肚鱼儿的博客 1415

iOS-音视频小结

iOS音频播放 豆瓣开源播放器代码DOUAudioStreamer starRTC,免费IM(含单聊,群聊,聊天室),免费一对一视频聊天(回音消除),语音聊天,直播连麦,白板,小班课,多人会议,局域网无服务器直连,兼容webRTC, 支持webRTC加速,P2P高清传输,安卓、iOS、web互通,支持门禁可视对讲,电视盒子,树莓派,海思,全志,OTT设备,C语言自研方案 AudioUnit框架详细...

samuelandkevin的专栏 1万+
上一篇: 【FFmpeg】PCM编码成AAC
下一篇: Metal 一、初识 Metal 及其语言规范
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值