在audio DSP中如何做软件固化

audio,dsp · 浏览次数 : 48

小编点评

在音频DSP中,软件的code和data主要分为三种不同的memory:片内ITCM、DTCM和片外的DDR。根据不同的特性和用途,我们需要合理规划将这些代码和数据放置在何种memory上。 1. ITCM(Instruction Memory Cache): 仅用于存放code,以便快速访问。由于ITCM空间有限,所以只存放经过验证的、不会更改的代码。 2. DTCM(Data Memory Cache): 仅用于存放data,以便快速访问。DTCM的空间也有限,但可以存放数据和code。 3. 外部DDR(Dynamic Random Access Memory): 既可以存放code,也可以存放data。在成本和空间之间需要权衡。 将成熟且不会再改的代码放入ROM中,例如MP3解码算法的代码,可以提高音频系统的稳定性和降低开发成本。 在ROM中的code和data需要通过ASIC工程师将二进制文件放入ROM中。在开发ROM文件时,需要在设计阶段就考虑到ROM的位置和大小,以便于调试。 有时,ROM中的函数需要调用其他函数,如libc库函数。为了避免地址变化导致的问题,需要将这些函数放入ROM中。 在确定ROM的起始地址后,需要修改生成adsp.bin文件的应用程序代码,将ROM部分生成为单独的二进制文件。 最后,需要将生成的二进制文件转换为ASIC所需的格式,并通过ASIC将数据放入ROM中,生成bitfile进行验证。 总之,将音频DSP软件模块固化分为六个步骤,包括确定放入ROM的code和data、独立ROM区域的寻找、ROM中的函数地址调整、ROM起始地址的确定、二进制文件的转换和ASIC验证。遵循这些步骤,可以实现软件模块的固化,提高音频系统的性能和降低成本。

正文

 在audio DSP中, 软件的code和data主要放在3种不同的memory上,分别是片内的ITCM、DTCM和片外的memory(比如DDR)上。ITCM只能放code,DTCM只能放data,片外的memory既能放code也能放data。在写代码时要规划好哪些放片内,哪些放片外。上面说的这三种memory都属于RAM(random access memory, 随机访问存储器),可读可写。与之相对应的是ROM(read only memory,只读存储器),只能读。ROM相对RAM的优点之一是相同存储容量的情况下ROM的面积要比RAM小很多,在芯片上面积小就意味着成本低。为了降成本,有必要将部分audio的code放在ROM里,通常称为将软件固化。哪些code可以放进ROM呢?从ROM的只读特性知道放进ROM的code就不能改动了,因此放进ROM的code是经过充分验证的不会再改的代码,在音频领域主要是一些非常成熟的算法的代码,比如MP3解码算法的代码就适合放进ROM里。本文就以把MP3解码算法的代码放进ROM为例来讲讲是怎么一步步做的。

 

1,确定好哪些放进ROM里,即把哪些做固化。通常是一些非常成熟且不会再改的代码,多数是成熟算法的代码。确定前先要跟ASIC定好ROM的大小,比如128K或者256K。还要算好要放软件模块的code size和data size。要放进ROM的模块最好能把ROM塞满,充分利用ROM。本文就是把MP3解码算法的代码放进ROM里。

 

2,ROM在memory里是独立的一块。在芯片tape out 前软件工程师把用于ROM的二进制文件给ASIC工程师,ASIC工程师再将ROM文件里面的二进制数据放进ROM里。 开发ROM文件时,芯片还处于设计阶段,没法直接拿来用,只能在要设计芯片的相似芯片上去开发,用RAM中的一块独立的区域来模拟ROM。通常在片外memory上找一块独立的区域,因为内部memory的空间相对较小,不适合做。我在固化MP3解码code时就在DDR上找了一块独立的区域来放MP3解码算法的code和data。 即以前MP3解码的code和其他的code是放在一起的,以前MP3解码的data和其他的data是放在一起的,现在要把它们拿出来放在一个独立的区域。放在独立区域后开始调试,要确保MP3播放功能正常。调试时主要是修改LD(link descriptor)文件,改后用新生成的adsp.bin文件去播放MP3,正常播放就说明改对了。

 

3,ROM里的函数有可能调用其他函数,如libc里的库函数memset等。这些函数如果不放在ROM里,而是放在其他地方,它们的地址随着软件的开发就有可能发生变化(放进RAM的函数的地址是动态变化的)。而ROM里这些函数的地址还是先前做ROM时的地址,这些地址已经对应不上那些函数了,就不会得到正确的执行。因此要把这些函数排查出来,并放进ROM里。怎么排查呢?方法是在LD文件里定义一个rom_check_shift的变量,放在RAM上的code/data section的头部,好让code/data的地址产生偏移。刚开始设rom_check_shift为零,会生成ROM上code的一个反汇编文件。 然后不断增大rom_check_shift的值(比如从0到16、32、64、128等),同样会生成ROM上code的一个反汇编文件,将其与rom_check_shift为0时的反汇编文件进行比较,要确保代码的完全一样。如果不一样,看比较后不一样的地方,把找到的函数放进ROM里,直至完全一样。修改后也要确保播放MP3音乐功能完全正常。下图是比较反汇编文件时一处不一样的地方。

 

 

从上图看出,库函数memcpy()原先是放在RAM上的,由于rom_check_shift的改变,函数memcpy()的地址就不一样了。ROM里的函数调用函数memcpy()时,函数地址还是做ROM时的,可是后面随着软件的开发,memcpy()在RAM上的地址变了。ROM里的函数再去访问memcpy()原先的地址已经不能正确调用memcpy()了。因此要把memcpy()放进ROM里,确保它的地址永远不变。

 

4,ASIC的同学会告诉ROM的起始地址。先前是把要放在ROM上的先放在RAM里方便调试。现在调试OK了,就要把这部分放到ROM上去了。由于这部分放在ROM里就不能再包含在adsp.bin里,因此要修改生成adsp.bin的应用程序的代码,把放到ROM的部分生成单独的二进制文件,而不是放到adsp.bin里,这样adsp.bin就变小了。

 

5,得到用于ROM的二进制文件后,需要做格式转换,转成ASIC需要的格式。下图列出了软件生成的二进制格式以及ASIC需要的格式。

从上图看出,ASIC需要的格式是一行放8个字节,同时放在ROM里的数据是小端放的。知道怎么转换后,写个小应用程序,把我们生成的二进制文件转成ASIC需要的文件格式。

 

6,ASIC拿到需要的文件后,将数据放进ROM里,生成bitfile,让我们在FPGA上做验证,确保正确无误,如果有错误,这块ROM就废掉了。在FPGA上验证的通常是跟硬件相关的,如IPC通信等。要验证MP3解码功能不太方便,因此验证就变成了做数据内容的check,即ROM地址上的数据跟我们做ROM时生成的反汇编相同地址上的数据完全一致。做完FPGA验证后,ASIC就可以放心的把要做ROM的二进制数据放进ROM里了。

 

上面六步就是把软件模块固化的过程。

与在audio DSP中如何做软件固化相似的内容:

在audio DSP中如何做软件固化

在audio DSP中, 软件的code和data主要放在3种不同的memory上,分别是片内的ITCM、DTCM和片外的memory(比如DDR)上。ITCM只能放code,DTCM只能放data,片外的memory既能放code也能放data。在写代码时要规划好哪些放片内,哪些放片外。上面说的这

使用 MediaStream Recording API 和 Web Audio API 在浏览器中处理音频(未完待续)

# 使用 MediaStream Recording API 和 Web Audio API 在浏览器中处理音频 ## 1. 背景 最近项目上有个需求,需要实现:录音、回放录音、实现音频可视化效果、上传wav格式的录音等功能。于是乎,我就顺便调研了下如何在浏览器中处理音频,发现 HTML5 中有专门

Web Audio API 第6章 高级主题

高级主题 这一章涵盖了非常重要的主题,但比本书的其他部分稍微复杂一些。 我们会深入对声音添加音效,完全不通过任何音频缓冲来计算合成音效, 模拟不同声音环境的效果,还有关于空 3D 空间音频。 重要理论:双二阶滤波器 一个滤波可以增强或减弱声音频谱的某些部分。 直观地,在频域上它可以被表示为一个图表被

AI赋能音乐创作,人人都是音视频创作者

华为HMS Core音频编辑服务(Audio Editor Kit)依托自身AI技术的研发优势,上线全新的歌声合成音色及伴奏,给音视频创作者提供更多的创作可能。在短视频场景中,用户自定义歌词的歌声结合视频让用户感受到身临其境,自由表达自己的情绪;在虚拟偶像场景中,歌声合成功能赋予虚拟歌手们演唱风格各

音频编辑服务UI SDK接入指导及常见问题

华为 HMS Core 音频编辑服务(Audio Editor Kit)是华为帮助全球开发者快速构建各类应用音频能力的服务,汇聚了华为在音乐、语音等相关音频领域的先进技术。音频编辑服务为开发者们提供音频基础编辑、AI配音、音源分离、空间渲染、变声、多种音效等丰富的音频处理能力,以及性能优异、简单易用

基于webapi的websocket聊天室(番外一)

上一篇我已经实现了聊天室,并且在协议中实现了4种类型的消息传输。其实还可以添加video,audio,live等等类型。 不过假如把目前的协议看作RCP1.0版的话,这个版本就只支持有限的4种消息。精力有限啊。也许RCP2.0就可以把video,audio类型加进去? 这不是这篇番外考虑的。而是我在

[转帖]linux日志 audit

https://www.jianshu.com/p/3e8a1d5d5cb9 我们知道在Linux系统中有大量的日志文件可以用于查看应用程序的各种信息,但是对于用户的操作行为(如某用户修改删除了某文件)却无法通过这些日志文件来查看,如果我们想实现监管企业员工的操作行为就需要开启审计功能,也就是aud

4A 安全之授权:编程的门禁,你能解开吗?

概述 在安全管理系统里面,授权(Authorization)的概念常常是和认证(Authentication)、账号(Account)和审计(Audit)一起出现的,并称之为 4A。就像上一文章提到的,对于安全模块的实现,最好都遵循行业标准和最佳实践,授权也不例外。 作为安全系统的一部分,授权的职责

Linux报错:audit: backlog limit exceeded(审计:超出积压限制)

Linux报错:audit: backlog limit exceeded(审计:超出积压限制) 系统版本:CentOS Linux release 7.6.1810 (Core) 问题现象:一次巡检中发现业务系统打不开,对应的Linux服务器ssh连接不上,但是能ping通,于是在VMware v

reposync与createrepo创建离线yum源的方法

背景 昨天晚上进行了在线升级银河麒麟V10SP2的audit和mate-indicator的rpm包 今天想了下,如果机器无法上网. 必须得在公司内部搭建一套离线的rpm源进行处理 想了下还是使用reposync以及createrepo+nginx发布比较好一些. 昨天晚上写完之后就可以使用repo