移植webrtc的3a模块至MTK HAL层进行3A的处理

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档


前言


一、思路

创建一个3A服务做输入输出,输入未经处理的音频数据,输出经3A处理的数据。
服务的输入接口在MTK AudioHAL中,处理完数据的输出接口也在MTK 的AudioHAL中。
将录音与播音的音频数据看成两条水管,播音是往外流,录音是往里流。
3A算法服务就是两根水管外的一个混水器,需要对这两根水管进行操作,仅做ns和agc是不需要对播音的那条水管进行导流的,但是如果需要做aec,需要获取播放声音作为参考数据,降低本机自身播放导致的回声。
综上所述,3A服务需要从Audio Capture和Playback里获取音频数据,其中Capture做NS和AGC,Playback做AEC。经3A处理后,返回的数据,走Capture回到上层应用中即可。

二、步骤

1.3a算法处理流程图(数据流的走向)
2.先从网上下载Webrtc 3A port的c/c++源码
3.将上述获取的源码放入Android原生代码中编译成库
4.创建3A算法处理服务
5.找到audio hal中上行流与下行流的文件
6.从4中获取到对应的流数据,传入3中的3A算法处理服务,返回处理完的数据
7.回声消除效果图
8.一些不足与思考

1.程序流程图

2.从网上下载Webrtc 3A port的c/c++源码

这部分内容可以上网搜,相关的api可以看具体的demo

3.将上述获取的源码放入Android原生代码中编译成库

算法模块的编译,将降噪/回声消除/自动增益控制这三个算法单独编译成独立的库,下面以回声消除模块来操作一次,其他库的编译类似,具体操作如下:
1.在vendor/mediatek/proprietary/hardware下创建libwebrtc_aecm文件夹
2.在libwebrtc_aecm文件夹下,创建include文件夹和Android.bp文件
3.将模块中头文件放入include,编写Android.bp文件
根据上述3步,系统整编时即可生成对应的算法模块库。
具体的文件放在lib文件夹下。

4.创建3A算法处理服务

4.1创建一个hidl服务及对应hal接口

1.创建一个hidl服务,该服务创建了3a算法的实现,该实现主要有两个输入的接口,分别是sendCaptureData和sendPlaybackData,还实现了一个输出回调onDataReceived
2.其次,该实现创建了3a算法的主要操作句柄,分别是回声消除aecm/降噪ns/人声检测vad步骤1,创建hidl接口相关的服务,可以参考如下博客:https://blog.csdn.***/jamecer/article/details/123652457?spm=1001.2014.3001.5502步骤2,可以参考模块中的main文件,这个文件是3a算法模块的demo

4.2还有一些对在传入3A处理前,需要对音频数据进行处理

因为每个声卡自身的硬件参数不一样,所以,在数据的格式是不同的,而3A的算法也是与其不一样的,在传入数据前需要做到数据的格式是匹配的。
双通道变单通道、降采样和数据的分割与拼接,具体怎么实现就不说明了,网上有很多

5.Android audio hal层需要处理的类及其其中的方法

1.Android.mk 添加3a服务的hidl接口库
2.获取3a服务接口,并在上行数据流处设置数据处理后回调
3.找到上行数据流与下行数据流的地方
4.通过3a服务接口发送上行数据流与下行数据流到服务中处理
5.回调得到处理后的数据,将该数据替换掉之前传输的上行数据流

5.1添加3a服务的hidl接口库

在之前的服务编译中,我们可以找到3a服务的hidl接口静态库名"vendor.mediatek.hardware.testofhidl@1.0"
注意:是hidl接口库的名字,不是服务的名字
在audio中的Android.mk文件下,做如下添加即可:
LOCAL_SHARED_LIBRARIES += vendor.mediatek.hardware.testofhidl@1.0

具体修改可以参考文件中的patch文件关于vendor/mediatek/proprietary/hardware/audio/mt8168/Android.mk的修改

5.2需要找到的上行数据流与下行数据流的入口

1.AudioALSAStreamIn.cpp中的read方法
其中,主要的关注点在语句mCaptureHandler->read(buffer, bytes);
mCaptureHandler表示各类型设备(平台声卡等音频输入设备),buffer是读到的上行数据地址,bytes是数据长度(以byte计算)
2.AudioALSAStreamOut.cpp中的write方法
其中,主要的关注点在语句mPlaybackHandler->write(buffer, bytes);
mPlaybackHandler表示各类型设备(平台声卡等音频输出设备),buffer是写入的下行数据地址,bytes是数据长度(以byte计算)
具体的修改,这里直接贴patch

diff --git a/vendor/mediatek/proprietary/hardware/audio/***mon/V3/aud_drv/AudioALSAStreamIn.cpp b/vendor/mediatek/proprietary/hardware/audio/***mon/V3/aud_drv/AudioALSAStreamIn.cpp
index f2b0074d8b7..8f61004be76 100644
--- a/vendor/mediatek/proprietary/hardware/audio/***mon/V3/aud_drv/AudioALSAStreamIn.cpp
+++ b/vendor/mediatek/proprietary/hardware/audio/***mon/V3/aud_drv/AudioALSAStreamIn.cpp
@@ -20,6 +20,10 @@
 #include "AudioALSAGainController.h"
 #include "AudioALSADriverUtility.h"
 
+//webrtc
+#include <vendor/mediatek/hardware/testofhidl/1.0/ITestOfHidl.h>
+#include <vendor/mediatek/hardware/testofhidl/1.0/IDataCallback.h>
+
 #ifdef MTK_LATENCY_DETECT_PULSE
 #include "AudioDetectPulse.h"
 #endif
@@ -57,6 +61,32 @@ extern "C" {
 
 namespace android {
 
+//emdoor test server
+int16_t input_aec[320];
+static FILE *pOutFile_ed = NULL;
+static FILE *pOutFile_input = NULL;
+sp<vendor::mediatek::hardware::testofhidl::V1_0::IDataCallback> callback = nullptr;
+android::sp<vendor::mediatek::hardware::testofhidl::V1_0::ITestOfHidl> test_server = nullptr;
+bool mFirst = true;
+
+class AudioDataCallback: public vendor::mediatek::hardware::testofhidl::V1_0::IDataCallback {
+public:
+    AudioALSAStreamIn *audioALSAStreamIn;
+    AudioDataCallback(AudioALSAStreamIn *mAudioALSAStreamIn) { audioALSAStreamIn = mAudioALSAStreamIn; }
+
+    ~AudioDataCallback() {}
+
+    hardware::Return<void> onDataReceived(const hardware::hidl_array<int16_t, 320>& data) {
+        ALOGD("onDataReceived: data = %p", &data);
+        memcpy(input_aec, &data, 640);
+        // if (pOutFile_ed != NULL)
+        // {
+        //     fwrite(input_aec, sizeof(int16_t), 320, pOutFile_ed);
+        // }
+        return hardware::Void();
+    }
+};
+
 int AudioALSAStreamIn::mDumpFileNum = 0;
 
 // TODO(Harvey): Query this
@@ -161,6 +191,26 @@ AudioALSAStreamIn::AudioALSAStreamIn() :
     mDumpFile = NULL;
     mBytesWavDumpWritten = 0;
 
+    //emdoor test server
+    test_server = vendor::mediatek::hardware::testofhidl::V1_0::ITestOfHidl::getService();
+    if(test_server != nullptr){
+        ALOGD("test_server exist!!!");
+        callback = new android::AudioDataCallback(this);
+        test_server->setDataCallback(callback);
+    } else {
+        ALOGD("test_server is nullptr, testofhidl server is not exist !!!");
+    }  
+    
+    pOutFile_ed = fopen("/data/vendor/audiohal/RecRaw_ed.pcm", "wb");
+    if (pOutFile_ed == NULL)
+    {
+        ALOGD("%s(), fopen fail", __FUNCTION__);
+    }
+    pOutFile_input = fopen("/data/vendor/audiohal/RecRaw_input.pcm", "wb");
+    if (pOutFile_input == NULL)
+    {
+        ALOGD("%s(), fopen fail", __FUNCTION__);
+    }
 }
 
 
@@ -636,7 +686,22 @@ ssize_t AudioALSAStreamIn::read(void *buffer, ssize_t bytes) {
 #endif
             {
                 ret_size = mCaptureHandler->read(buffer, bytes);
-
+                
+                //webrtc
+                int16_t *input = (int16_t *) buffer;
+
+                //传输上行数据到3a服务处理
+                if (test_server != nullptr) {
+                    // if (pOutFile_input != NULL)
+                    // {
+                    //     fwrite(input, sizeof(int16_t), 320, pOutFile_input);
+                    // }
+                    test_server->sendCaptureData(input);
+                } else {
+                    ALOGD("test_server is nullptr, testofhidl server is not exist !!!");
+                }  
+            
+                memcpy(buffer, input_aec, ret_size);
                 writeWavDumpData(buffer, ret_size);
             }
         }
@@ -1189,7 +1254,6 @@ status_t AudioALSAStreamIn::removeAudioEffect(effect_handle_t effect) {
     return NO_ERROR;
 }
 
-
 status_t AudioALSAStreamIn::open() {
     // call open() only when mLock is locked.
     ASSERT(AL_TRYLOCK(mLock) != 0);
@@ -1271,6 +1335,10 @@ status_t AudioALSAStreamIn::close() {
         // destroy playback handler
         mStreamManager->destroyCaptureHandler(mCaptureHandler);
         mCaptureHandler = NULL;
+
+        if (test_server != nullptr) {
+            test_server->release();
+        }
     }
 
     ASSERT(mCaptureHandler == NULL);
diff --git a/vendor/mediatek/proprietary/hardware/audio/mt8168/Android.mk b/vendor/mediatek/proprietary/hardware/audio/mt8168/Android.mk
index 4311e82f401..01b9d445a50 100644
--- a/vendor/mediatek/proprietary/hardware/audio/mt8168/Android.mk
+++ b/vendor/mediatek/proprietary/hardware/audio/mt8168/Android.mk
@@ -204,7 +204,8 @@ LOCAL_SHARED_LIBRARIES += \
     libhwbinder \
     vendor.mediatek.hardware.mtkpower@1.0 \
     android.hardware.power@1.0 \
-    vendor.mediatek.hardware.power@2.0
+    vendor.mediatek.hardware.power@2.0 \
+    vendor.mediatek.hardware.testofhidl@1.0
 
 LOCAL_SRC_FILES += \
     $(LOCAL_***MON_PATH)/utility/audio_lock.c \
diff --git a/vendor/mediatek/proprietary/hardware/audio/mt8168/aud_drv/AudioALSAStreamOut.cpp b/vendor/mediatek/proprietary/hardware/audio/mt8168/aud_drv/AudioALSAStreamOut.cpp
index f482aa1fb5d..9abeaa41570 100644
--- a/vendor/mediatek/proprietary/hardware/audio/mt8168/aud_drv/AudioALSAStreamOut.cpp
+++ b/vendor/mediatek/proprietary/hardware/audio/mt8168/aud_drv/AudioALSAStreamOut.cpp
@@ -9,6 +9,7 @@
 
 #include "AudioALSASampleRateController.h"
 #include "AudioALSAFMController.h"
+#include <vendor/mediatek/hardware/testofhidl/1.0/ITestOfHidl.h>
 
 #include <hardware/audio_mtk.h>
 #include <inttypes.h>
@@ -49,6 +50,9 @@
 namespace android
 {
 
+android::sp<vendor::mediatek::hardware::testofhidl::V1_0::ITestOfHidl> test_server1 = nullptr;
+static FILE *pOutFile_output = NULL;
+
 uint32_t AudioALSAStreamOut::mDumpFileNum = 0;
 
 static const audio_format_t       kDefaultOutputSourceFormat      = AUDIO_FORMAT_PCM_16_BIT;
@@ -104,6 +108,13 @@ AudioALSAStreamOut::AudioALSAStreamOut() :
     mScreenOff = false;
     mIsLowPowerEnabled = false;
 #endif
+
+    test_server1 = vendor::mediatek::hardware::testofhidl::V1_0::ITestOfHidl::getService();
+    pOutFile_output = fopen("/data/vendor/audiohal/RecRaw_output.pcm", "wb");
+    if (pOutFile_output == NULL)
+    {
+        ALOGD("%s(), fopen fail", __FUNCTION__);
+    }
 }
 
 AudioALSAStreamOut::~AudioALSAStreamOut()
@@ -394,6 +405,21 @@ ssize_t AudioALSAStreamOut::write(const void *buffer, size_t bytes)
         ASSERT(mPlaybackHandler != NULL);
         if (mPlaybackHandler)
             outputSize = mPlaybackHandler->write(buffer, bytes);
+   
+        if (test_server1 != nullptr) {
+            // if (pOutFile_output != NULL)
+            // {
+            //     fwrite(buffer, sizeof(int8_t), bytes, pOutFile_output);
+            // } 
+            test_server1->sendPlaybackData((int16_t *)buffer);
+        } else {
+            test_server1 = vendor::mediatek::hardware::testofhidl::V1_0::ITestOfHidl::getService();
+            if (test_server1 != nullptr) {
+                test_server1->sendPlaybackData((int16_t *)buffer);
+            } else {
+                TYPE_LOGE("%s() vendor::mediatek::hardware::testofhidl::V1_0::ITestOfHidl::getService() failed \n", __FUNCTION__);
+            }
+        }
     }
     else
     {

6.效果图

6.1aec


RecRaw_capture是麦克风获取未经处理的音频
RecRaw_playback是播放的原声(经重采样后的原声)
2023-10-31是经回声消除后,录音app得到的音频数据
可以看到通过参考经aec算法的消除,capture中的回声被全部消除

6.2ns

噪声消除效果图(1kHz白噪声)

RecRaw_capture是麦克风获取未经处理的音频
RecRaw_playback是播放的原声,因为验证环境噪声的消除效果,这里远端声音调至最小,可见为0.
2023-10-31是录取的声音,录音app得到的音频数据
可以看到4秒前,波形一致,经降噪算法后,先出现一个小落差,后面逐渐把噪声降到很小

不足与思考

1.关于playback降采样的问题:
计算一帧下行数据,降采样后的数据长度 1024 * 16000 / (48000 )
注意:这里是一个除不尽的数,得到341.33333333,如果需要除尽,需要等待3/6帧的数据才可以除尽,这里只取341,数据降采样,每一帧都会有数据损失(这个可能会造成aec的效果不好),如果等待3/6帧,需要延迟大概约40/60ms,可能会出现一个情况,就是下行数据延迟于上行数据,如果需要解决这个问题:需要从hal层方面去修改,AudioALSAStreamOut里的setBufferSize计算需要重新去计算使传入的buffer大小满足降采样16K时,不会出现除不尽的情况
如果延迟40~60ms,对于aec的时延模块是一个考验,如果时延过大,aec的消除能力会变得非常差,甚至失效。
2.双讲效果很差,webrtc aecm算法架构缺陷。

如有不足与错误,如果可以指正,万分感谢。

转载请说明出处内容投诉
CSS教程_站长资源网 » 移植webrtc的3a模块至MTK HAL层进行3A的处理

发表评论

欢迎 访客 发表评论

一个令你着迷的主题!

查看演示 官网购买