Android技术分享 | 一行代码实现屏幕、声音采集

lxf2023-05-08 00:49:20

之前发布过一行代码实现安卓屏幕采集编码,并介绍如何屏幕采集编码并进行了封装,简单的调用即可实现MediaProjection权限申请、H264硬编码、错误处理等功能。本文将介绍新增的功能,还是只需一行代码即可实现屏幕、声音采集。

一行代码实现屏幕采集编码

之前的文章,我们已经介绍过如何一行代码实现安卓屏幕采集编码,这里再次简单介绍一下

ScreenShareKit.init(this).onH264({ buffer, isKeyFrame, w, h, ts ->
    //获取编码后的屏幕内容数据
}).onStart({
    //用户同意采集,开始采集数据
}).start()

通过这段代码,我们可以实现MediaProjection权限申请、H264硬编码、错误处理等功能。同时,我们也新增了一个onStart回调,会在用户同意屏幕采集后回调该方法,更加方便的处理业务。

增加全局屏幕旋转监测

在之前版本中,屏幕旋转,会导致画面变形,宽高错乱。本次更新中,屏幕旋转监测是通过反射监听IRotationWatcher来实现的。IRotationWatcher是一个AIDL接口,它定义了一个旋转监测器,用于监测屏幕旋转事件。在ScreenShare库中,我们通过反射获取IRotationWatcher对象,并注册一个IRotationWatcher.Stub实例来监听屏幕旋转事件。当屏幕旋转时,该Stub实例会收到回调,并根据旋转角度重置编码器,更改宽高,以保证屏幕方向正确。这里不是简单判断设备是否旋转,而是判断屏幕内容或者其他app布局是否旋转。然后重置编码器,更改宽高。始终保持方向正确。

参考:scrcpy

增加RGBA数据回调

由于Android设备多,各类 CPU 性能不一。很难保证每个设备硬编码后都能够清晰流畅。所以新增一种方式,使用ImageReader采集屏幕截图,有很多开源库截图都是利用这个类。ImageReader是Android系统提供的一个用于获取屏幕截图的类,通过setOnImageAvailableListener回调,能够不停地获取屏幕变化,并获取RGBA数据。在这里我们通过创建一个ImageReader对象,并设置其宽高、像素格式等参数来获取屏幕数据。在回调函数中,我们可以获取到每一帧的RGBA数据,并进行处理。该实现虽然比硬编码占用的内存高一点,但优势在于非常的均衡,无论性能强悍或是低端的CPU,都能够得到画质较清晰流畅的数据。

ScreenShareKit.init(this).config(screenDataType = EncodeBuilder.SCREEN_DATA_TYPE.RGBA).onRGBA(object : RGBACallBack {
    override fun onRGBA(
        rgba: ByteArray,
        width: Int,
        height: Int,
        stride: Int,
        rotation: Int,
        rotationChanged: Boolean
    ) {
        //采集的RGBA数据
    }
}).onStart({
    //用户同意采集,开始采集数据
}).start()

增加屏幕内置声音采集回调

Android 10已引入AudioPlaybackCapture API。应用可以借助此API复制其他应用正在播放的音频。此功能类似于屏幕采集,但采集对象是音频。主要用例是视频在线播放应用,这些应用希望捕获游戏正在播放的音频。

AudioPlaybackCaptureConfiguration config = (new AudioPlaybackCaptureConfiguration.Builder(mediaProjection)).addMatchingUsage(AudioAttributes.USAGE_MEDIA).build();
AudioFormat audioFormat = (new AudioFormat.Builder()).setEncoding(AudioFormat.ENCODING_PCM_16BIT).setSampleRate(sampleRate).setChannelMask(channelConfig).build();
audioRecord = new AudioRecord.Builder().setAudioFormat(audioFormat).setBufferSizeInBytes(bufferSizeInBytes).setAudioPlaybackCaptureConfig(config).build();

**注意:**应用的音频能否被捕获也取决于应用的 targetSdkVersion

  • 仅支持Android 10及以上版本
  • 默认情况下,适配Android 9.0及之前版本的应用不允许捕获播放的音频。如要启用该功能,请在应用的 manifest.xml 文件中包含 android:allowAudioPlaybackCapture="true"
  • 默认情况下,适配Android 10 (API级别29)或更高版本的应用允许其他应用捕获其音频。如要停用“捕获播放的音频”功能,请在应用的 manifest.xml 文件中包含 android:allowAudioPlaybackCapture="false"

使用:

ScreenShareKit.init(this).config(audioCapture = true).onAudio(object : AudioCallBack {
    override fun onAudio(buffer: ByteArray?, ts: Long) {
        //应用的音频数据
    }
}).onStart({
    //用户同意采集,开始采集数据
}).start()

参考捕获播放的音频:官方文档

增加禁音屏幕内置声音方法

在应用采集过程中,如果不想中断又想禁音,可以调用以下方法。

ScreenShareKit.setMicrophoneMute(true)

设置为true之后,将会回调空数据,已达到静音效果。反正,恢复正常音频采集。

以上就是本文介绍的一些实用功能。通过这个库,我们可以通过简单的一行代码实现屏幕、声音采集,并且支持全局屏幕旋转监测、RGBA数据回调、屏幕内置声音采集等功能。这个库使用起来非常方便,项目地址:ScreenShare

Android技术分享 | 一行代码实现屏幕、声音采集

本网站是一个以CSS、JavaScript、Vue、HTML为核心的前端开发技术网站。我们致力于为广大前端开发者提供专业、全面、实用的前端开发知识和技术支持。 在本网站中,您可以学习到最新的前端开发技术,了解前端开发的最新趋势和最佳实践。我们提供丰富的教程和案例,让您可以快速掌握前端开发的核心技术和流程。 本网站还提供一系列实用的工具和插件,帮助您更加高效地进行前端开发工作。我们提供的工具和插件都经过精心设计和优化,可以帮助您节省时间和精力,提升开发效率。 除此之外,本网站还拥有一个活跃的社区,您可以在社区中与其他前端开发者交流技术、分享经验、解决问题。我们相信,社区的力量可以帮助您更好地成长和进步。 在本网站中,您可以找到您需要的一切前端开发资源,让您成为一名更加优秀的前端开发者。欢迎您加入我们的大家庭,一起探索前端开发的无限可能!