其他分享
首页 > 其他分享> > Android-OpenGLES3绘图---音频可视化(模仿MIUI系统效果)

Android-OpenGLES3绘图---音频可视化(模仿MIUI系统效果)

作者:互联网

image.png

小米手机播放音乐时锁屏页面可以设置音频可视化效果,这是用OpenGL绘制出来的,我们来实现一下。

首先简单分析一下原理:
图形的每一行代表一个声音片段,它就是一个一维数组,按照数值大小绘制不同的高度,就形成了一条“山脉”;获取到下一个声音片段后,将它绘制到下面一行,然后画面整体向上滚动就可以了。整体类似于绘制一张游戏里常见的3D地形图。

1 初始化MediaPlayer

创建一个MediaPlayer,它可以直接读取res/raw里面的音频文件,start()开始播放

    private MediaPlayer mMediaPlayer;

    @Override
    protected void onCreate(Bundle savedInstanceState) {

        setVolumeControlStream(AudioManager.STREAM_MUSIC);

        // Create the MediaPlayer
        mMediaPlayer = MediaPlayer.create(this, R.raw.jay);

//        setupVisualizerFxAndUI();
//        // Make sure the visualizer is enabled only when you actually want to receive data, and
//        // when it makes sense to receive data.
//        mVisualizer.setEnabled(true);

        // When the stream ends, we don't need to collect any more data. We don't do this in
        // setupVisualizerFxAndUI because we likely want to have more, non-Visualizer related code
        // in this callback.
        mMediaPlayer.setOnCompletionListener(new MediaPlayer.OnCompletionListener() {
            public void onCompletion(MediaPlayer mediaPlayer) {
                mVisualizer.setEnabled(false);
            }
        });

        mMediaPlayer.start();

2 初始化Visualizer

Visualizer是Android SDK里面提供的音频分析工具,它可以直接获取播放的音频的波形和频谱。onWaveFormDataCapture回调方法里返回的是原始的PCM波形数组,onFftDataCapture回调方法里返回的是经过快速傅里叶方法转换后的声音频谱数组,数组的第一位是直流分量,后面是不同频率的数值。

每次获取到的是一组声音数据,将它传给Render绘制。

    private void setupVisualizerFxAndUI() {
        // Create the Visualizer object and attach it to our media player.
        mVisualizer = new Visualizer(mMediaPlayer.getAudioSessionId());
//        mVisualizer.setCaptureSize(Visualizer.getCaptureSizeRange()[1]);
        mVisualizer.setCaptureSize(Visualizer.getCaptureSizeRange()[0]);
        mVisualizer.setDataCaptureListener(new Visualizer.OnDataCaptureListener() {
            public void onWaveFormDataCapture(Visualizer visualizer, byte[] bytes,
                                              int samplingRate) {
                AudioRender render = (AudioRender) GLAudioActivity.this.render;
                render.update(bytes);
                glSurfaceView.requestRender();
            }

            public void onFftDataCapture(Visualizer visualizer, byte[] bytes, int samplingRate) {
//                AudioRender render = (AudioRender) GLAudioActivity.this.render;
//                render.update(bytes);
//                glSurfaceView.requestRender();
            }
        }, Visualizer.getMaxCaptureRate() / 2, true, true);
    }

3 Shader实现

3.1 绘制地形图

首先确定图形的长宽,宽度w其实是由每组音频的数组长度决定,可以由Visualizer.getCaptureSizeRange()[0]获取,这里获取的是最小的数组,也可以用Visualizer.getCaptureSizeRange()[1]获取最大的数组;长度h可以自己设置想展示多长。

绘制地形图也就是绘制w * h * 2个三角形,创建vao、vbo和ebo,由于顶点的位置都是固定的,可以在顶点着色器中用gl_VertexID获取,所以vbo里面不用传顶点数据,直接传声音数组。

    public static int w = 128, h = 128;

    int[] indices;

    int program;
    ByteBuffer vertexBuffer;
    byte[] lineBytes = new byte[w];
    int lineNum = 0;

    int[] vao;
    int[] vbo;

    IntBuffer intBuffer;

    @Override
    public void onSurfaceCreated(GL10 gl, EGLConfig config) {

        program = ShaderUtils.loadProgramAudio();

        //分配内存空间,每个浮点型占4字节空间
        vertexBuffer = ByteBuffer.allocateDirect(w * h)
                .order(ByteOrder.LITTLE_ENDIAN);
        vertexBuffer.position(0);

//        updateBuffer();
        vertexBuffer.position(0);

        vao = new int[1];
        glGenVertexArrays(1, vao, 0);
        glBindVertexArray(vao[0]);

        vbo = new int[1];
        glGenBuffers(1, vbo, 0);
        glBindBuffer(GL_ARRAY_BUFFER, vbo[0]);
        glBufferData(GL_ARRAY_BUFFER, w * h, vertexBuffer, GL_STATIC_DRAW);

        indices = strip(w, h);

        intBuffer = IntBuffer.allocate(indices.length * 4);
        intBuffer.put(indices);
        intBuffer.position(0);

        int[] ebo = new int[1];
        glGenBuffers(1, ebo, 0);
        glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, ebo[0]);
        glBufferData(GL_ELEMENT_ARRAY_BUFFER, indices.length * 4, intBuffer, GL_STATIC_DRAW);


        // Load the vertex data
        glVertexAttribPointer(0, 1, GL_FLOAT, false, 1, 0);
        glEnableVertexAttribArray(0);

        glBindBuffer(GL_ARRAY_BUFFER, 0);
        glBindVertexArray(0);

        glClearColor(0.5f, 0.5f, 0.5f, 0.5f);

        glEnable(GL_DEPTH_TEST);
//        glCullFace(GL_BACK);
//        glEnable(GL_CULL_FACE);
    }

3.2 声音队列刷新

由于图形是不断刷新最后一行并向上滚动的,那么需要使用一个队列,为了每一帧数据改变最小,不至于进行大量的数组复制和移动。我们用ByteBuffer vertexBuffer模拟一个循环队列,使用一个行号int lineNum来标记队列的头部。每添加一行数据后,lineNum会加上w,这样ByteBuffer分成了两部分:lineNum * w之后的是新旧数据,之前的是旧数据

现在我们需要将数据从主内存(vertexBuffer)复制到GPU显存(vbo)。vertexBuffer里是一个循环队列,而vbo里面只能顺序保存(因为ebo序号是顺序的,vbo不是顺序图形就会错乱),更新vbo数据缓存的glBufferSubData方法支持设置偏移位置部分更新。那么我们先将vertexBuffer定位到lineNum * w,将它后面的旧数据复制到vbo的前面;然后将vertexBuffer定位到0,将剩下的新数据复制到vbo的后面。这样就保证了绘制时从上到下,从旧到新。

    public void update(byte[] bytes) {
        vertexBuffer.position(lineNum * w);
        vertexBuffer.put(bytes);
        lineNum = (lineNum + 1) % h;
    }

    @Override
    public void onDrawFrame(GL10 gl) {
        super.onDrawFrame(gl);
        // Clear the color buffer
        glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);

        // 刷新vbo数据
        glBindBuffer(GL_ARRAY_BUFFER, vbo[0]);
        vertexBuffer.position(lineNum * w);
        glBufferSubData(GL_ARRAY_BUFFER, 0, (h - lineNum) * w, vertexBuffer);
        vertexBuffer.position(0);
        glBufferSubData(GL_ARRAY_BUFFER, (h - lineNum) * w, lineNum * w, vertexBuffer);
        glBindBuffer(GL_ARRAY_BUFFER, 0);
    }

3.3 着色器处理音频数值

为了让颜色更丰富,这里用了地形图中常用的热度渐变色数组。
理论上音频数值是unsigned byte格式的,但是着色器不支持byte格式,我直接用int vPosition接收数据,然而数值范围不再是0~255了,这有点奇怪,我没有深入研究。简单测试了一下,发现取int的前8位,再进行一点比例缩放,用它去渐变色数组里取颜色,会取得较好的显示效果。

顶点着色器
shader_audio_v.glsl

#version 300 es
// 热度渐变色 64
const int[] colors = int[](-16777216,-16318464,-15859712,-15400960,-14876672,-14417920,-13959168,-13500416,-12976128,-12517376,-12058624,-11599872,-11075584,-10158080,-9240576,-8323072,-7405568,-6488064,-5570560,-4653056,-3735552,-2818048,-1900544,-983040,-65536,-61440,-57088,-52736,-48640,-44288,-39936,-35840,-31488,-27136,-23040,-18688,-14336,-13312,-12032,-11008,-9728,-8704,-7424,-6144,-5120,-3840,-2816,-1536,-256,-235,-214,-193,-171,-150,-129,-108,-86,-65,-44,-23,-1,-1,-1,-1);
layout (location = 0) in int vPosition;

uniform mat4 model;
uniform mat4 view;
uniform mat4 projection;

uniform int lineNum;
uniform int w;
uniform int h;

out vec3 aColor;

vec3 generateColor(int k) {
    int c = colors[k];
    int r = (c >> 16) & 0xff;
    int g = (c >> 8) & 0xff;
    int b = c & 0xff;
    return vec3(float(r)/255.0f, float(g)/255.0f, float(b)/255.0f);
}

void main() {
    // gl_PointSize = 6.0;
    float fw = float(w);
    int y = gl_VertexID / w;
    int x = gl_VertexID % w;
    float fx = float(x) / fw - 0.5f;
    float fy = 0.5f - float(y) / fw;

    int h = vPosition;

    // 128 ~ 160
    int a = (h >> 24) & 0xff;
//    int r = (h >> 16) & 0xff;
//    int g = (h >> 8) & 0xff;
//    int b = h & 0xff;


    h = a - 128;
    if (h < 0) {
        h = 0;
    }

    int k = h > 31 ? 63 : h * 2;
    aColor = generateColor(k);
    gl_Position  = projection * view * model * vec4(fx, fy, float(h) / 256.0f, 1.0f);

将颜色传给片段着色器显示
shader_audio_f.glsl

#version 300 es
precision mediump float;
in vec3 aColor;
out vec4 fragColor;

void main() {
     fragColor = vec4(aColor, 1.0);
}

最终效果如下图,录屏设置的码率比较低,实际上是很清晰的。
0goex-ip1tx.gif

Github地址

完整项目在SurfacePaint项目下的opengles3模块里的audio。

标签:---,vertexBuffer,Visualizer,int,vbo,MIUI,lineNum,OpenGLES3,GL
来源: https://www.cnblogs.com/rome753/p/16481573.html