Android-OpenGLES3绘图---音频可视化（模仿MIUI系统效果）
作者：互联网
小米手机播放音乐时锁屏页面可以设置音频可视化效果，这是用OpenGL绘制出来的，我们来实现一下。
首先简单分析一下原理：
图形的每一行代表一个声音片段，它就是一个一维数组，按照数值大小绘制不同的高度，就形成了一条“山脉”；获取到下一个声音片段后，将它绘制到下面一行，然后画面整体向上滚动就可以了。整体类似于绘制一张游戏里常见的3D地形图。
1 初始化MediaPlayer
创建一个MediaPlayer，它可以直接读取res/raw里面的音频文件，start()开始播放
private MediaPlayer mMediaPlayer;
@Override
protected void onCreate(Bundle savedInstanceState) {
setVolumeControlStream(AudioManager.STREAM_MUSIC);
// Create the MediaPlayer
mMediaPlayer = MediaPlayer.create(this, R.raw.jay);
// setupVisualizerFxAndUI();
// // Make sure the visualizer is enabled only when you actually want to receive data, and
// // when it makes sense to receive data.
// mVisualizer.setEnabled(true);
// When the stream ends, we don't need to collect any more data. We don't do this in
// setupVisualizerFxAndUI because we likely want to have more, non-Visualizer related code
// in this callback.
mMediaPlayer.setOnCompletionListener(new MediaPlayer.OnCompletionListener() {
public void onCompletion(MediaPlayer mediaPlayer) {
mVisualizer.setEnabled(false);
}
});
mMediaPlayer.start();
2 初始化Visualizer
Visualizer是Android SDK里面提供的音频分析工具，它可以直接获取播放的音频的波形和频谱。onWaveFormDataCapture回调方法里返回的是原始的PCM波形数组，onFftDataCapture回调方法里返回的是经过快速傅里叶方法转换后的声音频谱数组，数组的第一位是直流分量，后面是不同频率的数值。
每次获取到的是一组声音数据，将它传给Render绘制。
private void setupVisualizerFxAndUI() {
// Create the Visualizer object and attach it to our media player.
mVisualizer = new Visualizer(mMediaPlayer.getAudioSessionId());
// mVisualizer.setCaptureSize(Visualizer.getCaptureSizeRange()[1]);
mVisualizer.setCaptureSize(Visualizer.getCaptureSizeRange()[0]);
mVisualizer.setDataCaptureListener(new Visualizer.OnDataCaptureListener() {
public void onWaveFormDataCapture(Visualizer visualizer, byte[] bytes,
int samplingRate) {
AudioRender render = (AudioRender) GLAudioActivity.this.render;
render.update(bytes);
glSurfaceView.requestRender();
}
public void onFftDataCapture(Visualizer visualizer, byte[] bytes, int samplingRate) {
// AudioRender render = (AudioRender) GLAudioActivity.this.render;
// render.update(bytes);
// glSurfaceView.requestRender();
}
}, Visualizer.getMaxCaptureRate() / 2, true, true);
}
3 Shader实现
3.1 绘制地形图
首先确定图形的长宽，宽度w其实是由每组音频的数组长度决定，可以由Visualizer.getCaptureSizeRange()[0]获取，这里获取的是最小的数组，也可以用Visualizer.getCaptureSizeRange()[1]获取最大的数组；长度h可以自己设置想展示多长。
绘制地形图也就是绘制w * h * 2个三角形，创建vao、vbo和ebo，由于顶点的位置都是固定的，可以在顶点着色器中用gl_VertexID获取，所以vbo里面不用传顶点数据，直接传声音数组。
public static int w = 128, h = 128;
int[] indices;
int program;
ByteBuffer vertexBuffer;
byte[] lineBytes = new byte[w];
int lineNum = 0;
int[] vao;
int[] vbo;
IntBuffer intBuffer;
@Override
public void onSurfaceCreated(GL10 gl, EGLConfig config) {
program = ShaderUtils.loadProgramAudio();
//分配内存空间,每个浮点型占4字节空间
vertexBuffer = ByteBuffer.allocateDirect(w * h)
.order(ByteOrder.LITTLE_ENDIAN);
vertexBuffer.position(0);
// updateBuffer();
vertexBuffer.position(0);
vao = new int[1];
glGenVertexArrays(1, vao, 0);
glBindVertexArray(vao[0]);
vbo = new int[1];
glGenBuffers(1, vbo, 0);
glBindBuffer(GL_ARRAY_BUFFER, vbo[0]);
glBufferData(GL_ARRAY_BUFFER, w * h, vertexBuffer, GL_STATIC_DRAW);
indices = strip(w, h);
intBuffer = IntBuffer.allocate(indices.length * 4);
intBuffer.put(indices);
intBuffer.position(0);
int[] ebo = new int[1];
glGenBuffers(1, ebo, 0);
glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, ebo[0]);
glBufferData(GL_ELEMENT_ARRAY_BUFFER, indices.length * 4, intBuffer, GL_STATIC_DRAW);
// Load the vertex data
glVertexAttribPointer(0, 1, GL_FLOAT, false, 1, 0);
glEnableVertexAttribArray(0);
glBindBuffer(GL_ARRAY_BUFFER, 0);
glBindVertexArray(0);
glClearColor(0.5f, 0.5f, 0.5f, 0.5f);
glEnable(GL_DEPTH_TEST);
// glCullFace(GL_BACK);
// glEnable(GL_CULL_FACE);
}
3.2 声音队列刷新
由于图形是不断刷新最后一行并向上滚动的，那么需要使用一个队列，为了每一帧数据改变最小，不至于进行大量的数组复制和移动。我们用ByteBuffer vertexBuffer模拟一个循环队列，使用一个行号int lineNum来标记队列的头部。每添加一行数据后，lineNum会加上w，这样ByteBuffer分成了两部分：lineNum * w之后的是新旧数据，之前的是旧数据。
现在我们需要将数据从主内存（vertexBuffer）复制到GPU显存（vbo）。vertexBuffer里是一个循环队列，而vbo里面只能顺序保存（因为ebo序号是顺序的，vbo不是顺序图形就会错乱），更新vbo数据缓存的glBufferSubData方法支持设置偏移位置部分更新。那么我们先将vertexBuffer定位到lineNum * w，将它后面的旧数据复制到vbo的前面；然后将vertexBuffer定位到0，将剩下的新数据复制到vbo的后面。这样就保证了绘制时从上到下，从旧到新。
public void update(byte[] bytes) {
vertexBuffer.position(lineNum * w);
vertexBuffer.put(bytes);
lineNum = (lineNum + 1) % h;
}
@Override
public void onDrawFrame(GL10 gl) {
super.onDrawFrame(gl);
// Clear the color buffer
glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
// 刷新vbo数据
glBindBuffer(GL_ARRAY_BUFFER, vbo[0]);
vertexBuffer.position(lineNum * w);
glBufferSubData(GL_ARRAY_BUFFER, 0, (h - lineNum) * w, vertexBuffer);
vertexBuffer.position(0);
glBufferSubData(GL_ARRAY_BUFFER, (h - lineNum) * w, lineNum * w, vertexBuffer);
glBindBuffer(GL_ARRAY_BUFFER, 0);
}
3.3 着色器处理音频数值
为了让颜色更丰富，这里用了地形图中常用的热度渐变色数组。
理论上音频数值是unsigned byte格式的，但是着色器不支持byte格式，我直接用int vPosition接收数据，然而数值范围不再是0~255了，这有点奇怪，我没有深入研究。简单测试了一下，发现取int的前8位，再进行一点比例缩放，用它去渐变色数组里取颜色，会取得较好的显示效果。
顶点着色器
shader_audio_v.glsl
#version 300 es
// 热度渐变色 64
const int[] colors = int[](-16777216,-16318464,-15859712,-15400960,-14876672,-14417920,-13959168,-13500416,-12976128,-12517376,-12058624,-11599872,-11075584,-10158080,-9240576,-8323072,-7405568,-6488064,-5570560,-4653056,-3735552,-2818048,-1900544,-983040,-65536,-61440,-57088,-52736,-48640,-44288,-39936,-35840,-31488,-27136,-23040,-18688,-14336,-13312,-12032,-11008,-9728,-8704,-7424,-6144,-5120,-3840,-2816,-1536,-256,-235,-214,-193,-171,-150,-129,-108,-86,-65,-44,-23,-1,-1,-1,-1);
layout (location = 0) in int vPosition;
uniform mat4 model;
uniform mat4 view;
uniform mat4 projection;
uniform int lineNum;
uniform int w;
uniform int h;
out vec3 aColor;
vec3 generateColor(int k) {
int c = colors[k];
int r = (c >> 16) & 0xff;
int g = (c >> 8) & 0xff;
int b = c & 0xff;
return vec3(float(r)/255.0f, float(g)/255.0f, float(b)/255.0f);
}
void main() {
// gl_PointSize = 6.0;
float fw = float(w);
int y = gl_VertexID / w;
int x = gl_VertexID % w;
float fx = float(x) / fw - 0.5f;
float fy = 0.5f - float(y) / fw;
int h = vPosition;
// 128 ~ 160
int a = (h >> 24) & 0xff;
// int r = (h >> 16) & 0xff;
// int g = (h >> 8) & 0xff;
// int b = h & 0xff;
h = a - 128;
if (h < 0) {
h = 0;
}
int k = h > 31 ? 63 : h * 2;
aColor = generateColor(k);
gl_Position = projection * view * model * vec4(fx, fy, float(h) / 256.0f, 1.0f);
将颜色传给片段着色器显示
shader_audio_f.glsl
#version 300 es
precision mediump float;
in vec3 aColor;
out vec4 fragColor;
void main() {
fragColor = vec4(aColor, 1.0);
}
最终效果如下图，录屏设置的码率比较低，实际上是很清晰的。
Github地址
完整项目在SurfacePaint项目下的opengles3模块里的audio。
标签：---,vertexBuffer,Visualizer,int,vbo,MIUI,lineNum,OpenGLES3,GL 来源： https://www.cnblogs.com/rome753/p/16481573.html