O que é mais complicado matematicamente. OpenGL ou OpenAL?

Bem, você pode aprender ambos sem saber nenhuma matemática. O que é complicado é como você vai usá-los. Então, é mais entre Computação Gráfica vs Programação de Áudio 3D.

Matéria para Computação Gráfica é muito fácil (para coisas básicas encontradas em jogos), e é principalmente trigonometria e álgebra linear, mas uma vez que você entra em coisas mais avançadas, você vai enfrentar Geometria Diferencial, Probabilidade (Monte Carlo), alguma Física (BRDF's físicos), o que também significa algum Cálculo (Integrais em Equações de Renderização).

Não fiz nenhuma programação de áudio, mas pela minha experiência em reconhecimento de voz, a matemática para isso deve ser algo como Álgebra Linear, Probabilidade & Estatística(muito importante), Processamento Digital de Sinal, Análise de Fourier, Trigonometria.

Também, é muito provável que você encontre alguns Métodos Numéricos em ambos os campos (em CG se você for para stufs avançados)

Então se você se ater às coisas básicas em Computação Gráfica, a matemática será muito fácil e posso dizer que a programação de Áudio 3D é mais complicada.

A partir do momento em que você entrar mais em coisas avançadas como BRDF's (modelo Cook-Torrance por exemplo), Global Illumination(Photon-mapping, Raytracing, etc) matemática pode tornar-se bastante avançado.
O que é mais complicado? Bem, depende do que você mais gosta. Se você tem fundo EE, você provavelmente achará Áudio bastante fácil e Gráficos não tão difíceis.
Com fundo CS, eu acho que CG será mais adequado para você, o que significa mais fácil.