Como eu seria capaz de descobrir o ângulo de referência em radianos de # (5pi) / 6 #?

A definição do ângulo de referência é que ele é o menor ângulo feito usando o eixo x na referência, tendo as mesmas coordenadas no círculo da unidade.

#(5pi)/6# é um ângulo no segundo quadrante, porque #pi/2 < (5pi)/6 < pi#. Portanto, um ângulo nesse quadrante tem uma representação, mais ou menos assim:

Agora, o ângulo em vermelho é #(5pi)/6#, mas você pode ver que o ângulo que a linha azul (lado do terminal) faz com o eixo é menor. Desde a soma desse ângulo (vamos chamá-lo #theta#) e o ângulo em vermelho deve somar #pi# nós temos isso:
#theta + (5pi)/6 = pi#
#theta = pi - (5pi)/6 = pi/6#

Então esse é o seu ângulo de referência.