Porque é que o YouTube está a diminuir os meus minutos de relógio?

Normalmente falando, o YouTube não diminui o tempo de relógio, pois não subtrai os números. (a não ser que eles retirem um vídeo que você postou)
No entanto eles não recomendam seu conteúdo como fizeram com vídeos anteriores que você tinha no canal.

O tempo de assistir é um bom indicador para o YouTube recomendar seu conteúdo para outros vídeos. Quanto mais tempo de visualização você conseguir, mais o YouTube o recomenda. (há também outros indicadores, mas focando apenas no tempo de assistir por enquanto)

Audience retention :
Você pode obter uma estimativa de quão bem seu tempo de assistir, comparando-o com a métrica de retenção de audiência na análise do seu canal. (para cada vídeo)

Se a sua métrica de retenção de audiência é mais de 50%, então está a fazer bem.
Esta métrica desce um pouco quando as visualizações sobem.
Mas cerca de 50% é bom.

Então se você fosse fazer outra pergunta o que deveríamos fazer para aumentar a retenção de audiência eu diria foco em fazer seu vídeo snappy.

O que são vídeos snappy :
Vídeos snappy funcionam melhor no YouTube onde você edita todas as partes chatas de um vídeo enquanto inclui cortes de salto com efeitos cool/funny.
Para saber mais sobre isso aqui :