Que sistema de pagamento é utilizado para transacções online em jogos de vídeo?

Sua pergunta não é totalmente, clara...

Você está falando sobre as máquinas de videojogos clássicos encontrados nos Arcades, onde as pessoas inserem moedas para poder jogar?

Se esse for o caso, então a resposta é simples: A moeda-receito é WIRED para o interior do computador como uma "chave de teclado" específica - aquela que, em ambiente doméstico, "adicionaria moedas". Por exemplo, quando você'd jogasse tal jogo em casa, diria "Press F1 to insert coin", e para a variante Arcade, diz apenas "Insert coin", e quando o faz, envia o mesmo sinal electrónico que ao premir F1.
É também por isso que era possível "hackar" o receptáculo de moedas deixando cair um botão sobre uma corda - tudo o que precisa de fazer para obter moedas extra é accionar o pequeno fio num gadget de mola.

Se você está falando de jogos para celular, computador ou console e os esquemas de monetização neles (como "compre 500 diamantes por apenas 1,99$", onde "diamante" é uma moeda no jogo), então todos esses sistemas tipicamente utilizam uma API (Application Programming Interface: uma coleção de funções publicamente conhecidas fornecidas por um sistema para interação de outros sistemas com esse sistema) chamada que cuida da compra. O desenvolvedor de tal jogo exibe uma lista de itens de compra ou "planos", o usuário seleciona um deles, então uma chamada API garante que o jogador seja solicitado a confirmar a compra com cartão de crédito, e a mesma API então:
1. Carrega o cartão
2. Se bem sucedido, informa o jogo que a transação foi bem sucedida

... então tudo que o desenvolvedor tem que fazer é chamar a API e se a resposta for "Positiva", então o desenvolvedor desbloqueia as moedas etc.