O que teria menos atraso de entrada, um adaptador USB 3.1 ou um adaptador USB-C para USB 3 ligado a uma porta Thunderbolt 3?

Por longe, a maior fonte de atraso seria o próprio protocolo USB.

Um nitpick: USB-C e USB 3.1 são conceitos perpendiculares. Eles não são alternativas. Todas as portas USB-C já podem realizar o USB 3.1. USB-C é a porta física, enquanto USB 3.1 é o protocolo de como os sinais passam por ela. Você não precisa de um conversor USB 3 → Tb3, a porta USB-C já suporta USB 3.1. A menos que essa porta "USB-C" não seja de fato uma porta USB e só tenha circuitos Tb atrás dela, ou seja, é uma porta Thunderbolt 3, NÃO uma porta USB-C (que eu não encontrei antes, pois não faz sentido para um fabricante fazer isso, mas é teoricamente possível).

Que, se você usar um conversor TB3, você está apenas adicionando um passo extra no meio. Provavelmente apenas adicionaria uma latência extra. Embora dependesse do circuito interno de comutação por trás daquela porta USB-C, como ele escolhe enviar o sinal para um controlador USB ou para o PCIe de uma conexão TB.

Então se o conversor for mais rápido do que o controlador já é.

Mas meu dinheiro estaria no USB 3.1 diretamente através da porta USB-C sem um conversor no meio. A probabilidade do conversor ser mais rápido do que o controlador USB interno é muito pequena. E mesmo assim, seria uma diferença muito pequena, dificilmente mensurável, não importa o que seja perceptível.

Estamos falando de dividir os cabelos aqui. O tempo para digitar esta pergunta e resposta provavelmente desperdiçou mais tempo do que a diferença seria se ela fosse acumulada ao longo de toda uma vida humana.