Qual é melhor, o GTX 1050 Ti (4GB) ou o RX580(4GB)?

Depende de quem você perguntar:

Depende de uma parte que falta na sua pergunta, melhor para quê

Depende do sistema operacional e do suporte a drivers para ele.

Depende, no caso do Linux, se o caso de uso requer drivers de código aberto ou não. O RX580 tem drivers de código aberto fornecidos pela AMD que fazem parte do kernel do Linux. GTX 1050 Ti tem unidades de código aberto para Linux que não suportam muitos dos recursos da placa, e drivers de código não aberto fornecidos pela nVidia.

Se a aplicação requer CUDA, que é uma biblioteca proprietária da nVidia, a única resposta é GTX 1050 Ti

Se a aplicação requer OpenCL, a AMD tem uma implementação madura, a da nVidia ainda está em beta.

P>Último mas não menos importante, se o objetivo é minar moedas criptográficas, a AMD tinha uma vantagem clara no início mas a nVidia está alcançando. O RX580 teria um melhor desempenho na mineração; o equivalente mais próximo da nVidia é o GTX 1070. Embora a performance da GPU dependa do algoritmo de hashing usado para mineração de uma determinada moeda criptográfica.

Se esta comparação for para jogos, há muitas respostas para isso.