Que motor de jogo devo escolher para um jogo medieval realista de caixa de areia?

Máquina não importa. O maior problema com este tipo de jogo é desenvolver uma grande quantidade de recursos artísticos realistas que este jogo vai requerer.

Basicamente... garanta que você tem orçamento/recursos para modelar tudo nesse seu reino. Se você tem o orçamento, então escolha o motor com o qual você e/ou sua equipe se sentem confortáveis. Unity 5 e Unreal 4 são candidatos primários.

detalhes adicionais de comentários-
Um projeto de escala semelhante é o Dwarf fortress. Ele usa a arte ASCII e está em desenvolvimento há 10 anos. Os autores estimam que levará aproximadamente mais 20 anos para completá-lo. Essa é a escala do seu projeto.

Você está pensando muito grande. O cenário mais provável é que você falhará em criar um protótipo, e falhará em garantir financiamento com ele. Na pior das hipóteses você falhará em criar um protótipo depois de passar anos da sua vida no servidor.

Embora os jogadores certamente adorariam jogá-lo, mas isso exigiria GTA ou orçamento a nível de bruxa. Uma coisa que vai matar o projeto com certeza é tentar alcançar realismo preciso, porque realismo é difícil, e coisas como "cerco de castelo em tempo real" são simplesmente computacionalmente caras. Se você não tem experiência séria em programação, você vai afundar.

Besides... já existe o Mount and Blade (onde você pode levantar seu exército e se tornar um rei/rainha), e a Guerra Total.

Clone "Monte e Lâmina" está dentro das possibilidades (vai parecer tão mau como o original, claro) mesmo que requeira alguma dedicação incrível e que o STILL precise de financiamento adequado, mas clone de Monte e Lâmina com exércitos de tamanho de guerra total e economia de qualidade da série X (séries X são séries espaço-im com forte elemento económico) não está a acontecer.

P>Você precisa de experiência prévia. Como você definitivamente soa como um iniciante, seu projeto está destinado a morrer.

Basicamente... a única coisa pior que isso é tentar fazer um MMO WoW-killer por conta própria.