É possível configurar um router para ser um servidor e cliente VPN?

ambos ao mesmo tempo?

Teóricamente deve ser possível. Efectivamente, o router tornar-se-ia uma espécie de "relay" entre VPNs. Se algum router implementou isso é uma questão diferente, no entanto.

A maioria dos routers inclui um cliente VPN. Embora apenas roteadores específicos adicionem um servidor. Então, na melhor das hipóteses, você precisa de um roteador que implemente o servidor também. Ou se você pudesse reinstalar um sistema operacional personalizado ele poderia habilitar esse modo de servidor VPN para você - algo como WRT ou pfSense "poderia" ser possível em roteadores selecionados.

Em que caso você precisaria garantir que os intervalos de IP do servidor e do cliente não se sobreponham. E então configure o software VPN para redirecionar o tráfego entre esses intervalos (provavelmente mexendo com as tabelas de roteamento, ativar o redirecionamento do tráfego e/ou push LAN).

Há uma thread onde alguém fez exatamente isso com um roteador ASUS com ASUSWRT personalizado e OpenVPN para passar seu próprio Servidor VPN para NordVPN: Servidor VPN e Cliente VPN simultâneos

Então a resposta é: Sim é possível, apenas com algumas advertências, e pode exigir muito mexer.