Posso ligar o modem ao switch e depois ao router?

Você pode, mas o switch não será realmente útil neste caso.

Seu cenário:

Se você usa um modem, você obtém um IP público em um dispositivo conectado a ele. Se você estiver na internet residencial, seu provedor só permite que você tenha um único IP público por conexão. Assim, caso você coloque um switch atrás de um modem, todos os dispositivos conectados ao switch irão obter um IP público (ou apenas um único dispositivo pode obter um IP, todos os outros podem reverter para nenhum estado de conexão, dependendo do seu ISP). Nesse caso, apenas um único dispositivo será capaz de acessar a Internet, todos os outros dispositivos simplesmente falharão na autenticação com o servidor do ISP.

HOWEVER:

Se o switch estiver atrás de um router (que na maioria dos casos utiliza NAT), todos os dispositivos ligados ao switch ou ao router podem aceder à Internet em simultâneo.

Colocar um switch entre um modem e um router é o mesmo que não o colocar: um switch não terá qualquer utilidade no seu caso.

Regra simples:

MODEM → ROUTER → SWITCH/ACCESS POINTS → MULTIPLE CLIENTS