Qual é a melhor solução para armazenar os backups?

Utilizar vários dispositivos diferentes. E mantenha o backup actualizado, actualizando-o constantemente em todos esses dispositivos.

Nunca é uma boa ideia confiar num único dispositivo. Um pouco melhor em apenas um tipo de dispositivo apenas várias vezes. Mas o ideal em vários tipos espalhados por várias duplicatas.

De facto você quer algo fora do local. Um dispositivo de armazenamento (ou mais de um) situado fora do edifício, em outra cidade, em todo o mundo, etc. Portanto, mesmo que um terremoto atinja, ou o edifício arda, ou algum outro desastre, você ainda tem uma cópia de seus dados em algum lugar.

Você poderia optar por usar um servidor de armazenamento remoto de terceiros (por exemplo, BackBlaze). Você poderia usar unidades externas que você troca de casa e do escritório e vice-versa. Ou você pode usar um computador pessoal como servidor de arquivos. Você pode usar fita adesiva ou armazenamento óptico. O melhor é usar todas elas juntas para que cada uma dê uma garantia adicional de que se algo correr mal, pelo menos algumas delas ainda estarão disponíveis.

Quanta importância os seus dados são para definir o custo que está disposto a gastar nisto.