Como eu poderia excluir/bloquear permanentemente sites de qualquer um dos meus navegadores?

Não há nenhuma maneira de fazer isto e a menos que se execute um firewall completo na sua máquina, não é possível. E eu não vou entrar em como configurar e operar uma discussão de firewall aqui, porque sua pergunta me faz acreditar que você não vai ficar confortável fazendo isso. Se você estivesse, você não estaria fazendo essa pergunta de qualquer forma.

Having disse que, a maneira mais simples de tentar fazer isso é adicionar o site ao seu arquivo host, direcionando-o para o localhost, que não está rodando um site. Eu sei que isso não fazia sentido agora, mas assumindo que você está rodando uma versão relativamente moderna do Windows OS, digamos Windows 7 ou 10. Faça o seguinte

Crie um atalho no seu desktop para o executável cmd

Clique direito no atalho e selecione 'run as administrator'

Na janela DOS, digite notepad C:\Windows\System32\Drivers\etc\hosts

Por exemplo, você quer impedir o acesso ao facebook dot com, então digite as seguintes linhas no notepad, sob as linhas que você vê que já estão lá:

1. 127.0.0.1 facebook.com 
2. 127.0.0.1 www.facebook.com 

The hole in this approach is, for instance, if there is a site called xyz.faecbook.com people will still be able to access it. Mas deve ser o suficiente para dissuadir o usuário casual. Se você está fazendo isso para evitar que seus filhos acessem certos sites, tenha em mente que, em dois minutos, eles vão ser mais espertos que você.