O DuckDuckGo pode procurar na teia escura?
O objectivo da teia "escura" é que não podes procurar, tens de ser convidado a entrar, e não é apenas uma grande festa "escura" feliz. Você tem que ser convidado para cada coisa nela.
Você vê, quando a internet estava explorando pela primeira vez sendo uma coisa pública e não uma colaboração universitária + militar, algumas pessoas queriam robôs para rastejar por toda ela e indexá-la. Outras pessoas não queriam isso. Então o arquivo "robots.txt" (e tecnologias relacionadas adicionadas mais tarde) veio para ajudar.
Procurar motores é suposto verificar e ver se eles devem ou não indexar um site antes de o fazerem. Todos os motores de busca respeitam isto, e imagino que o DuckDuckGo também o faz. Quero dizer, quer explicar a algum chefe da máfia na ponta de uma arma porque você indexou os sites escuros deles tornando trivial para o FBI enrolar toda a operação deles? E você quer? Aposto que as pessoas do DuckDuckGo não o fazem. E não vão lá, pelas mesmas razões que o Google e outros não vão.
Even se decidirmos que o crime organizado pode sugá-lo, há também todas as coisas que ficaram escuras para evitar governos autoritários. Queremos o sangue de dissidentes iranianos, chineses ou norte-coreanos nas nossas mãos? Será que queremos? DuckDuckGo certamente não.