Como a Airbnb detecta e oculta endereços de e-mail e websites em mensagens?

As pessoas tendem a ofuscar este tipo de dados de apenas um pequeno número de maneiras. Assim, provavelmente usam apenas uma combinação de expressões regulares e heurísticas para encontrar grupos de palavras que se parecem com números de telefone, websites ou endereços de email (que têm uma estrutura única). Você poderia atacar cada um desses problemas separadamente e, com alguns dias de codificação, derrubar a maioria dos casos de ortografias ofuscadas. Eles poderiam usar expressões regulares simples para todos os endereços de e-mail, números de telefone e sites diretamente soletrados. Além disso, poderiam bloquear outras palavras em alguma "lista de concorrentes", por exemplo "craigslist" ou "vrbo". Podem também detectar qualquer palavra que esteja a uma curta distância de edição de uma palavra escrita correctamente em qualquer uma destas listas (mas não't aparecem t0). Finalmente, para bloquear algumas pessoas inteligentes de escrever coisas como "cinco 1 oh", mas permitir que as pessoas escrevam "1 pessoa", elas provavelmente separam as frases em "palavras" por espaço branco e pontuação usando qualquer uma das muitas caixas de ferramentas de tokenizer comumente encontradas e procuram por "palavras" seqüenciais que se encaixam em um certo padrão. Digamos que para números de telefone, nos EUA 7 ou 10 "palavras numéricas" na "lista de números" em uma linha pode indicar um número de telefone ofuscado, que pode então ser bloqueado.

Obtendo um monte de dinheiro, eles podem também contratar alguns especialistas em Machine Learning para treinar um modelo de aprendizagem online supervisionada e discriminatória usando exemplos de texto ofuscado que eles querem bloquear e texto que eles vão permitir para cada língua. A recolha e etiquetagem destes dados pode ser melhor realizada pela Amazon Turk, que poderia então actualizar o modelo até que se obtenha precisão e recordação suficientes.

O diabo está nos detalhes!