Qual é a legalidade da raspagem da web?

É um tópico bastante complexo. Depende do site, dos dados que você está raspando, o que você quer fazer com os dados. A legalidade do webscraping também depende de onde você está baseado e que legislação se aplica a você. Se você tem um caso de uso específico em mente é sempre bom verificar com um advogado especializado para ter certeza que o caso de uso é legal.

Verifica as regras do website:

Esta é a primeira parada para verificar a legalidade do seu caso de uso.

A maioria dos websites tem um arquivo robots.txt que informa quais dados eles devem ser raspados't scrape. Você pode, por exemplo, olhar o arquivo robots.txt do Quora: Bots não têm permissão para indexar dados sobre quem você segue e quem está seguindo você no Quora.

Verifica se os dados que você planeja usar estão protegidos:
alguns dados, como informações pessoais, estão legalmente protegidos. Mesmo que informações como o meu nome sejam públicas no Quora, extraí-las sem o meu consentimento é contra várias leis de proteção de dados. A legislação de proteção de dados pessoais é um vasto assunto em si. Ela será muito dependente da sua localização. GDPR, por exemplo, colocará restrições significativas a você na Europa.

Você também precisa prestar atenção especial a dados sensíveis como opiniões políticas e crenças religiosas. Se você usar casos que requerem esses dados é provável que seja ilegal.

Cheque o que você fará com os dados:

A legalidade do webscraping também é condicional ao propósito dos dados's. Há um princípio de uso justo . Por exemplo, para publicar um ranking, você pode raspar uma lista de influenciadores Quora. Você'está essencialmente promovendo esses indivíduos, dando-lhes valor. Você'não poderá raspar a Quora para enviar uma oferta de venda personalizada, dependendo das perguntas que os clientes façam. O uso justo pode ser interpretado de várias maneiras, portanto nunca é um corte claro.

A forma como o seu processo também importa muito. Por exemplo, se você tem um processo para anonimizar dados, você poderia coletar e trabalhar com dados sensíveis.