Semaltekspert på skrabering af webstededata - Gode og dårlige bots

Webskrapning har eksisteret i lang tid og betragtes som nyttig for webmastere, journalister, freelancere, programmerere, ikke-programmerere, markedsføringsforskere, lærde og eksperter på sociale medier. Der er to typer bots: gode bots og dårlige bots. De gode bots gør det muligt for søgemaskinerne at indeksere webindholdet og får høj præference af markedseksperter og digitale marketingfolk. De dårlige bots er på den anden side ubrugelige og sigter mod at skade et websteds placering af søgemaskiner. Lovligheden af skrabning af nettet afhænger af, hvilken type bots du har brugt.

Hvis du f.eks. Bruger de dårlige bots, der henter indholdet fra forskellige websider med det formål at bruge det ulovligt, kan webskraberingen være skadelig. Men hvis du bruger de gode bots og undgår de skadelige aktiviteter, herunder benægtelse af serviceangreb, online-svig, konkurrencedygtige dataindvindingsstrategier, datatyverier, kontokapninger, uautoriseret sårbarhedsscanning, digitale annonceringssvig og stjæle de intellektuelle egenskaber, så er skrapningsproceduren for web god og hjælpsom til at udvide din virksomhed på Internettet.

Desværre elsker de fleste af freelancere og startups dårlige bots, fordi de er en billig, magtfuld og omfattende måde at indsamle data uden behov for et partnerskab. Store virksomheder bruger dog de lovlige webskrapere til at få deres gevinster og ønsker ikke at ødelægge deres omdømme på Internettet med ulovlige webskrabere. De generelle udtalelser om lovligheden af skrotning af web synes ikke at have nogen betydning, for i de sidste par måneder er det blevet klart, at de føderale retssystemer krakker mere og mere ulovlige strategier for skrabning af nettet.

Webskrapning begyndte som en ulovlig proces tilbage i 2000, hvor brugen af bots og edderkopper til at skrabe websteder blev betragtet som tull. Ikke mange praksis blev tilpasset til at forhindre denne procedure i at sprede sig på Internettet indtil 2010. eBay indgav først de foreløbige påbud mod Bidder's Edge og hævdede, at brugen af bots på webstedet havde overtrådt Trespass to Chattels-lovene. Domstolen indrømmede snart påbudene, fordi brugerne måtte aftale vilkårene og betingelserne på webstedet, og et stort antal bots blev deaktiveret, da de kunne være ødelæggende for eBay's computermaskiner. Retssagen blev snart afgjort uden for retten, og eBay forhindrede alle i at bruge bots til skrabning på nettet, uanset om de er gode eller dårlige.

I 2001 havde et rejsebureau sagsøgt de konkurrenter, der skrot dets indhold fra hjemmesiden ved hjælp af skadelige edderkopper og dårlige bots. Dommerne trak igen foranstaltninger mod forbrydelsen og begunstigede ofrene og sagde, at både skrotning af web og brugen af bots kunne skade forskellige online-virksomheder.

I dag, til akademisk, privat og informationssamling, er mange mennesker afhængige af fair webskrapningsprocedurer, og der er udviklet en masse webskrapningsværktøjer i denne henseende. Nu siger embedsmændene, at ikke alle disse værktøjer er pålidelige, men at de der kommer i betalte versioner eller premium-versioner er bedre end de gratis webskrapere .

I 2016 havde Kongressen vedtaget den første lovgivning for at målrette de dårlige bots og favorisere de gode bots. The Better Online Ticket Sales (BOTS) Act blev dannet, som forbød brugen af ulovlig software, der kunne målrette webstederne, skade deres rækker i søgemaskinerne og ødelægge deres forretninger. Der er spørgsmål om retfærdighed. For eksempel har LinkedIn brugt en masse penge på de værktøjer, der blokerer eller eliminerer dårlige bots og opmuntrer til gode bots. Da domstolene har forsøgt at afgøre lovligheden af skrabning på nettet, får virksomhederne deres data stjålet.

mass gmail