Web Spideringin ja Web-indeksoijien määrittely

Hämähäkit ovat ohjelmia (tai automaattisia komentosarjoja), jotka "indeksoivat" verkon kautta etsivät tietoja. Hämähäkit matkustavat verkkosivuston URL-osoitteiden kautta ja voivat vetää tietoja verkkosivuilta, kuten sähköpostiosoitteilta. Hämähäkkejä käytetään myös hakemaan moottoreiden verkkosivuilla olevia tietoja.

Hämähäkit, joita kutsutaan myös "web-indeksoijiksi", etsivät Webiä, eivätkä kaikki ole ystävällisiä heidän aikomuksestaan.

Roskapostittajat Spider-sivustot keräämään tietoja

Google, Yahoo!

ja muut hakukoneet eivät ole ainoita, jotka ovat kiinnostuneita verkkosivujen indeksoinnista - niin ovat huijareita ja roskapostittajia.

Hämähäkit ja muut automaattiset työkalut käyttävät roskapostittajia etsimään sähköpostiosoitteita (Internetissä tätä käytäntöä kutsutaan usein "sadonkorjuuksi") verkkosivustoilla ja sitten käyttää niitä roskapostilistojen luomiseen.

Hämähäkit ovat myös hakukoneiden työkalu, jonka avulla saat lisätietoja sivustostasi, mutta jätät tarkistamatta sivuston, jossa ei ole ohjeita (tai "käyttöoikeudet") sivuston indeksointiin. tietoturvariskejä. Hämähäkit matkustavat seuraamalla linkkejä, ja he ovat hyvin taitavia löytämään linkkejä tietokantoihin, ohjelmatiedostoihin ja muihin tietoihin, joihin et halua heidän pääsevän.

Verkkovastaavat voivat tarkastella lokeja nähdäksesi, mitä robotit ja robotit ovat käyneet sivustoissaan. Nämä tiedot auttavat ylläpitäjiä tietämään, kuka indeksoi sivustonsa ja kuinka usein.

Nämä tiedot ovat hyödyllisiä, koska se sallii verkkovastaavien hienosäätää niiden SEO ja päivitysrobotti. txt-tiedostoja kieltämään tietyt robotit indeksoimasta sivustonsa tulevaisuudessa.

Vihjeitä sivustosi suojaamiselta epätoivottavilta Robot-indeksoijilta

Sinulla on melko yksinkertainen tapa pitää ei-toivotut indeksoijat sivustostasi. Vaikka et ole huolestunut haittaohjelmista, jotka indeksoivat sivustosi (epämuodollinen sähköpostiosoite ei suojele sinua useimmilta indeksoijilta), sinun on silti tarvetta antaa hakukoneille tärkeitä ohjeita.

Kaikilla verkkosivustoilla pitäisi olla tiedosto root-hakemistossa nimeltä robotteja. txt-tiedosto. Tämän tiedoston avulla voit ohjeistaa indeksointirobotteja, joille haluat niiden näyttävän hakemistosivuille (ellei tietyssä sivussa ole metatietoja toisin ilmoiteta), jos ne ovat hakukone.

Samoin kuin voit kertoa halutuille indeksoijille, mistä haluat heidän selata, voit myös kertoa heille, missä he eivät välttämättä mene ja jopa estävät yksittäisiä indeksointilaitteita koko sivustostasi.

On tärkeää muistaa, että hyvin koottu robotteja. Txt-tiedostolla on valtava arvo hakukoneille, ja se voi olla jopa keskeinen tekijä verkkosivustosi suorituskyvyn parantamisessa, mutta jotkut robotikoneet indeksoivat edelleen ohjeistasi. Tästä syystä on tärkeää, että kaikki ohjelmat, lisäosat ja sovellukset ovat aina ajan tasalla.

Aiheeseen liittyviä artikkeleita ja tietoja

Varastetuille (roskasektorille) tarkoitetun tiedon keräämisen vuoksi levitettiin vuonna 2003 lainsäädäntö, jolla tiettyjä käytäntöjä laittomiksi. Nämä kuluttajansuojalainsäädännöt kuuluvat CAN-SPAM-säädöksen 2003 piiriin.

On tärkeää, että käytät aikaa CAN-SPAM-lakiin tutustumiseen, jos yrityksesi harjoittaa joukkolähetystä tai tietojen keräämistä.

Lisätietoja roskapostilakeista ja roskapostittajien käsittelemisestä ja mitä yrityksesi omistaja ei voi tehdä lukemalla seuraavia artikkeleita:

• CAN-SPAM Act 2003
• CAN-
• 5 CAN-SPAM-sääntöjen säännöt Small Business Owners Need to Understand