Tražilice su opremljene robotima, poznatim i kao pauci ili botovi, koji indeksiraju i indeksiraju web stranice. Ako je vaša web stranica ili stranica u razvoju ili sadrži osjetljiv sadržaj, možda ćete htjeti blokirati robote da indeksiraju i indeksiraju vašu web lokaciju. Saznajte kako blokirati cijele web stranice, stranice i veze datotekama robots.txt te blokirati određene stranice i veze s html oznakama. Čitajte dalje kako biste saznali kako blokirati pristup određenog robota vašem sadržaju.
Koraci
Metoda 1 od 2: Blokiranje tražilica datotekama robots.txt
Korak 1. Shvatite datoteke robots.txt
Datoteka robots.txt obična je ili ASCII tekstualna datoteka koja pauke tražilice informira o tome što im je dopušteno pristupiti na vašoj web lokaciji. Pauci tražilice ne smiju indeksirati datoteke i mape navedene u datoteci robots.txt. Možda će vam trebati datoteka robots.txt ako:
- Želite blokirati određeni sadržaj od pauka tražilice.
- Razvijate web mjesto uživo i niste spremni za to da pauci tražilice indeksiraju i indeksiraju web mjesto
- Želite ograničiti pristup uglednim robotima.
Korak 2. Stvorite i spremite datoteku robots.txt
Da biste stvorili datoteku, pokrenite uređivač običnog teksta ili uređivač koda. Spremite datoteku kao: robots.txt. Naziv datoteke mora biti mali.
- Ne zaboravite "s".
- Kada spremite datoteku, odaberite proširenje ".txt" '. Ako koristite Word, odaberite opciju "Običan tekst".
Korak 3. Napišite potpunu zabranu datoteke robots.txt
Moguće je blokirati svakog renomiranog pauka tražilice da ne indeksira i indeksira vašu web lokaciju s datotekom robots.txt s "potpunom zabranom". U tekstualnu datoteku upišite sljedeće retke:
Korisnički agent: * Ne dopušta: /
Korak 4. Napišite robots.txt datoteku s uvjetnim dopuštenjem
Umjesto blokiranja svih robota, razmislite o blokiranju određenih pauka s određenih područja vaše web stranice. Uobičajene naredbe za uvjetno dopuštanje uključuju:
- Blokirajte određeni bot: zamijenite zvjezdice pored Korisnički agent s googlebot, googlebot-vijesti, googlebot-image, bingbot, ili teoma.
-
Blokirajte imenik i njegov sadržaj:
Korisnički agent: * Ne dopušta: /sample-directory /
-
Blokiranje web stranice:
Korisnički agent: * Ne dopušta: /private_file.html
-
Blokiraj sliku:
Korisnički agent: googlebot-image Disallow: /images_mypicture.jpg
-
Blokiraj sve slike:
Korisnički agent: googlebot-image Disallow: /
-
Blokirajte određeni format datoteke:
Korisnički agent: * Ne dopušta: /p*.gif$
Korak 5. Potaknite botove da indeksiraju i indeksiraju vašu web lokaciju
Mnogi ljudi žele pozdraviti, umjesto blokirati, pauke tražilice jer žele indeksirati cijelu njihovu web lokaciju. Da biste to postigli, imate tri mogućnosti. Prvo, možete odustati od stvaranja datoteke robots.txt-kad robot ne pronađe datoteku robots.txt, nastavit će indeksirati i indeksirati cijelu web lokaciju. Drugo, možete stvoriti praznu datoteku robots.txt-robot će pronaći datoteku robots.txt, prepoznati da je prazna i nastaviti indeksirati i indeksirati vašu web lokaciju. Na kraju, možete napisati datoteku robots.txt s punim dopuštenjem. Upotrijebite kôd:
Korisnički agent: * Ne dopušta:
Korak 6. Spremite txt datoteku u korijen svoje domene
Nakon što ste napisali datoteku robots.txt, spremite promjene. Prenesite datoteku u korijenski direktorij svoje web lokacije. Na primjer, ako je vaša domena www.vaša domena.com, postavite datoteku robots.txt na www.vaša domena.com/robots.txt.
Metoda 2 od 2: Blokiranje tražilica s meta oznakama
Korak 1. Shvatite metaoznake HTML robota
Meta oznaka robota omogućuje programerima postavljanje parametara za botove ili pauke tražilice. Ove se oznake koriste za blokiranje robota u indeksiranju i indeksiranju cijele web stranice ili samo njenih dijelova. Ove oznake možete koristiti i za blokiranje određenog pauka tražilice u indeksiranju vašeg sadržaja. Ove oznake pojavljuju se u glavi vaše HTML datoteke.
Ovu metodu obično koriste programeri koji nemaju pristup korijenskom direktoriju web stranice
Korak 2. Blokirajte robote s jedne stranice
Moguće je blokirati sve botove da indeksiraju stranicu i da ne slijede veze stranice. Ova se oznaka obično koristi kada je živo mjesto u razvoju. Kada web stranica bude dovršena, toplo se preporučuje da uklonite ovu oznaku. Ako ne uklonite oznaku, vaša stranica neće biti indeksirana niti pretraživana putem tražilica.
- Botovima možete blokirati indeksiranje stranice i praćenje bilo koje od veza:
- Možete blokirati sve botove u indeksiranju stranice:
- Možete blokirati sve robote da slijede veze stranice:
Korak 3. Dopustite robotima da indeksiraju stranicu, ali ne slijede njezine veze
Ako dopustite robotima da indeksiraju stranicu, stranica će biti indeksirana; ako spriječite paukove da prate veze, put do veze s ove određene stranice na druge stranice će se prekinuti. Umetnite sljedeći redak koda u zaglavlje:
Korak 4. Neka pauci tražilice slijede veze, ali ne indeksiraju stranicu
Ako dopustite robotima da slijede veze, put do veze s ove određene stranice na druge stranice ostat će u taktu; ako im ograničite indeksiranje stranice, vaša se web stranica neće pojaviti u indeksu. U zaglavlje umetnite sljedeći redak koda:
Korak 5. Blokirajte jednu izlaznu vezu
Da biste sakrili jednu vezu na stranici, umetnite datoteku rel oznaka unutar oznake veze. Ovu oznaku možete koristiti za blokiranje veza na drugim stranicama koje vode do određene stranice koju želite blokirati.
Umetnite vezu na blokiranu stranicu
Korak 6. Blokirajte određenog pauka tražilice
Umjesto blokiranja svih robota s vaše web stranice, možda ćete htjeti spriječiti jednog bota da indeksira i indeksira stranicu. Da biste to postigli, zamijenite "'robot"' unutar meta oznake imenom određenog robota. Primjeri uključuju: googlebot, googlebot-vijesti, googlebot-image, bingbot, i teoma.
Korak 7. Potaknite botove da indeksiraju i indeksiraju vašu stranicu
Ako želite osigurati da će vaša stranica biti indeksirana i da će se pratiti njezine veze, možete umetnuti follow-allow meta "robot" označite u zaglavlje. Upotrijebite sljedeći kôd:
