Kad počnete optimizirati svoje web mjesto za tražilice,
neće proći dugo prije nego što naiđete na datoteku robots.txt . Možda je to samo mala tekstualna datoteka, ali podaci koji se tamo nalaze mogu imati Vodič za početnike za
veliki učinak na vašu web stranicu i njenu vidljivost na stranicama s rezultatima tražilice .
Pojmovi poput ‘ Robots Exclusion Protocol ‘ mogu zvučati kao iz fikcijskog filma, ali sve će vam postati jasno nakon što pročitate ovaj članak.
Što je Robots.txt?
Tražilice koriste web pretraživače za skeniranje interneta Vodič za početnike za
kako bi pronašle sadržaj. Ovi pretraživači su također poznati kao pauci i roboti. Datoteka Robots.txt (Robots exclusion standard) govori ovim alatima za indeksiranje (i drugim korisničkim agentima ) koje stranice i elemente web mjesta trebaju indeksirati i indeksirati.
Jednostavno rečeno, datoteke robots.txt mogu se koristiti kao pomoć alatima za indeksiranje u identificiranju i indeksiranju stranica kupite popis brojeva za emitiranje poslovnog faksa na vašoj web stranici. Datoteka Robots.txt također se može koristiti za upravljanje sigurnošću i performansama poslužitelja.
Stvaranje vašeg Robots.txt
Kao što ime sugerira, Robots.txt je jednostavno .TXT datoteka koja se može stvoriti pomoću popularnih uređivača teksta kao što je Notepad na Windowsu ili TextEdit na Macu.
Datoteka Robots.txt uvijek bi trebala biti smještena u Vodič za početnike za
korijenski direktorij vaše web stranice jer je csináljon három dolgot jól, hogy megkönnyítse az it és az ot integrációját to jedino mjesto gdje će je alati za indeksiranje tražiti.
Ako je vaša stranica napravljena pomoću WordPressa, datoteka robots.txt stvara se kada počnete objavljivati sadržaj. Tada možete kontrolirati što će alati za indeksiranje gledati u odjeljku Postavke privatnosti u vašem WordPress administratoru. Postoji i niz WordPress dodataka kao što je Yoast SEO , koji nudi slične funkcije i kontrole kao datoteke robots.txt.
Prvi element datoteke robots.txt daje upute o popisi SAD-a tome na koje se pretraživače weba naredba odnosi. U nekim slučajevima možda ćete htjeti ograničiti pristup nekim alatima za indeksiranje, ali dopustiti drugima da indeksiraju i indeksiraju vaš sadržaj.
Drugi element datoteke koristi naredbe “ Disallow ” da kaže alatu za indeksiranje gdje može, a gdje ne može tražiti nove stranice za indeksiranje.
Onemogući naredbu
Sljedeća naredba omogućuje alatima za indeksiranje Vodič za početnike za
sa svih tražilica potpuni pristup svakoj stranici vašeg web mjesta.
Kosa crta označava da sve unutar korijenskog direktorija vaše web stranice treba biti blokirano od alata za indeksiranje.
Ova naredba postaje vrlo korisna kada želite blokirati samo određena područja svoje stranice.
Na primjer, možda ne želite da alati za indeksiranje Vodič za početnike za
indeksiraju stranicu za prijavu administratora ili stranicu za naplatu (jer to nisu željene odredišne stranice za vašu web stranicu putem tražilica). U tom slučaju, naredba bi bila takva….
Sve što trebate učiniti je samo dodati
relevantnu putanju do te stranice u novom retku nakon ” Disallow: “.
Važno je znati da tražilice ipak mogu pristupiti vašoj stranici na druge načine ako koristite gornju naredbu. Na primjer,
tekstualna veza sidra na vašu web-lokaciju može značiti da će je alati za indeksiranje ipak pronaći.
Povjerljivi sadržaj uvijek treba spremati u
atoteku zaštićenu lozinkom kako bi se spriječilo da ga neželjeni posjetitelji pronađu.
Ograničavanje određenih alata za indeksiranje/korisničkih agenata
Datoteka robots.txt također se može koristiti za blokiranje određenih pretraživača
i korisničkih agenata. Možda želite blokirati Vodič za početnike za Google da indeksira vašu stranicu;
na primjer, ako je vaša web stranica u izradi.