Aký je súbor robots.txt?

Úvod

Súbor robots.txt je jednoduchý textový súbor, ktorý je súčasťou protokolu na vylúčenie robotov (REP). Obsahuje pokyny pre vyhľadávače, ako pristupovať a indexovať stránku. Aby bol efektívny, súbor robots.txt musí byť umiestnený v koreňovom adresári stránky (napríklad https://domeniu.ro/robots.txt).

Dôležitosť súboru robots.txt

Soubor robots.txt je zásadní pro správu interakce botů s webem. Existuje mnoho botů, kteří mohou agresivně indexovat web, což může ovlivnit jeho výkon. Pomocí tohoto souboru můžete:

• Ovládajte prístup vyhľadávačov k obsahu stránky.
• Umožňuje indexovanie iba požadovanými robotmi (napr. Google, Bing).
• Obmedziť prístup k citlivým priečinkom alebo súborom.

Príklady použitia

1. Blokovanie konkrétneho vyhľadávača

Aby ste zablokovali prístup pre vyhľadávač Bing (bingbot), pridajte nasledujúce riadky do súboru robots.txt:

User-agent: bingbotZamedziť: /

Vysvetlenie:
Užívateľský agent: Určuje vyhľadávač, na ktorý sa nastavenia vzťahujú.
Zakázať: Definuje časti stránky, ku ktorým robot nemá prístup. Symbol / blokuje prístup na celú stránku.

2. Blokovanie všetkých vyhľadávačov

Aby ste zabránili všetkým vyhľadávačom v prístupe na stránku, použite:

User-agent: *Zamedziť: /

Vysvetlenie: Symbol * (zástupný znak) v poli User-agent sa vzťahuje na všetky vyhľadávače a / blokuje prístup na celú stránku.

3. Obmedzenie prístupu k určitým priečinkom alebo súborom

Na blokovanie prístupu k priečinku a konkrétnemu súboru nakonfigurujte:

User-agent: *Disallow: /blog/Disallow: /newsletter.php

Vysvetlenie: Všetky vyhľadávače budú zablokované pred indexovaním priečinka /blog/ a súboru newsletter.php.

Vytvorenie súboru robots.txt

Ako vytvoriť súbor robots.txt, môžete použiť online generátor, ktorý vám pomôže rýchlo a bezchybne prispôsobiť pravidlá. Príklady online generátorov nájdete prostredníctvom vyhľadávania: Generátor Robots.txt.

Po vytvorení súboru ho nahrajte do koreňového adresára stránky pomocou správcu súborov alebo FTP klienta.