Robots Exclusion Protocol – mechanizm informowania automatów o tym, czego nie powinny robić na stronie WWW.
Dotyczy to przede wszystkim działających automatycznie programów indeksujących serwisy WWW dla wyszukiwarek, które podążając za hiperłączami indeksują całą zawartość danego serwisu do katalogu wyszukiwarki, ale również programów innego typu, np. automatycznych mirrorów.
Robots Exclusion Protocol jest systemem honorowym i jedynie informuje o odpowiednim zachowaniu, nie wymusza go zaś w żaden sposób. System ten jest generalnie przestrzegany, gdyż w niczyim interesie nie leży łamanie jego zasad.
[edytuj] Powody stosowania
- Czasem pobranie jakiejś strony powoduje wywołanie jakiejś akcji, np. oddanie głosu w sondażu (ściśle interpretując standardy, wszystkie tego typu akcje powinny odbywać się za pomocą formularzy i metody POST, nie linków i GET, nie jest to jednak powszechnie przestrzegane).
- Niechęć autora do tego, żeby dana strona była indeksowana w wyszukiwarkach, gdyż nie wnosi ona żadnej nowej treści do ich bazy. Tak jest m.in. ze stronami edycji na Wikipedii, np.:
- http://pl.wikipedia.org/w/wiki.phtml?title=Robots_Exclusion_Protocol&action=edit
- Duże obciążenie serwera w związku z generacją strony oraz zwykłą niechęć do tego, żeby była ona w bazach wyszukiwarek. Niektóre strony internetowe z różnych przyczyn wolą pozostać poza wyszukiwarkami, lub pozwalają na indeksowanie tylko swojej strony głównej.
[edytuj] Mechanizmy
Istnieją dwa mechanizmy Robots Exclusion Protocol: robots.txt i znaczniki meta.
[edytuj] robots.txt
Najważniejszym mechanizmem jest plik robots.txt umieszczony w katalogu głównym serwera. Zgodnie ze standardem Robots Exclusion Protocol, robots.txt to plik składający się z:
- komentarzy zaczętych od #
- rekordów oddzielonych pustymi liniami
- rekord składa się z pól Nazwa: Wartość
- jednego pola User-agent
- pól Disallow
Pole User-agent oznacza jakich programów dany rekord dotyczy. Pola Disallow to prefiksy URL-i, których ściągać nie wolno.
Pole User-agent: * dotyczy wszystkich nie wymienionych w innych rekordach programów.
Niektóre boty rozumieją też inne pola, np. ograniczające ilość pobrań ze strony na minutę.
Cała witryna będzie indeksowana przez roboty (tak jakby nie było pliku robots.txt):
Cała witryna nie będzie indeksowana:
User-agent: *
Disallow: /
Indeksowane nie będą tylko foldery "images" i "private" w katalogu głównym strony:
User-agent: *
Disallow: /images/
Disallow: /private/
Indeksowany nie będzie tylko plik "file" w katalogu "directory":
User-agent: *
Disallow: /directory/file.html
[edytuj] Znaczniki meta
Jest też możliwe podawanie dyrektyw dla robotów w znacznikach HTML: <meta name="robots" content="X">, gdzie X to:
- noindex – nie indeksuj strony
- nofollow – nie podążaj za linkami na stronie
- noarchive – nie archiwizuj strony w cache
X może być złożone z jednego, dwóch lub trzech powyższych słów rozdzielonych przecinkiem (np. noindex,nofollow,noarchive), przy czym dopuszczalne jest też użycie słowa none jako odpowiednika noindex,nofollow.
Znaczniki meta wymagają analizy HTML-a, więc są uznawane o wiele rzadziej niż robots.txt
pizza Radom sklep ekologiczny Anioł Biznesu przenośniki owoce organiczne gry nowe extra newsy praca Tomaszów Mazowiecki
Dieta tapety na pulpit ubezpieczenia grupowe Kim Appleby apartamenty Gdynia
Poezja Wiersze Autorzy - Komrki Telefony komrkowe Informacje gsm - znane cytaty popularne - ciekawe frazeologizmy wielki zbir - Filmy animowane Bajki najlepsze bajki - Sprawd co znacz sny ciekawy sennik - Nieruchomoci krakw -
katalog dobrych stron
| gry online gry gry online
| apartament sopot
| nauka jazdy w łodzi
| JOGA Centrum joga Adama Bielewicza
| najlepsze tworzenie stron www dla ciebie - tworzenie stron
| MiP Data Recovery odzyskiwanie danych Naprawa dysków
| Tworzenie Stron Internetowych Tworzenie Stron Internetowych
| darmowy katalog stron
| Atrakcyjne artykuły
| kpl. sprzęgłowy CITROEN XSARA (VA
| prawo jazdy gdynia
| Matura 2010 - Prezentacje maturalne z języka polskiego
| Windykacja Windykacja Windykacja
| Doradztwo Doradztwo Doradztwo
Pozycjonowanie PRO | Free CSS | Piersi | punches recipes