Wydawcy chcą większej kontroli nad robotami wyszukiwarek

Agencje prasowe oraz wydawcy gazet uważają, że obecny system kontroli robotów indeksujących zawartość stron internetowych jest niewystarczający i proponują stworzenie nowego protokołu, który dawałby im większe możliwości.

Obecnie wyszukiwarki takie jak Google czy Yahoo dzięki mechanizmowi nazwanemu Robots Exclusion Protocol dobrowolnie respektują umieszczone w specjalnym pliku informacje na temat tego, jakie części witryny mają być zarejestrowane przez roboty przeczesujące sieć i indeksujące strony.

Technologia ta ma już trzynaście lat i w coraz mniejszym stopniu spełnia swoje zadanie. Do takiego wniosku doszły przede wszystkim agencje prasowe oraz inni wydawcy publikujący w swoich serwisach dużą ilość informacji.

Robots.txt był stworzony w innej erze - uważa Gavin O'Reilly, prezydent Światowego Stowarzyszenia Wydawców Gazet (World Association of Newspapers - WAN). Działa znakomicie dla wyszukiwarek, ale nie dla wydawców.

źródło: Dziennik Internautów, więcej na DI