Googlebot
Googlebot – robot wykorzystywany przez wyszukiwarkę Google. Jego celem jest przeglądanie stron w internecie oraz gromadzenie informacji na ich temat. Dzięki tej wnikliwej analizie tworzy indeks wyszukiwania dla swojej wyszukiwarki.
Istnieje możliwość wykluczenia określonych podstron, aby nie były indeksowane, wystarczy je zablokować poprzez plik robots.txt.