Robots.txt je akýsi pravidelný usporiadací súbor na webovom serveri, ktorý hovorí vyhľadávacím robotom, čo môžu alebo nemôžu robiť na webovej stránke. Tento súbor dáva pokyny robotom vyhľadávačov o tom, ktoré časti stránky by mali byť indexované alebo preskúmané. Jeho cieľom je ovplyvniť to, ako vyhľadávače prechádzajú a indexujú obsah webových stránok. Vďaka nemu môžu webmasteri kontrolovať, ako vyhľadávače spracovávajú ich webový obsah.
