Je robots.txt verteld aan zoekmachines, zoals Google, welke pagina's ze wel en niet moeten doorzoeken op je website. Alhoewel je hier zelden iets aan hoeft te doen, kunnen er situaties zijn waarbij je toch een deel van je website niet door zoekmachines of andere bots bezocht wilt hebben.