просто некоторые разработчики заранее уважают право роботов на отдых.