Это файл, запрещающий индексацию отдельных элементов сайта (страниц, файлов, каталогов), связанных, например, с конфиденциальной информацией. https://lively-falcon-kjthpj.mystrikingly.com/blog/85fd1aa4a8d