Смотрите видео, выполняйте все инструкции и переходите к следующему уроку
https://youtu.be/AIn8TQvNLuE
Вам понадобится:
ВНИМАНИЕ: обратите внимание в какое поле вставляете информацию. Если вставите не в поле robots.txt, то сайт перестанет работать
Задание:
- Создать robots.txt
- Настроить его под свой сайт