Laravel Dynamic Robots отдаёт свой robots.txt для каждого окружения. Достаточно создать директорию и положить в неё по blade-файлу на каждое окружение — нужные правила сами окажутся на нужном хосте.

Это снимает небольшую, но дорогую ошибку: проиндексированный стейджинг, унаследовавший продакшен-файл, или продакшен, который тихо запрещает индексацию, потому что унаследовал файл стейджинга.

robots.txt этого сайта работает на нём — пустой локально, полный на продакшене.