User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Пагінація архівів: /2020/page/372, /news/page/1500 і подібне.
# Тисячі адрес, які читають лише боти, і кожна — окремий рендер PHP.
# Статті живуть під /news/ і /public/, тож ці правила їх не зачіпають;
# нові матеріали Google знаходить через карту сайту.
Disallow: /page/
Disallow: /*/page/

# Результати пошуку: повний запит по 78 тисячах статей повз усі кеші.
Disallow: /*?s=

# Архів автора: усі автоновини від одного автора, дублює стрічку.
Disallow: /author/

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: BLEXBot
Disallow: /

Sitemap: https://dnepr.news/sitemap_index.xml