Сбор низкочастотки для товаров из Admitad. Первые фейлы

Ранее я описывал, что решил с командой заняться созданием сайтов под сбор низкочастотки и слив на адмитад. Более подробно в после https://4aff.club/question/1359/

Первый проект мы запустили, и сразу же получили кучу опыта. Как говорится в одной пословице "Опыт, это те знания, которые у тебя появляются сразу после того как они тебе были нужны".

Итак, что мы сделали.
Спарсили XML от поставщика. Распределили его категории по своей структуре, которая нам казалась более правильной.
Сделали 80 поддоменов, по ключевым городам России.
Сделали возможность использовать переменные с названием города в разных склонениях на различных страницах сайта.
Проработали фильтры, определились, какие нужно открыть для индексации. Задали значениям фильтров правильные склонения.
Написали и задали шаблонные тексты с использованием названий городов и названий фильтров для страниц категорий и страниц категория+фильтр.
Сделали автоматическое добавление поддоменов в яндексвебмастер, автоматическое их подтверждение и добавление ссылок на sitemap
Поделили sitemap на части, чтобы загрузить для начала именно ссылки на категории и фильтры.

Но, первый проект не мог пройти без фейлов.
В итоге мы.

1. Накосячили с созданием категорий. И так как сайт был открыт для индексации, Яндекс сначала забрал себе в индекс категории, которые мы затем удалили, а затем выкидывал их с ошибкой 404
2. Забыли отключить мультиязычность у сайта. В итоге опять таки Яндекс проиндексировал урлы английской и украинской версии, которые были дублями основной версии. А мы затем 301 редиректом удаляли их из поиска.
3. Ошиблись при перелинковке поддоменов, сделали ссылки на двойные поддомены, которые Яндекс опять таки быстро проиндексировал и теперь мы получили кучу говна в поиске типа: http://joxi.ru/GrqlbN5CzxdXeA
4. Не учли что яндекс по другому относится к страницам пагинации, и сейчас яндекс из опять таки перемалывает, но не совсем правильно.

Как итог:

1. В гугле сайт развивается потихоньку, в индексе сейчас около 400 урлов http://joxi.ru/DrlK8kjCKxO9oA
2. В Яндексе сайт нормально так несколько раз переколбасило, на пике было 12 000 страниц в индексе, сейчас около 5 000. При этом сейчас всё ещё много мусора, ждем пока он вылетит из индекса и продолжаем наблюдение.

Параллельно готовим к запуску второй сайт, уже с учётом допущенных ошибок.

P.S. Записал видео, где проговорил об ошибках, возможно кому-то так будет удобнее.