Подскажите пожалуйста как происходит индексация многоязычного сайта поисковыми роботами если язык идентифицируется из заголовков и УРЛ страницы сайта для двух языков одна и таже?
Например возьмем корневую страницу какого-то домена mydomain.ru
Например вслучае если идет запрос на английскую версию сайто, то сервер ответит с заголовком:
Content-Language: en-us
Если запрос на русский, то с заголовком:
Content-Language: ru

Вопрос в том корректно ли поисковики проиндексируют 2 версии сайта или в индекс попадет 1 версия, которая стоит по умолчанию.

Каким способом с точки зрения СЕО лучше делать многоязычность сайта?
Способо описанный выше аккумулирует ссылки на сайт для двуй версий (английский/русский), но я незнаю как отреагируют поисковики.

Google проиндексирует токлько английскую версию чата. Яндекс только русскую. Тоже с этим столкнулся.
Помогает название языка в URL-е и ссылки на страницы на других языках.
site.com/ru/some/page
site.com/en/some/page
site.com/ja/some/page

Да есть разные версии разделения сайта на языковые версии.
1. Параметром в УРЛ - ?lang=en или ?lang=ru
2. через поддомены - ru.mydomain.com или en.mydomain.com
3. Как вы написали через реальные/виртуальные папки
4. Через заголовки Content-Language

Реализовать любой - непроблема. Но с точки зрения СЕО самый выгодный 4ый способ, вот я решил разобраться.

По поводу яндекса - скорее соглашусь, он проиндексирует русскую версию сайта. Хотя я не проверял. Может если по умолчанию английская он вообще ничего индексировать не станет.
А вот гугл языками не брезгует и тут опять таки встает вопрос как себя поведет гугл пройдет ли только по одной версии сайта или раздуплится что есть несколько языков и просканирует сайт 2 раза (каждый язык)

У меня гугл не хотел  индексировать русскую версию сайта с  ?lang=ru