Модераторы: skyboy, MoLeX, Aliance, ksnk
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> сайтмап с больщим обьемом данных и robots.txt 
:(
    Опции темы
mstdmstd
Дата 11.7.2015, 08:26 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 394
Регистрация: 30.12.2008

Репутация: нет
Всего: нет
Всем привет,
делаю сайтмап с больщим обьемом данных
Вопрос в том что тут http://www.sitemaps.org/faq.html#faq_sitemap_size
написано 
Код

Sitemaps should be no larger than 10MB (10,485,760 bytes) and can contain a maximum of 50,000 URLs. These limits help to ensure that your web server does not get bogged down serving very large files. 
This means that if your site contains more than 50,000 URLs or your Sitemap is bigger than 10MB, you must create multiple Sitemap files and use a Sitemap index file. You should use a Sitemap index file 
even if you have a small site but plan on growing beyond 50,000 URLs or a file size of 10MB. A Sitemap index file can include up to 1,000 Sitemaps and must not exceed 10MB (10,485,760 bytes). You 
can also use gzip to compress your Sitemaps.


Я сделал в скрипте разбивку на несколько файлов по максимальному кол-ву строк в каждом файл.
 В robots.txt прописаны ссылки на эти сайтмапы.

И возник вопрос : а как быть в случае резкого увеличивания/уменьшения объема данных ?  предположим я делаю разбивку по 20 000 строк на один файл и при объеме данных  в 44 000 строк получается 3 файла ссылки на которые прописаны в robots.txt. Если данных резко увеличилочь вдвое, то это будет 5 файлов - ну скрипт то их сгенерирует, а как править robots.txt. В том же скрипте(?).Я смог придумать высылать отчет админу с кол-вом файлов .Может быть и обратная ситуация с резким уменьшением данных...
А если тупо делить скриптом данные на несколько частей - то может оказаться что файлы будут очень большими...

Кто с таким сталкивался, поделитесь опытом.
PM MAIL   Вверх
ksnk
Дата 11.7.2015, 09:11 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


прохожий
****


Профиль
Группа: Комодератор
Сообщений: 6855
Регистрация: 13.4.2007
Где: СПб

Репутация: 96
Всего: 386
mstdmstd, Недавно в ленте пролетел проект от samdark. Насколько я разобрался - это какой-то хелпер, для работы с линками, не паук. Зато он умеет сам разбивать список линков на нужное количество в файле и создавать правильно выглядящие сайтмяпы.
Не оно?


--------------------
Человеку свойственно ошибаться, программисту свойственно ошибаться профессионально ! user posted image
PM MAIL WWW Skype   Вверх
  
 Ответ в темуСоздание новой темы Создание опроса
Правила форума "PHP"
Aliance
IZ@TOP
skyboy
SamDark
MoLeX

Новичкам:

  • PHP редакторы собираются и обсуждаются здесь
  • Электронные книги по PHP, документацию можно найти здесь
  • Интерпретатор PHP, полную документацию можно скачать на PHP.NET

Важно:

  • Не брезгуйте пользоваться тегами [code=php]КОД[/code] для повышения читабельности текста/кода.
  • Перед созданием новой темы воспользуйтесь поиском и загляните в FAQ
  • Действия модераторов можно обсудить здесь

Внимание:

  • Темы "ищу скрипт", "подскажите скрипт" и т.п. будут переноситься в форум "Web-технологии"
  • Темы с именами: "Срочно", "помогите", "не знаю как делать" будут УДАЛЯТЬСЯ

Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, IZ@TOP, skyboy, SamDark, MoLeX, awers.
 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | PHP: Общие вопросы | Следующая тема »

Подписаться на тему | Подписка на этот форум | Скачать/Распечатать тему


 




[ Время генерации скрипта: 0.0829 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
 По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.