Robots.txt на каждый домен - История изменений

Whoa: переименовал «Robots.txt на каждый домен (2.8)» в «Robots.txt на каждый домен»

2018-06-07T10:01:39Z

переименовал «Robots.txt на каждый домен (2.8)» в «Robots.txt на каждый домен»

Mad grant в 12:45, 5 июня 2013

2013-06-05T12:45:24Z

VITL' в 09:27, 23 сентября 2011

2011-09-23T09:27:14Z

VITL' в 09:08, 26 апреля 2011

2011-04-26T09:08:31Z

VITL': Новая страница: «При подобном запросе _http://ваш_сайт/robots.txt , выполняется файл sbots.php, который в свою очередь по…»

2010-09-26T19:25:30Z

Новая страница: «При подобном запросе _http://ваш_сайт/robots.txt , выполняется файл sbots.php, который в свою очередь по…»

Новая страница

При подобном запросе _http://ваш_сайт/robots.txt , выполняется файл sbots.php, который в свою очередь подключает файл libs/root-src/sbots.php. Первый запуск sbots.php происходит благодаря записи в основном .htaccess:
<pre>
RewriteRule ^robots\.txt$ /sbots.php?path=$1%{QUERY_STRING} [L]
</pre>

в некоторых случаях, необходимо особым образом настроить robots.txt, оставить данные которые формирует UMI.CMS и также добавить некоторые свои настройки. Для выполнения этой задачи изменим запись в .htaccess на:
<pre>
RewriteRule ^robots\.txt$ /sbots2.php?path=$1%{QUERY_STRING} [L]
</pre>

а в корне сайта создадим файл sbots2.php следующего содержания:
<source lang="php">
<?php
define("CURRENT_WORKING_DIR", str_replace("\\", "/", $dirname = dirname(__FILE__)));
require CURRENT_WORKING_DIR . '/libs/config.php';

$cmsController = cmsController::getInstance();
$config = mainConfiguration::getInstance();

$crawlDelay = $config->get('seo', 'crawl-delay');
$primaryWWW = (bool) $config->get('seo', 'primary-www');

$buffer = outputBuffer::current('HTTPOutputBuffer');
$buffer->contentType('text/plain');
$buffer->charset('utf-8');

$sel = new selector('pages');
$sel->where('robots_deny')->equals('1');

$rules = "";
if(sizeof($sel->result) == 0) {
$rules .= "Disallow: \r\n";
}

$rules .= "Disallow: /?\r\n";

foreach($sel->result as $element) {
$rules .= "Disallow: " . $element->link . "\r\n";
}

$domain = $cmsController->getCurrentDomain();

$host = $domain->getHost();
if($primaryWWW) {
$host = 'www.' . $host;
}

switch($domain->getId()){
case 1:
$buffer->push("User-Agent: Rambler\r\n");
$buffer->push($rules . "\r\n");
break;
case 2:
$robots_file = "robots" . $domain->getId() . ".txt";
$buffer->push(file_get_contents($robots_file) . "\r\n");
break;
}

$buffer->push("User-Agent: Googlebot\r\n");
$buffer->push($rules . "\r\n");

$buffer->push("User-Agent: Yandex\r\n");
$buffer->push($rules . "\r\n");

$buffer->push("Host: {$host} \r\n");

$buffer->push("Crawl-delay: {$crawlDelay}\r\n");

$buffer->push("User-Agent: *\r\n");
$buffer->push($rules);

$buffer->end();
?>
</source>

для примера был добавлен новый блок:
<source lang="php">
switch($domain->getId()){
case 1:
$buffer->push("User-Agent: Rambler\r\n");
$buffer->push($rules . "\r\n");
break;
case 2:
$robots_file = "robots" . $domain->getId() . ".txt";
$buffer->push(file_get_contents($robots_file) . "\r\n");
break;
}
</source>

В зависимости от id домена, который можно узнать по следующей ссылке _http://ваш_сайт/admin/config/domains/.xml, отрабатывается свой case.

Вы можете переписать sbots2.php на свое усмотрение, как того требует ваша задача. При обновлении системы файл .htaccess не перезаписывается, поэтому всегда будет отрабатываться файл sbots2.php для формирования robots.txt.
Можно создать в корне сайта файлы robots1.txt, robots2.txt и т.д., и подключать их подобному тому как этой сделано во втором case.

← Предыдущая		Версия 12:45, 5 июня 2013
Строка 101:		Строка 101:
	exit;		exit;
	</pre>		</pre>
		+	[[Категория:Вопросы и уроки разработки сайтов на UMI.CMS]]

← Предыдущая		Версия 09:08, 26 апреля 2011
Строка 1:		Строка 1:
		+	Информация в данной статье применима только для версий системы '''2.8.*''' и выше.
		+
	При подобном запросе _http://ваш_сайт/robots.txt , выполняется файл sbots.php, который в свою очередь подключает файл libs/root-src/sbots.php. Первый запуск sbots.php происходит благодаря записи в основном .htaccess:		При подобном запросе _http://ваш_сайт/robots.txt , выполняется файл sbots.php, который в свою очередь подключает файл libs/root-src/sbots.php. Первый запуск sbots.php происходит благодаря записи в основном .htaccess:
	<pre>		<pre>

← Предыдущая	Версия 10:01, 7 июня 2018
(нет различий)

← Предыдущая		Версия 09:27, 23 сентября 2011
Строка 94:		Строка 94:
	Вы можете переписать sbots2.php на свое усмотрение, как того требует ваша задача. При обновлении системы файл .htaccess не перезаписывается, поэтому всегда будет отрабатываться файл sbots2.php для формирования robots.txt.		Вы можете переписать sbots2.php на свое усмотрение, как того требует ваша задача. При обновлении системы файл .htaccess не перезаписывается, поэтому всегда будет отрабатываться файл sbots2.php для формирования robots.txt.
	Можно создать в корне сайта файлы robots1.txt, robots2.txt и т.д., и подключать их подобному тому как этой сделано во втором case.		Можно создать в корне сайта файлы robots1.txt, robots2.txt и т.д., и подключать их подобному тому как этой сделано во втором case.
		+
		+	Если вам необходимо не добавлять данные к системному robots.txt, а заменять, то в case-ах можно использовать такой код:
		+	<pre>
		+	$robots_file = "robots" . $domain->getId() . ".txt";
		+	echo file_get_contents($robots_file);
		+	exit;
		+	</pre>