добрый день, коллеги
mongodb используется в тестовом режиме для сбора статистики посещений страниц сайта, без шардинга
существует коллекция для учета входящих посетителей
на данный момент в ней порядка 250 000 записей
при выводе статистики по реферам, или, к примеру, странам, время выполнения запроса достигает ~5,5 секунд при использовании aggregate, и ~6 секунд при использовании mapreduce
каким образом можно ускорить выборку и формирование статистики, учитывая что в дальнейшем размеры коллекции будут в десятки раз больше
php 5.5.3, драйвер mongo стандартный, версия mongodb 2.4.6
запрос aggregate
| Код |
$request = $db->incoming->aggregate(
array(
'$project' => array(
'_id' => 0,
'referer' => 1,
'count' => array(
'$add' => 1
)
)
),
array(
'$group' => array(
'_id' => '$referer',
'num' => array(
'$sum' => '$count'
)
)
),
array(
'$sort' => array(
'num' => -1
)
),
array(
'$limit' => 20
)
);
foreach ($request['result'] as $referer)
{
echo $referer['_id'] . '"\t" . $referer['num'] . "\n";
}
|
использование mr
| Код |
$map = 'function() {emit(this.referer, 1);}';
$reduce = 'function(key,val) {var sum = 0; for(var i = 0; i < val.length; i++){sum += val[i];}return sum;}';
$request = $db->command(array(
'mapreduce' => 'incoming',
'map' => new MongoCode($map),
'reduce' => new MongoCode($reduce),
'out' => 'myres'
));
$refstats = $db->myres->find()->sort(array('value' => -1))->limit(20);
foreach( $refstats as $refval)
{
echo $refval['_id'] . "\t" . $refval['value'] . "\n";
}
|
|
)