当前位置: 首页 > mongodb, 分布式系统, 缓存系统 > 正文

使用mongodb做分页/排名查询时的性能问题

关键字:
1 星2 星3 星4 星5 星 (1 次投票, 评分: 5.00, 总分: 5)
Loading ... Loading ...
baidu_share

无论是采用什么数据库,通常都有一些常规的做分页和排名的方法。本文就通过一些测试数据来向大家介绍MongoDB在这方面的性能。

分页

首先我们来做一个分页,在MongoDB中示例数据如下所未:

1
2
3
4
5
db.scores.find();
{lid: ObjectId("4fe506dabb2bfa742d000001"), score: 1, name: 'user_1'}
{lid: ObjectId("4fe506dabb2bfa742d000001"), score: 2, name: 'user_2'}
{lid: ObjectId("4fe506dabb2bfa742d000001"), score: 3, name: 'user_3'}
{lid: ObjectId("4fe506dabb2bfa742d000001"), score: 4, name: 'user_4'}

其中lid字段用于区分不同的纬度,主要用在筛选上,在测试collection中,一共有五个不同的lid值,每一个对应1,200,000条数据,一共6,000,000条数据。索引在lid 和 score上。(下面的查询能使用到索引)

然后我们进行下面的性能测试:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
collection = Mongo::Connection.new.db('test').collection('scores')
Benchmark.bmbm do |x|
  x.report("mongo small") do
    100.times do |i|
      collection.find({:lid => lids.sample}, {:fields => {:_id => false, :score => true, :user => true}}).sort({:score => -1}).limit(20).skip(i * 20).to_a
    end
  end
  x.report("mongo medium") do
    100.times do |i|
      collection.find({:lid => lids.sample}, {:fields => {:_id => false, :score => true, :user => true}}).sort({:score => -1}).limit(20).skip(i * 1000).to_a
    end
  end
  x.report("mongo large") do
    100.times do |i|
      collection.find({:lid => lids.sample}, {:fields => {:_id => false, :score => true, :user => true}}).sort({:score => -1}).limit(20).skip(i * 10000).to_a
    end
  end
end

上面分别对skip条数比较小,中等大小和非常大三种情况进行了测试。而limit指定获取的数据都一样是20条。这三种情况下的测试结果分别是:0.6 秒, 17 秒,173 秒。

我们可以看到,对MongoDB来说,skip的大小严重影响性能,应该严格避免特别大的skip操作。

排名

排名功能与分页功能类似,不同的是排名是通过计算大于某个值的条数来做的。

比如:

1
2
3
4
//sql
select count(*) from scores where lid = $1 and score > $2
//mongo
db.scores.find({lid: lid, score: {$gt: score}}).count()

由于排名和分页实现原理上类似,所以结果实际上差不多。测试结果如下:

1
2
mongo top rank   1.155847
mongo average    22.291007

结论

上面做了对比,那么本文要说一个什么问题呢?

首先,在MongoDB中,尽量避免进行比较大的skip操作,比如在分页中,如果你能知道需要获取数据的上一条score是多少,那么可能能够用下面的方法来获取你要的数据,而不是通过一次很大的skip操作。

1
db.scores.find({lid: lid, score: {$lt: last_score}}).sort({score: -1}).limit(20)

另外,如果你需要进行比较大的skip操作或者count比较大的数量,那么可以考虑采用Redis的Sorted Sets来做。

本文固定链接: http://www.chepoo.com/using-mongodb-do-paging-ranking-query-performance-issues.html | IT技术精华网

使用mongodb做分页/排名查询时的性能问题:等您坐沙发呢!

发表评论