当前位置: 首页 > elasticsearch, 搜索 > 正文

ElasticSearch:Parent-Child特性使用

1 星2 星3 星4 星5 星 (1 次投票, 评分: 5.00, 总分: 5)
Loading ... Loading ...
baidu_share

介绍下ElasticSearch里Parent-Child特性的使用。
//首先创建一系列新闻的索引,这里我们将hot类型作为parent-chid关系里面的parent。

1
2
3
curl -XPUT 'http://localhost:9200/news/hot/1'  -d '{    "uname" : "medcl",    "content" : "河南警方:“南阳老板遭逼供致残与狗同笼”纯属谎言"}'
curl -XPUT 'http://localhost:9200/news/hot/2'  -d '{    "uname" : "medcl",    "content" : "马英九打两岸牌反制绿营"}'
curl -XPUT 'http://localhost:9200/news/hot/3'  -d '{    "uname" : "medcl",    "content" : "专题:中共十七届六中全会公报"}'

//假设我们对每个新闻的评论也分别建立索引,那么新闻的评论和新闻之间会存在一个关系,一篇新闻肯定是存在多个评论,那么我们将评论comment存一个索引,并且和前面的hot新闻索引建立parent-chid关系,评论在这里为child。
//将索引类型hot与comment之间建立parent-child的mapping关系

1
curl -XPUT 'http://localhost:9200/news/comment/_mapping' -d '{    "comment" : {        "_parent" : {            "type" : "hot"        }    }}'

直接试试创建一个comment评论看看,发现已经不行了,原来指定了类型拥有parent-child关系之后,必须要带上parent参数

1
2
3
4
curl -XPUT 'http://localhost:9200/news/comment/1'    -d '
{    "uname" : "凤凰网安徽省六安市网友",    "content" : "河南警方的话没人信"}'
{"error":"RoutingMissingException[routing is required for [news]/[comment]/[1]]"
,"status":500}

正确的方式创建几条评论,并且和前面的第一条新闻建立关系,如下:

1
2
3
4
curl -XPUT 'http://localhost:9200/news/comment/1?parent=1'    -d '{    "uname" : "凤凰网安徽省六安市网友",    "content" : "河南警方的话没人信"}'
curl -XPUT 'http://localhost:9200/news/comment/2?parent=1'    -d '{    "uname" : "凤凰网湖北省武汉市网友",    "content" : "没有监督权\n没有调查\n一切当然只能是谣言"}'
curl -XPUT 'http://localhost:9200/news/comment/3?parent=1'    -d '{    "uname" : "ladygaga",    "content" : "双下肢不活动,存在废用性肌肉萎缩。请问,这个是怎么做到的?"}'
curl -XPUT 'http://localhost:9200/news/comment/4?parent=1'    -d '{    "uname" : "medcl",    "content" : "额"}'

我们使用has_child查询一下:

1
2
3
4
5
6
7
8
curl -XGET 'http://localhost:9200/news/_search' -d '{ 
    "query" : { 
        "has_child" : {
            "type" : "comment", 
            "query" :{"term" : {"uname" : "medcl"} }
        }
    }
}'

结果如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
{
    "took": 10,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 1,
        "hits": [
            {
                "_index": "news",
                "_type": "hot",
                "_id": "1",
                "_score": 1,
                "_source": {
                    "uname": "medcl",
                    "content": "河南警方:“南阳老板遭逼供致残与狗同笼”纯属谎言"
                }
            }
        ]
    }
}

注意,如果是中文可能需要调整analyzer,默认查询不出来

1
2
3
4
5
6
7
8
curl -XGET 'http://localhost:9200/news/_search' -d '{ 
    "query" : { 
        "has_child" : {
            "type" : "comment", 
            "query" :{"term" : {"uname" : "凤凰网湖北省武汉市网友"} }
        }
    }
}'

结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
{
    "took": 0,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "failed": 0
    },
    "hits": {
        "total": 0,
        "max_score": null,
        "hits": []
    }
}

原因分析:
hot类型没有指定使用的分析器,所以中文默认的standard analyzer拆成了一个个的字,但是has_child模式里面的DSL的term query为区配查询,所以查询不出来

1
2
3
4
5
6
7
8
curl -XGET 'http://localhost:9200/news/_search' -d '{ 
    "query" : { 
        "has_child" : {
            "type" : "comment", 
            "query" :{"term" : {"uname" : "凤"} }
        }
    }
}'

试一下,果然如此,所以mapping的配置还是很重要的。
那怎样解决呢?两种方案
1.给hot类型mapping设置analyzer为not_analyzer(在这里不适用)
2.设置查询时使用的分析器,那就不能使用term query了,term query不支持分析器,我们这里使用可以text query

1
2
3
4
5
6
7
8
curl -XGET 'http://localhost:9200/news/_search' -d '{ 
    "query" : { 
        "has_child" : {
            "type" : "comment", 
            "query" :{"text" : {"uname" : "凤凰网"} }
        }
    }
}'

当然中文分词用standard analyzer肯定是不行的,你可以灵活替换成其他的中文分析器。
关于text query的其他参数,可以看这里:http://www.elasticsearch.org/guide/reference/query-dsl/text-query.html
ok,我们再试试top_children查询(http://www.elasticsearch.org/guide/reference/query-dsl/top-children-query.html)
topchildren在child进行查询的时候,会预估一个hit size,然后对这个hit size大小的hit结果与parent做查询结果合并聚集,如果合并之后的结果文档数小于查询条件中的from/size参数设置,es则会进行更深度的搜索,这样做的好处是显而易见的,它不会对所有的child索引文档进行处理,可以节省一些额外的开销,但是注意由此造成的total_hits值的不准确。
调用如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
curl -XGET 'http://localhost:9200/news/_search' -d '{
    "query": {
        "top_children": {
            "type": "comment",
            "query": {
                "text": {
                    "uname": "凤凰网"
                }
            },
            "score": "max",
            "factor": 5,
            "incremental_factor": 2
        }
    }
}'

结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
{
    "took": 30,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 0.60276437,
        "hits": [
            {
                "_index": "news",
                "_type": "hot",
                "_id": "1",
                "_score": 0.60276437,
                "_source": {
                    "uname": "medcl",
                    "content": "河南警方:“南阳老板遭逼供致残与狗同笼”纯属谎言"
                }
            }
        ]
    }
}

有了parent-chid这个特性,我们可以做很多事情,比如,如果要给索引数据加上权限,一般来说索引内容本身更新不是很频繁,但是权限信息更新很频繁,我们也可以采用parent-child这种方式来做,如下:
//建立权限子索引

1
curl -XPUT 'http://localhost:9200/news/role/_mapping' -d '{    "role" : {        "_parent" : {            "type" : "hot"        }    }}'

//创建每个新闻的用户权限索引记录

1
2
3
curl -XPUT 'http://localhost:9200/news/role/1?parent=1'    -d '{    "uid" : "1001"}'
curl -XPUT 'http://localhost:9200/news/role/2?parent=2'    -d '{    "uid" : "1001"}'
curl -XPUT 'http://localhost:9200/news/role/3?parent=3'    -d '{    "uid" : "1003"}'

//执行查询,返回uid为1001可以查看的新闻集合

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
curl -XGET 'http://localhost:9200/news/_search' -d '{
    "query": {
        "top_children": {
            "type": "role",
            "query": {
                "text": {
                    "uid": "1001"
                }
            },
            "score": "max",
            "factor": 5,
            "incremental_factor": 2
        }
    }
}'

结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
{
    "took": 10,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "failed": 0
    },
    "hits": {
        "total": 2,
        "max_score": 2.098612,
        "hits": [
            {
                "_index": "news",
                "_type": "role",
                "_id": "1",
                "_score": 2.098612,
                "_source": {
                    "uid": "1001"
                }
            },
            {
                "_index": "news",
                "_type": "role",
                "_id": "2",
                "_score": 1,
                "_source": {
                    "uid": "1001"
                }
            }
        ]
    }
}

//上面通过用户可以直接对parent索引进行数据的过滤,但是往往我们还需要对parent的其他条件进行查询,怎么做呢?

本文固定链接: http://www.chepoo.com/elasticsearch-parent-child.html | IT技术精华网

ElasticSearch:Parent-Child特性使用:等您坐沙发呢!

发表评论