1. 首页 > 智能数码 >

druid平台 druidstatview

关于druid平台,druidstatview这个很多人还不知道,今天小柳来为大家解答以上的问题,现在让我们一起来看看吧!

druid平台 druidstatviewdruid平台 druidstatview


1、美团各业务线存在大量的OLAP分析场景,需要基于Hadoop数十亿级别的数据进行分析,直接响应分析师和城市BD等数千人的交互式访问请求,对OLAP服务的扩展性、稳定性、数据精确性和性能均有很高要求。

2、本文主要介绍美团的具体OLAP需求,如何将Kylin应用到实际场景中,以及目前的使用方式和现状。

3、同时也将Kylin和其它系统(如Presto、Druid等)进行了对比,阐述了Kylin的独特优势。

4、作为公司的平台部门,需要给各个业务线提供平台的服务,那么如何建设一个满足各种需求的公司平台级OLAP分析服务呢。

5、首先,一个开源项目在公司真正落地会遇到很多障碍,这主要是由各个业务线不同的数据特点和业务特点决定的,所以本文会介绍一下美团的数据场景有什么特点;其次,针对这些数据特点,尤其是和Kylin设计初衷不太相符的部分,有什么样的解决方案;第三,目前OLAP领域还没有所谓事实上的标准,很多引擎都可以做类似事情,比如普通的MPP,Kylin,或者ES等。

6、这些系统之间的对比情况如何,应该如何选择,我们也有部分测试数据可以分享;最后,简单讨论一下未来准备在Kylin上做的工作。

7、1、美团的数据场景特点第一个特点是数据规模和模型特点。

8、一方面从数据规模上来讲,事实表一般在1亿到10亿量级,同时还有千万量级的维表,也就是超高基数的维表。

9、另一方面,数据模型是一开始遇到的最大困难。

10、因为Kylin最初的设计是基于一个星形模型的,但很不幸由于各种原因,很多数据都是雪花的模型,还有其它的模型,比如所谓“星座”模型,也就是中间是两张或者三张事实表,周围关联了其它很多维表。

11、业务逻辑决定了这些数据的关联方式非常复杂,根本无法用经典标准的理论来解释。

12、第二个是维度。

13、维度最理想的情况是固定的,每天变化的只是事实表。

14、但实际上维度经常会变,这可能和行业特点有关,比如组织架构,相关的维度数据可能每天都会变化。

15、除此之外还可能要用今天的维度去关联所有的历史数据,因此要重刷历史数据,相应的开销也比较大。

16、第三个是数据回溯的问题。

17、比如发现数据生成有问题,或者上游出错了,此时就需要重跑数据。

18、这也是和经典理论模型有区别的。

本文到这结束,希望上面文章对大家有所帮助。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至836084111@qq.com 举报,一经查实,本站将立刻删除。

联系我们

工作日:9:30-18:30,节假日休息