Replica Watches: CDH+Kylin三部曲之三：Kylin官方demo

2020-10-26

CDH+Kylin三部曲之三：Kylin官方demo

欢迎访问我的GitHub

https://github.com/zq2599/blog_demos

内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；

本文是《CDH+Kylin三部曲》系列的终篇，先简单回顾前面的内容：

《CDH+Kylin三部曲之一：准备工作》：准备好机器、脚本、安装包；
《CDH+Kylin三部曲之二：部署和设置》：完成CDH和Kylin部署，并在管理页面做好相关的设置；

现在Hadoop、Kylin都就绪了，接下来实践Kylin的官方demo；

Yarn参数设置

Yarn的内存参数设置之后一定要重启Yarn使之生效，否则Kylin提交的任务是会由于资源限制而无法执行；

关于Kylin官方demo

下图是官方demo的脚本的一部分(create_sample_tables.sql)，基于HDFS数据创建Hive表：
通过脚本可见KYLIN_SALES为事实表，其他是维度表，并且KYLIN_ACCOUNT和KYLIN_COUNTRY存在关联，因此维度模型符合Snowflake Schema；

导入样例数据

SSH登录CDH服务器
切换到hdfs账号：su - hdfs
执行导入命令：${KYLIN_HOME}/bin/sample.sh
导入成功，控制台输出如下：

检查数据

检查数据，执行beeline进入会话模式(hive官方推荐用beeline取代Hive CLI)：
在beeline会话模式输入链接URL：!connect jdbc:hive2://localhost:10000，按照提示输入账号hdfs，密码直接回车：
用命令show tables查看当前的hive表，已建好：
查出订单的最早和最晚时间，后面构建Cube的时候会用到，执行SQL：select min(PART_DT), max(PART_DT) from kylin_sales; ，可见最早2012-01-01，最晚2014-01-01，整个查询耗时18.87秒：

构建Cube：

数据准备完成，可以构建Kylin Cube了：

登录Kylin网页 src="https://img2020.cnblogs.com/other/485422/202010/485422-20201024160619624-662554309.png" alt="在这里插入图片描述" loading="lazy">
如下图红框所示，数据加载成功：
在Model页面可以看到事实表和维度表，如下图的操作可以创建一个MapReduce任务，计算维度表KYLIN_ACCOUNT每个列的基数(Cardinality)：
去Yarn页面(CDH服务器的8088端口)，如下图，可见有个MapReduce类型的任务正在执行中：
上述任务很快就能完成(10多秒)，此时刷新Kylin页面，可见KYLIN_ACCOUNT表的Cardinality数据已经计算完成了（hive查询得到ACCOUNT_ID数量是10000，但下图的Cardinality值为10420，Kylin对Cardinality的计算采用的是HyperLogLog的近似算法，与精确值有误差，其他四个字段的Cardinality与Hive查询结果一致）：
接下来开始构建Cube：
日期范围，刚才Hive查询结果是2012-01-01到2014-01-01，注意截止日期要超过2014-01-01：
在Monitor页面可见进度：
去Yarn页面(CDH服务器的8088端口)，可以看到对应的任务和资源使用情况：
build完成后，会出现ready图标：

查询

先尝试查询交易的最早和最晚时间，这个查询在Hive上执行的耗时是18.87秒，如下图，结果一致，耗时0.14秒：
下面这个SQL是Kylin官方示例用来对比响应时间的，对订单按日期聚合，再按日期排序，然后接下来分别用Kylin和Hive查询：

select part_dt, sum(price) as total_sold, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt;

Kylin查询耗时0.13秒：
Hive查询，结果相同，耗时40.196秒：
最后来看下资源使用情况，Cube构建过程中，18G内存被使用：

至此，CDH+Kylin从部署到体验就已完成，《CDH+Kylin三部曲》系列也结束了，如果您正在学习Kylin，希望本文能够给您一些参考。

欢迎关注公众号：程序员欣宸

微信搜索「程序员欣宸」，我是欣宸，期待与您一同畅游Java世界...
https://github.com/zq2599/blog_demos

原文转载：http://www.shaoqun.com/a/483320.html

stylenanda官网：https://www.ikjzd.com/w/1675.html

递四方：https://www.ikjzd.com/w/1066

拍拍购物：https://www.ikjzd.com/w/2205

欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；本文是《CDH+Kylin三部曲》系列的终篇，先简单回顾前面的内容：《CDH+Kylin三部曲之一：准备工作》：准备好机器、脚本、安装包；《CDH+Kylin三部曲之二：部署和设置》：完成CDH和Ky
沃尔码：https://www.ikjzd.com/w/220
net-a-porter：https://www.ikjzd.com/w/2132
国庆广州游玩攻略一日游+情侣：http://tour.shaoqun.com/a/42228.html
四川内江5.4级地震最新消息 1人死亡63人受伤：http://tour.shaoqun.com/a/34648.html
英德宝晶宫有什么项目？清远英德宝晶宫什么时候去最好？：http://tour.shaoqun.com/a/23549.html

Replica Watches