写在前面

本篇主要介绍mapreduce的工作机制或者shuffle的工作机制，其实mapreduce整个流程就包含了shuffle

先放两张从某谷那扒下来的mapreduce机制图以及单独的shuffle图

mapreduce机制：

写在前面

lz由于电脑配置问题。。集群跑Druid崩了，跑不动，所以实践不了，但不影响lz对优秀的即席查询框架进行了解写一篇笔记呀~

接下来进入正题

写在前面

数仓项目做的差不多了，有了很多表，很多数据，但是不能全都在终端查看吧？当然也可以用sqoop从hdfs导出到mysql或者其他数据库，但这里用了在即席查询方面更为优秀的Presto和Druid，本篇介绍Presto0.196，Druid放在下一篇。

写在前面

ClickHouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的DBMS，简称CK, 与Hadoop,Spark相比，ClickHouse很轻量级,由俄罗斯第一大搜索引擎Yandex于2016年6月发布, 开发语言为C++
与flink的发展态势一样，目前在国内大厂间运用越发广泛

写在前面

二分查找思维不论是在算法中，还是在错误查找中都占据着及其重要的角色，所以本章用来复习二分查找。
此外，由于在写MR的TOPN时用到了treemap（由红黑树算法实现），突然意识到自己在二叉树这一块有欠缺，所以本文也对二叉树做一个初步复习
以下内容均为个人理解，若有不对，欢迎指正。

写在前面

众所周知，当执行一个完整的MR流程时，必然会经过快排和归并两种排序，可见这两种排序在日常使用中的重要性。于是，便有了这篇文章，以便捡起过去学过的知识。

前情回顾

活跃用户
打开应用的用户即为活跃用户，不考虑用户的使用情况。每天一台设备打开多次会被计为一个活跃用户。
周（月）活跃用户
某个自然周（月）内启动过应用的用户，该周（月）内的多次启动只记一个活跃用户。

本文用于记录做题中遇到的比较有意思的sql查询函数或知识点

1.每种数据库的字符串拼接有不同的用法 比如sqlite用||，mysql用concat

2.在插入数据时，若该数据主键在表中已存在，可选择忽略本条数据的插入而不是替换

比如：

不得不说hive虽然走mr跑的很慢 要借助tez才能快点，但是它函数方面还是做的很好的呀
除了能udf，udtf，多近多出外还有一些函数大大方便了使用者的编写难度和查询效率
本篇文章就用来写一些做项目过程中发光发热的那些函数

本文主要介绍dwd层数据构建

start处理
建表：