术语介绍

1. 用户

用户以设备为判断标准，在移动统计中，每个独立设备认为是一个独立用户。Android系统根据IMEI号，IOS系统根据OpenUDID来标识一个独立用户，每部手机一个用户。

2. 新增用户

首次联网使用应用的用户。如果一个用户首次打开某APP，那这个用户定义为新增用户；卸载再安装的设备，不会被算作一次新增。新增用户包括日新增用户、周新增用户、月新增用户。

3. 活跃用户

打开应用的用户即为活跃用户，不考虑用户的使用情况。每天一台设备打开多次会被计为一个活跃用户。

写在前面

至此篇，项目的数据采集阶段便告一段落，开始使用hive对生成的原始数据进行处理，本篇会介绍有关hive，tez，数据分层过程中需要注意的一些点，不再介绍一些csdn，官网遍地都是的如何安装

写在前面

本文主要配置项目开始阶段需要用到的集群环境，基本配置不再赘述，只提一些与初次搭建集群不同的点与优化的点，以及笔者在网上看到的一些比较有意思的相关部分面试题
so 本文不适合没搭建过集群环境的小白
其实还是能看看的，反正迟早会用到的嘛hhhh

写在前面

巧妇难为无米之炊，所以今天我们来造数据2333（别问我为什么要造，不然我一个普通大三在校生去哪搞大数据hhhh，淘宝买的数据格式参差不齐用不了，唉~

基本原理

运用java脚本bean，生成项目中可能会需要的各项数据

运用阿里的开源json处理框架fastjson将相应数据转为json，分为启动日志和事件日志
其中启动日志不带时间戳为纯json，事件日志加了时间戳格式为时间戳|json，打印到控制台

简单题，走流程即可，此处由本地0起点到集群详细介绍~

辅助排序：发生在map输出的数据进入reduce之前，可根据键值的一部分对整个键值对进行排序

zk.sh:用于zookeeper的启动，状态，停止

外连接(out join)

外连接分为外左连接(left outer join)和外右连接(right outer join)

注释：left outer join 与 left join 等价， 一般写成left join
right outer join 与 right join等价，一般写成right join

左连接，取左边的表的全部，右边的表按条件，符合的显示，不符合则显示null

举例：

1

select <select list> from A left join B on A.id=B.id

现在有“课程表”，记录了学生选修课程的名称以及成绩。

现在需要找出语文课中成绩第二高的学生成绩。如果不存在第二高成绩的学生，那么查询应返回 null。

写在前面

由于近期在协会举办了一场比赛，赛后需要将200份不同成绩单分别发给参赛者，为了方便，用python实现了该功能，并利用博客进行记录分享学习。
还是那句话，菜鸡菜笔，如有不正，还请大佬们不吝惜赐教！