博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
044 HIVE中的几种排序
阅读量:6995 次
发布时间:2019-06-27

本文共 811 字,大约阅读时间需要 2 分钟。

1、order by:全局排序

  select * from emp order by sal;

  对于一个reduce才有用。

2、sort by:对于每个reduce进行排序
  set mapreduce.job.reduces=3;

  这里设置了reduce为3。

  

  原本的结果放在控制台上,看的效果不是太清楚,所以将hive的结果到出到本文件。

  insert overwrite local directory '/opt/datas/emp_sort'  row format delimited fields terminated by '\t' select * from emp sort by sal;

  

  结果:

  

 

 

3、distribute by :底层就是mapreduce 的分区,一般与sort by连用

  先按照deptno进行分区,然后sort by每个reduce。

  insert overwrite local directory '/opt/datas/emp_dis' row format delimited fields terminated by '\t' select * from emp distribute by deptno sort by sal;

  

 

4、cluster by:等价于distribute by 与sort by的字段相同时

  分区与排序都是一个字段,可以使用这个。

  应该说,这个是上面的一种特殊情况,我感觉可能会用的少一些。

  insert overwrite local directory '/opt/datas/emp_cls'  row format delimited fields terminated by '\t'  select * from emp cluster by sal;

  

 

转载地址:http://wrbvl.baihongyu.com/

你可能感兴趣的文章
使用jQuery插件jScrollPane开发Mac OSX Lion风格的滚动条
查看>>
使用jQuery开发iOS风格的页面导航菜单
查看>>
SQL:事务(1)
查看>>
js事件定义方式和获取事件对象event总结
查看>>
Erlang练习-UDP
查看>>
ACE定时器
查看>>
tar解压错误
查看>>
Java NIO与IO的差别和比較
查看>>
spark web ui中的skipped的含义
查看>>
深入理解Linux内核-块设备驱动程序
查看>>
yield return 和yield break
查看>>
念念不忘SERVLET
查看>>
L11,one good turn deserves another
查看>>
Code::Blocks设置支持C++ 11
查看>>
韩媒:美驻韩大使要求韩大幅上调防卫费分担额
查看>>
客运压力大 北京地铁4号线、大兴线工作日早高峰将限流
查看>>
中关村硬科技孵化器首次合作建科技成果转化创新平台
查看>>
广州外援斯贝茨被CBA公司停赛4场 罚款10万元
查看>>
福利!给所有需要找工作的小伙伴分享让我印象深刻的的开发面试题(第二部分),朋友们收好哦...
查看>>
React 折腾记 - (5) 记录用React开发项目过程遇到的问题(Webpack4/React16/antd等)
查看>>