从hive 0.10版本开始，Hive支持group by rollup and cube。
https://issues.apache.org/jira/browse/HIVE-3433
1. rollup和cube区别:(来自oracle)
Oracle的GROUP BY语句除了最基本的语法外，还支持ROLLUP和CUBE语句。如果是Group by ROLLUP(A, B, C)的话，首先会对(A、B、C)进行GROUPBY，然后对(A、B)进行GROUP BY，然后是(A)进行GROUP BY，最后对全表进行GROUP BY操作。
如果是GROUP BY CUBE(A, B, C)，则首先会对(A、B、C)进行GROUPBY，然后依次是(A、B)，(A、C)，(A)，(B、C)，(B)，(C)，最后对全表进行GROUP BY操作。 grouping_id()可以美化效果。除了使用GROUPING函数，还可以使用GROUPING_ID来标识GROUP BY的结果。
也可以 Group by Rollup(A,(B,C)) ，Group by A Rollup(B,C)，…… 这样任意按自己想要的形式结合统计数据，非常方便。
2. Hive中使用rollup和cubeHive中要使用rollup和cube功能，目前必须设置hive.map.aggr参数为true才可以。
至于不添加参数的版本，现在还没有实现，
https://issues.apache.org/jira/browse/HIVE-3508
3. 代码示例 a) 普通查询示例set hive.map.aggr=true; selectkey,value from T1: 1,11 2,12 3,13 7,17 8,18 8,28 SELECT key,val, count(1) FROM T1 1 1 2 1 3 1 7 1 8 2
SELECT key,val, count(1) FROM T1 GROUP BY key, val with cube NULL NULL 6 NULL 11 1 NULL 12 1 NULL 13 1 NULL 17 1 NULL 18 1 NULL 28 1 1 NULL 1 1 11 1 2 NULL 1 2 12 1 3 NULL 1 3 13 1 7 NULL 1 7 17 1 8 NULL 2 8 18 1 8 28 1
从上面的结果可以看到
NULL NULL 6 这个是group by全表的结果
NULL 11 1
NULL 12 1
NULL 13 1
NULL 17 1
NULL 18 1
NULL 28 1
这几行结果是对val进行group by的结果
1 NULL 1
2 NULL 1
3 NULL 1
7 NULL 1
8 NULL 2
这几行是对key进行group by的结果
可以看到，cube是分别对(key),( val) ,（key,val）和全表都进行了group by。
c) Rollup示例SELECT key,count(distinct val) FROM T1 GROUP BY key with rollup NULL NULL 6 1 NULL 1 1 11 1 2 NULL 1 2 12 1 3 NULL 1 3 13 1 7 NULL 1 7 17 1 8 NULL 2 8 18 1 8 28 1
同样
NULL NULL 6是对全表进行group by的结果
1 NULL 1
2 NULL 1
3 NULL 1
7 NULL 1
8 NULL 2
这几行记录是对key进行group by的结果
可以看出，rollup，就是对(key),(key,val)和全表进行group by
可能一般数据库开发人员可能会对CLR会比较感兴趣, 平时写T-SQL多一些.对C#接触过少,难免可能觉得有些难度. 其实这个不并难. 如果有了调试,如果能进入程序内部,看到代码,就会感觉十分简单.
我创建一个非常简单的CLR函数. 返回字符的长度.
第一步,我们要在数据库中启用CLR 功能. 我们在一个测试数据库中,启用CLR功能
use test --测试库 exec sp_configure 'show advanced options', '1'; go reconfigure; go exec sp_configure 'clr enabled', '1' go reconfigure; /** 这是为了使程序集能获得更大权限 作为测试用使用下面语句 */ alter database test set trustworthy on
如图:
.第二步 打开visaul studio 2010 开发工具,新建项目 如图:注意是 visual c# sql clr 项目
我们添加对一个数据库的引用.
然后点击确定. 后项目
点确定后项目解决方案如图:
我们点右健添加,用户自定义函数
代码如下:
using System;
using System.Data;
using System.Data.SqlClient;
using System.Data.SqlTypes;
using Microsoft.SqlServer.Server;
public partial class UserDefinedFunctions
{
[Microsoft.SqlServer.Server.SqlFunction]
public static int Function1(String Field_String)
{
// 在此处放置代码
return Field_String.Length;
}
};
如图:
第三步,生成并部署 CLR 项目: 在解决方案点右健 部署
如果生成,下面将输出,成功的提示符.如图:
我们在数据库中看一下,是什么样子.
程序集多了一个 SqlServerProject3和Function1. （先不管这个Function1,是怎么写的。我们看一下运行的结果是什么，。回头你再看看怎么写的，很简单的）
你看它返回了字符的长度就是4。 大家现在很想看看怎么调试。这个太简单了，要是会调试，那么复杂的代码也没有问题。
=============================================================================================================
OK： 我们回到visual studio 工具中上。
点击test.scripts
把里面的代码都清一下。
然后写上 select dbo.Function1('abcd') 且打开断点 如图:
我们点那个绿色的小三角形，。然后按F11 注意是F11
呵呵，大家看到没，它已经进入了C#程序中去，我们就可以通过一步步调试，查看程序的运行。
是不是很棒。
2. 解压下载下来的.tar.gz文件： tar -xf apache-ant-1.8.4-bin.tar.gz (可能会要求输入密码)
3.将解压出来的文件移动到/opt/下：sudo mv apache-ant-1.8.4 /opt/ （sudo 不能省，否则没有权限）
4.配置环境变量：sudo vim /etc/profile，在原来基础上添加以下蓝体字：
export ANT_HOME=/opt/apache-ant-1.8.4 export JAVA_HOME=/usr/local/lib/jdk1.6 export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$ANT_HOME/bin5.使配置生效 ： source /etc/profile
Apache Ant(TM) version 1.8.4 compiled on May 22 2012
如此字样，则表示安装成功！
二.创建android工程
export ANDROID_SDK=/home/shaojie/Android/android-sdk-linux export ANDROID_NDK=/home/shaojie/Android/android-ndk-r8b export PATH=$PATH:$ANDROID_NDK:$ANDROID_SDK/platform-tools:$ANDROID_SDK/tools2.使环境生效 source .bashrc
android -h
Usage:
android [global options] action [action options]
Global options:
-h --help : Help on a specific command.
-v --verbose : Verbose mode, shows errors, warnings and all messages.
--clear-cache: Clear the SDK Manager repository manifest cache.
-s --silent : Silent mode, shows errors only.
Valid
actions
are
composed
of a verb
and an
optional
direct
object:
- sdk : Displays the SDK Manager window.
- avd : Displays the AVD Manager window.
- list : Lists existing targets or virtual devices.
- list avd : Lists existing Android Virtual Devices.
- list target : Lists existing targets.
- list sdk : Lists remote SDK repository.
- create avd : Creates a new Android Virtual Device.
- move avd : Moves or renames an Android Virtual Device.
- delete avd : Deletes an Android Virtual Device.
- update avd : Updates an Android Virtual Device to match the folders
of a new SDK.
- create project : Creates a new Android project.
- update project : Updates an Android project (must already have an
AndroidManifest.xml).
- create test-project : Creates a new Android project for a test package.
- update test-project : Updates the Android project for a test package (must
already have an AndroidManifest.xml).
- create lib-project : Creates a new Android library project.
- update lib-project : Updates an Android library project (must already have
an AndroidManifest.xml).
- update adb : Updates adb to support the USB devices declared in the
SDK add-ons.
- update sdk : Updates the SDK by suggesting new platforms to install
if available.
- create identity : Creates an identity file.
4.创建项目：
工程名称 ：TestAntAndroidActivity
名称 ：MainActivity
包名称 ：com.test.android 版本 ：8，即 android2.2
那么，在终端只需要：
Android create project -k com.test.android -n TestAntAndroid -a MainActivity -t 8 -p /home/shaojie/TestAntAndroid
cd /home/shaojie/TestAntAndroid/ ant debug
6.安装 apk
cd /home/shaojieTestAntAndroid adb install TestAntAndroid-debug.apk
7.启动App：
adb shell start -a android.intent.action.MAIN -n com.test.android/com.test.android.MainActivity
8.更新已有工程