您的当前位置：首页正文

Hive 优化之 union all 与 multi insert

来源：步旅网

对同一张表的union all 要比多重insert快的多，
原因是hive本身对这种union all做过优化，即只扫描一次源表；而多重insert也只扫描一次，但应为要insert到多个分区，所以做了很多其他的事情，导致消耗的时间非常长；
希望大家在开发的时候多测，多试！

lxw_test3 12亿左右记录数

Union all : 耗时7分钟左右

USE dmz_tmp;
set hive.exec.parallel = true;
CREATE TABLE  lxw_test5 AS   
SELECT type,popt_id,login_date   
FROM (  
        select 'm3_login' as type,popt_id,login_date    
        from lxw_test3   
        where login_date>='2012-02-01' and login_date<'2012-05-01'   
        union all   
        select 'mn_login' as type,popt_id,login_date   
        from lxw_test3   
        where login_date>='2012-05-01' and login_date<='2012-05-09'   
        union all

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文