<strike id="ca4is"><em id="ca4is"></em></strike>
  • <sup id="ca4is"></sup>
    • <s id="ca4is"><em id="ca4is"></em></s>
      <option id="ca4is"><cite id="ca4is"></cite></option>
    • 二維碼
      企資網

      掃一掃關注

      當前位置: 首頁 » 企業資訊 » 行業 » 正文

      HIVE常用優化方法

      放大字體  縮小字體 發布日期:2021-09-03 11:36:49    作者:企資小編    瀏覽次數:82
      導讀

      1、join連接時的優化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產生一個mapreduce。2、join連接時的優化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每

      1、join連接時的優化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產生一個mapreduce。

      2、join連接時的優化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每行記錄操作時會把其他表先緩存起來,直到掃描最后的表進行計算

      3、在where字句中增加分區過濾器。

      4、當可以使用left semi join語法時不要使用inner join,前者效率更高。原因_對于左表中指定的一條記錄,一旦在右表中找到立即停止掃描。

      5、如果所有表中有一張表足夠小,則可置于內存中,這樣在和其他表進行連接的時候就能完成匹配,省略掉reduce過程。
      設置屬性即可實現,

      set hive.auto.covert.join_true;

      用戶可以配置希望被優化的小表的大小
      set hive.mapjoin.smalltable.sia_2500000;

      如果需要使用這兩個配置可置入$HOME/.hiverc文件中。

      6、同一種數據的多種處理_從一個數據源產生的多個數據聚合,無需每次聚合都需要重新掃描一次。

      例如_

      insert overwrite table student select * from employee;

      insert overwrite table person select * from employee;

      可以優化成_

      from employee

      insert overwrite table student select *

      insert overwrite table person select *

      7、limit調優_limit語句通常是執行整個語句后返回部分結果。

      Set hive.limit.optimia.enable_true;

      8、開啟并發執行。某個job任務中可能包含眾多的階段、其中某些階段沒有依賴關系可以并發執行,開啟并發執行后job任務可以更快的完成。

      設置屬性_

      set hive.e>ecparallel_true;

      9、hive提供的嚴格模式,禁止3種情況下的查詢模式。

      a_當表為分區表時,where字句后沒有分區字段和限制時,不允許執行。

      b_當使用order by語句時,必須使用limit字段,因為order by只會產生一個reduce任務。

      c_限制笛卡爾積的查詢。

      10、合理的設置map和reduce數量。

      11、jvm重用。可在hadoop的mapredtite.xml中設置jvm?重用的次數。

       
      (文/企資小編)
      免責聲明
      本文僅代表作發布者:企資小編個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
       

      Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

      粵ICP備16078936號

      微信

      關注
      微信

      微信二維碼

      WAP二維碼

      客服

      聯系
      客服

      聯系客服:

      在線QQ: 303377504

      客服電話: 020-82301567

      E_mail郵箱: weilaitui@qq.com

      微信公眾號: weishitui

      客服001 客服002 客服003

      工作時間:

      周一至周五: 09:00 - 18:00

      反饋

      用戶
      反饋

      午夜久久久久久网站,99久久www免费,欧美日本日韩aⅴ在线视频,东京干手机福利视频
        <strike id="ca4is"><em id="ca4is"></em></strike>
      • <sup id="ca4is"></sup>
        • <s id="ca4is"><em id="ca4is"></em></s>
          <option id="ca4is"><cite id="ca4is"></cite></option>
        • 主站蜘蛛池模板: 人气排行fc2成影免费的| 国产精品自在在线午夜出白浆 | 最近中文字幕2019视频1| 国产精品精品自在线拍| 亚洲精品中文字幕无码蜜桃| 亚洲成人福利网站| 7777精品伊人久久久大香线蕉| 爱情岛永久地址www成人| 日本xxx片免费高清在线| 国产仑乱无码内谢| 亚洲欧美日韩国产精品26u| 99久久精品国产一区二区三区| 狠狠爱天天综合色欲网| 成人免费在线播放| 又大又粗又爽a级毛片免费看 | 在线观看国产91| 亚洲精品国产福利在线观看| 97精品依人久久久大香线蕉97| 波多野结衣伦理电影| 怡红院视频在线观看| 农村乱人伦一区二区| heyzo加勒比高清国产精品| 爱情岛论坛亚洲永久入口口| 图片区偷拍区小说区| 亚洲国产成人久久一区二区三区| 俺去俺也在线www色官网| 最新69成人精品毛片| 国产在线ts人妖免费视频| 久久久久亚洲AV无码网站| 精品国产人成亚洲区| 成年私人影院免费视频网站| 午夜视频在线在免费| avtt天堂在线| 欧美三级黄视频| 国产精品视频区| 五月天六月丁香| 蜜桃导航一精品导航站| 性xxxx黑人与亚洲| 亚洲综合AV在线在线播放| 窝窝视频成人影院午夜在线| 欧美最猛黑人猛交69|