<strike id="ca4is"><em id="ca4is"></em></strike>
  • <sup id="ca4is"></sup>
    • <s id="ca4is"><em id="ca4is"></em></s>
      <option id="ca4is"><cite id="ca4is"></cite></option>
    • 二維碼
      企資網

      掃一掃關注

      當前位置: 首頁 » 企業資訊 » 行業 » 正文

      HIVE常用優化方法

      放大字體  縮小字體 發布日期:2021-09-03 11:36:49    作者:企資小編    瀏覽次數:68
      導讀

      1、join連接時的優化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產生一個mapreduce。2、join連接時的優化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每

      1、join連接時的優化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產生一個mapreduce。

      2、join連接時的優化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每行記錄操作時會把其他表先緩存起來,直到掃描最后的表進行計算

      3、在where字句中增加分區過濾器。

      4、當可以使用left semi join語法時不要使用inner join,前者效率更高。原因_對于左表中指定的一條記錄,一旦在右表中找到立即停止掃描。

      5、如果所有表中有一張表足夠小,則可置于內存中,這樣在和其他表進行連接的時候就能完成匹配,省略掉reduce過程。
      設置屬性即可實現,

      set hive.auto.covert.join_true;

      用戶可以配置希望被優化的小表的大小
      set hive.mapjoin.smalltable.sia_2500000;

      如果需要使用這兩個配置可置入$HOME/.hiverc文件中。

      6、同一種數據的多種處理_從一個數據源產生的多個數據聚合,無需每次聚合都需要重新掃描一次。

      例如_

      insert overwrite table student select * from employee;

      insert overwrite table person select * from employee;

      可以優化成_

      from employee

      insert overwrite table student select *

      insert overwrite table person select *

      7、limit調優_limit語句通常是執行整個語句后返回部分結果。

      Set hive.limit.optimia.enable_true;

      8、開啟并發執行。某個job任務中可能包含眾多的階段、其中某些階段沒有依賴關系可以并發執行,開啟并發執行后job任務可以更快的完成。

      設置屬性_

      set hive.e>ecparallel_true;

      9、hive提供的嚴格模式,禁止3種情況下的查詢模式。

      a_當表為分區表時,where字句后沒有分區字段和限制時,不允許執行。

      b_當使用order by語句時,必須使用limit字段,因為order by只會產生一個reduce任務。

      c_限制笛卡爾積的查詢。

      10、合理的設置map和reduce數量。

      11、jvm重用。可在hadoop的mapredtite.xml中設置jvm?重用的次數。

       
      (文/企資小編)
      免責聲明
      本文僅代表作發布者:企資小編個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
       

      Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

      粵ICP備16078936號

      微信

      關注
      微信

      微信二維碼

      WAP二維碼

      客服

      聯系
      客服

      聯系客服:

      在線QQ: 303377504

      客服電話: 020-82301567

      E_mail郵箱: weilaitui@qq.com

      微信公眾號: weishitui

      客服001 客服002 客服003

      工作時間:

      周一至周五: 09:00 - 18:00

      反饋

      用戶
      反饋

      午夜久久久久久网站,99久久www免费,欧美日本日韩aⅴ在线视频,东京干手机福利视频
        <strike id="ca4is"><em id="ca4is"></em></strike>
      • <sup id="ca4is"></sup>
        • <s id="ca4is"><em id="ca4is"></em></s>
          <option id="ca4is"><cite id="ca4is"></cite></option>
        • 主站蜘蛛池模板: 六月婷婷综合网| 天天av天天av天天透| 国产一级一国产一级毛片| 国产主播福利精品一区二区| 任你躁在线播放视频| 一区二区三区在线播放视频| 肉伦迎合下种怀孕| 欧美日韩福利视频| 国内一区亚洲综合图区欧美| 亚洲色在线视频| 久久久国产99久久国产久| 麻豆人人妻人人妻人人片AV| 欧美视频亚洲视频| 国产美女精品视频| 亚洲国产精品无码久久一区二区| 99久久国产综合精品麻豆| 污到下面流水的视频| 很黄很黄的网站免费的| 国产成人久久久精品二区三区| 亚洲综合色婷婷在线观看| 三浦惠理子在线播放| 韩国无遮挡吃奶床戏| 欧美40老熟妇| 女人爽小雪又嫩又紧| 国产99在线观看| 久久水蜜桃亚洲AV无码精品| 青青草国产精品久久| 成视频年人黄网站免费视频| 国产女人和拘做受视频免费| 亚洲一级黄色片| 高清不卡毛片免费观看| 无码少妇一区二区三区芒果| 国产成人AV无码精品| 中韩高清无专码区2021曰| 精品国产欧美一区二区| 在线观看星空传媒入口| 八戒八戒www观看在线| 99久久无色码中文字幕人妻 | 久久亚洲精品中文字幕| 老子影院午夜伦不卡手机 | 丰满妇女做a级毛片免费观看|