<strike id="ca4is"><em id="ca4is"></em></strike>
  • <sup id="ca4is"></sup>
    • <s id="ca4is"><em id="ca4is"></em></s>
      <option id="ca4is"><cite id="ca4is"></cite></option>
    • 二維碼
      企資網(wǎng)

      掃一掃關注

      當前位置: 首頁 » 企業(yè)資訊 » 行業(yè) » 正文

      HIVE常用優(yōu)化方法

      放大字體  縮小字體 發(fā)布日期:2021-09-03 11:36:49    作者:企資小編    瀏覽次數(shù):93
      導讀

      1、join連接時的優(yōu)化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產(chǎn)生一個mapreduce。2、join連接時的優(yōu)化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每

      1、join連接時的優(yōu)化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產(chǎn)生一個mapreduce。

      2、join連接時的優(yōu)化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每行記錄操作時會把其他表先緩存起來,直到掃描最后的表進行計算

      3、在where字句中增加分區(qū)過濾器。

      4、當可以使用left semi join語法時不要使用inner join,前者效率更高。原因_對于左表中指定的一條記錄,一旦在右表中找到立即停止掃描。

      5、如果所有表中有一張表足夠小,則可置于內存中,這樣在和其他表進行連接的時候就能完成匹配,省略掉reduce過程。
      設置屬性即可實現(xiàn),

      set hive.auto.covert.join_true;

      用戶可以配置希望被優(yōu)化的小表的大小
      set hive.mapjoin.smalltable.sia_2500000;

      如果需要使用這兩個配置可置入$HOME/.hiverc文件中。

      6、同一種數(shù)據(jù)的多種處理_從一個數(shù)據(jù)源產(chǎn)生的多個數(shù)據(jù)聚合,無需每次聚合都需要重新掃描一次。

      例如_

      insert overwrite table student select * from employee;

      insert overwrite table person select * from employee;

      可以優(yōu)化成_

      from employee

      insert overwrite table student select *

      insert overwrite table person select *

      7、limit調優(yōu)_limit語句通常是執(zhí)行整個語句后返回部分結果。

      Set hive.limit.optimia.enable_true;

      8、開啟并發(fā)執(zhí)行。某個job任務中可能包含眾多的階段、其中某些階段沒有依賴關系可以并發(fā)執(zhí)行,開啟并發(fā)執(zhí)行后job任務可以更快的完成。

      設置屬性_

      set hive.e>ecparallel_true;

      9、hive提供的嚴格模式,禁止3種情況下的查詢模式。

      a_當表為分區(qū)表時,where字句后沒有分區(qū)字段和限制時,不允許執(zhí)行。

      b_當使用order by語句時,必須使用limit字段,因為order by只會產(chǎn)生一個reduce任務。

      c_限制笛卡爾積的查詢。

      10、合理的設置map和reduce數(shù)量。

      11、jvm重用。可在hadoop的mapredtite.xml中設置jvm?重用的次數(shù)。

       
      (文/企資小編)
      免責聲明
      本文僅代表作發(fā)布者:企資小編個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經(jīng)發(fā)現(xiàn),立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯(lián)系我們刪除處理郵件:weilaitui@qq.com。
       

      Copyright ? 2016 - 2025 - 企資網(wǎng) 48903.COM All Rights Reserved 粵公網(wǎng)安備 44030702000589號

      粵ICP備16078936號

      微信

      關注
      微信

      微信二維碼

      WAP二維碼

      客服

      聯(lián)系
      客服

      聯(lián)系客服:

      在線QQ: 303377504

      客服電話: 020-82301567

      E_mail郵箱: weilaitui@qq.com

      微信公眾號: weishitui

      客服001 客服002 客服003

      工作時間:

      周一至周五: 09:00 - 18:00

      反饋

      用戶
      反饋

      午夜久久久久久网站,99久久www免费,欧美日本日韩aⅴ在线视频,东京干手机福利视频
        <strike id="ca4is"><em id="ca4is"></em></strike>
      • <sup id="ca4is"></sup>
        • <s id="ca4is"><em id="ca4is"></em></s>
          <option id="ca4is"><cite id="ca4is"></cite></option>
        • 主站蜘蛛池模板: 四虎在线最新永久免费| 精品国产VA久久久久久久冰| 欧美亚洲综合网| 撒尿bbwbbw| 国产一区在线mmai| 亚洲大尺度无码无码专区| 久久婷婷五月综合97色直播| 好吊色青青青国产在线观看| 欧洲a老妇女黄大片| 天堂成人在线观看| 伊人网综合在线视频| caoporm视频| 波多野结衣与上司出差| 国色天香精品一卡2卡3卡| 亚洲男人天堂2017| 一本伊大人香蕉高清在线观看 | 97色精品视频在线观看| 真实子伦视频不卡| 欧美日韩在线视频一区| 国内一级特黄女人精品片| 啊灬啊别停灬用力视频啊视频| 久久精品国产一区二区三区肥胖 | 又黄又爽又色又刺激的视频| 一区五十路在线中出| 特级毛片免费播放| 强3d不知火舞视频无掩挡网站| 国产欧美第一页| 久久狠狠躁免费观看2020| 老阿姨哔哩哔哩b站肉片茄子芒果 老阿姨哔哩哔哩b站肉片茄子芒果 | 7777精品久久久大香线蕉| 欧美性猛交xxxx乱大交丰满| 国产真实乱了全集mp4| 久久天天躁狠狠躁夜夜avai| 色久综合网精品一区二区| 日韩精品一区二区亚洲av观看| 国产又大又黑又粗免费视频| 中文字幕乱视频| 狼群影院www| 在线精品国产一区二区三区| 亚洲国产成人久久综合一区| 黄色片免费网站|