<strike id="ca4is"><em id="ca4is"></em></strike>
  • <sup id="ca4is"></sup>
    • <s id="ca4is"><em id="ca4is"></em></s>
      <option id="ca4is"><cite id="ca4is"></cite></option>
    • 二維碼
      企資網

      掃一掃關注

      當前位置: 首頁 » 企業資訊 » 經驗 » 正文

      大數據教程--Hadoop教程(三)《Hado

      放大字體  縮小字體 發布日期:2021-09-01 03:24:52    作者:企資小編    瀏覽次數:41
      導讀

      hadoop是什么?Hadoop是使用Java編寫,允許分布在集群,使用簡單的編程模型的計算機大型數據集處理的Apache的開源框架。 Hadoop框架應用工程提供跨計算機集群的分布式存儲和計算的環境。 Hadoop是專為從單一服務器到

      hadoop是什么?

      Hadoop是使用Java編寫,允許分布在集群,使用簡單的編程模型的計算機大型數據集處理的Apache的開源框架。 Hadoop框架應用工程提供跨計算機集群的分布式存儲和計算的環境。 Hadoop是專為從單一服務器到上千臺機器擴展,每個機器都可以提供本地計算和存儲。

      Hadoop的架構

      在其核心,Hadoop主要有兩個層次,即_

    • 加工/計算層(MapReduce),以及
    • 存儲層(Hadoop分布式文件系統)。


      MapReduce
      MapReduce是一種并行編程模型,用于編寫普通硬件的設計,谷歌對大量數據的高效處理(多TB數據集)的分布式應用在大型集群(數千個節點)以及可靠的容錯方式。 MapReduce程序可在Apache的開源框架Hadoop上運行。
      Hadoop分布式文件系統

      Hadoop分布式文件系統(HDFS)是基于谷歌文件系統(GFS),并提供了一個設計在普通硬件上運行的分布式文件系統。她與現有的分布式文件系統有許多相似之處。來自其他分布式文件系統的差別是顯著。她高度容錯并設計成部署在低成本的硬件。提供了高吞吐量的應用數據訪問,并且適用于具有大數據集的應用程序。

      除了上面提到的兩個核心組件,Hadoop的框架還包括以下兩個模塊_

    • Hadoop通用_這是Java庫和其他Hadoop組件所需的實用工具。
    • Hadoop YARN _這是作業調度和集群資源管理的框架。

      Hadoop如何工作?
      建立重配置,處理大規模處理服務器這是相當昂貴的,但是作為替代,可以聯系許多普通電腦采用單CPU在一起,作為一個單一功能的分布式系統,實際上,集群機可以平行讀取數據集,并提供一個高得多的吞吐量。此外,這樣便宜不到一個高端服務器價格。因此使用Hadoop跨越集群和低成本的機器上運行是一個不錯的選擇。
      Hadoop運行整個計算機集群代碼。這個過程包括以下核心任務由 Hadoop 執行_

      數據最初分為目錄和文件。文件分為128M和64M(128M最好)統一大小塊。

    • 然后這些文件被分布在不同的群集節點,以便進一步處理。
    • HDFS,本地文件系統的頂端﹑監管處理。
    • 塊復制處理硬件故障。
    • 檢查代碼已成功執行。
    • 執行發生映射之間,減少階段的排序。
    • 發送排序的數據到某一計算機。為每個作業編寫的調試日志。

      Hadoop的優勢

      Hadoop框架允許用戶快速地編寫和測試的分布式系統。有效并在整個機器和反過來自動分配數據和工作,利用CPU內核的基本平行度。

    • Hadoop不依賴于硬件,以提供容錯和高可用性(FTHA),而Hadoop庫本身已被設計在應用層可以檢測和處理故障。
    • 服務器可以添加或從集群動態刪除,Hadoop可繼續不中斷地運行。
    • Hadoop的的另一大優勢在于,除了是開源的,因為她是基于Java并兼容所有的平臺。
    •  
      (文/企資小編)
      免責聲明
      本文僅代表作發布者:企資小編個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
       

      Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

      粵ICP備16078936號

      微信

      關注
      微信

      微信二維碼

      WAP二維碼

      客服

      聯系
      客服

      聯系客服:

      在線QQ: 303377504

      客服電話: 020-82301567

      E_mail郵箱: weilaitui@qq.com

      微信公眾號: weishitui

      客服001 客服002 客服003

      工作時間:

      周一至周五: 09:00 - 18:00

      反饋

      用戶
      反饋

      午夜久久久久久网站,99久久www免费,欧美日本日韩aⅴ在线视频,东京干手机福利视频
        <strike id="ca4is"><em id="ca4is"></em></strike>
      • <sup id="ca4is"></sup>
        • <s id="ca4is"><em id="ca4is"></em></s>
          <option id="ca4is"><cite id="ca4is"></cite></option>
        • 主站蜘蛛池模板: 欧美一级看片免费观看视频在线| 麻豆精品在线观看| 欧美成aⅴ人高清免费观看| 国模精品一区二区三区视频| 天堂俺去俺来也WWW色官网| 公交车后车座的疯狂运| 丁香狠狠色婷婷久久综合| 97精品伊人久久大香线蕉| 男人的天堂黄色| 天堂8在线天堂资源bt| 亚洲视频欧美视频| 91精品国产自产91精品| 欧美日韩国产一区二区三区在线观看| 国产色司机在线视频免费观看| 双女车车好快的车车有点污| 中文字幕乱妇无码AV在线| 精品日韩欧美一区二区三区在线播放 | 中文字幕在线亚洲精品| 中国xxxxx高清免费看视频| 欧美国产中文字幕| 国产日产精品_国产精品毛片 | 久久精品人人爽人人爽快| 香蕉视频禁18| 新梅金瓶2之爱奴国语| 动漫精品一区二区三区四区| japanese国产高清麻豆| 波多野结衣中文在线播放| 国产精品无码无卡在线播放| 乱码在线中文字幕加勒比| 调教家政妇第38话无删减| 成年美女黄网站色大免费视频 | 小说区亚洲自拍另类| 伊人色综合九久久天天蜜桃| 99re热精品这里精品| 欧美日韩亚洲成色二本道三区| 国产欧美日韩一区二区三区在线| 久久久无码精品午夜| 精品国产亚洲一区二区三区在线观看| 大香伊人久久精品一区二区| 亚洲国产午夜精品理论片| 黄色aaa级片|