土芭樂數位學堂

BigData 大數據分析, 大數據平台建置及應用 (Hadoop/spark),虛擬核⼼技術,資訊技術的分享, TiddlyWiki教學, Google 服務應用教學, 3D列印創意思維

10月 18, 2019

高等教育深耕計畫

各位大家好!這次深耕計畫,特別規劃了大數據實力分析的課程,首先介紹一下HDFS。HDFS全名為Hadoop Distributed File System,是Hadoop 分散式檔案系統,
其系統架構以Namenode為核心,負責將檔案切割成固定大小的區塊,然後把區塊分散儲存到不同的HDFS成員、也就是Datanodes之上,而每個檔案的儲存,皆是跨越實體主機的限制,因此有人比喻HDFS是一個虛擬的分散式檔案系統,與一般檔案系統分割區塊後、都儲存於同一主機的型態,可謂極大不同。
針對這部分,先做這樣簡單的介紹,我們這門課的重點還是放在數據分析上,所以我們就從認識Pig Latin開始吧!




沒有留言:

張貼留言