MapReduce服務(wù) MRS 入門(mén)
MapReduce服務(wù) MRS 入門(mén)
提供Hudi、Doris、Spark、HBase、Flink、Clickhouse、Hadoop等開(kāi)源大數(shù)據(jù)組件,支持湖倉(cāng)一體、靈活的彈性控制能力
提供Hudi、Doris、Spark、HBase、Flink、Clickhouse、Hadoop等開(kāi)源大數(shù)據(jù)組件,支持湖倉(cāng)一體、靈活的彈性控制能力
4步快速使用MapReduce服務(wù)
4步快速使用MapReduce服務(wù)
上傳數(shù)據(jù)
如果您沒有購(gòu)買(mǎi)集群,請上傳程序和數(shù)據(jù)到對(duì)象存儲(chǔ)服務(wù)(OBS)中;如果您已經(jīng)購(gòu)買(mǎi)了集群,請上傳程序和數(shù)據(jù)到HDFS。
購(gòu)買(mǎi)集群
進(jìn)入MapReduce管理控制臺(tái),單擊「購(gòu)買(mǎi)集群」並配置相關(guān)參數(shù)。用戶(hù)可以指定集群類(lèi)型用於離線(xiàn)數(shù)據(jù)分析和流處理任務(wù),指定集群中預置的彈性雲伺服器實(shí)例規(guī)格、實(shí)例數(shù)量、數(shù)據(jù)盤(pán)類(lèi)型、要安裝的組件。
提交作業(yè)
您可以通過(guò)MRS控制臺(tái)界面提交作業(yè),也可以通過(guò)MRS集群節(jié)點(diǎn)使用命令提交作業(yè)。
查看作業(yè)執(zhí)行結(jié)果
可在每個(gè)集群的「作業(yè)管理」頁(yè)籤查看作業(yè)運(yùn)行記錄和查詢結(jié)果或者下載分析結(jié)果。也可以將結(jié)果轉(zhuǎn)儲(chǔ)到用戶(hù)OBS上,轉(zhuǎn)儲(chǔ)成功後,使用OBS工具下載文件,查看結(jié)果。
沙箱實(shí)驗(yàn)室
沙箱實(shí)驗(yàn)室
MRS基礎(chǔ)入門(mén)實(shí)踐
該實(shí)驗(yàn)旨在指導(dǎo)用戶(hù)短時(shí)間內(nèi)熟悉並利用雲原生數(shù)據(jù)湖MapReduce服務(wù)提供租戶(hù)完全可控的企業(yè)級(jí)大數(shù)據(jù)集群雲服務(wù)。
基於Spark實(shí)現(xiàn)車(chē)主駕駛行為分析
通過(guò)MRS服務(wù)Spark組件分析統(tǒng)計(jì)指定時(shí)間內(nèi),車(chē)主急加速、急剎車(chē)、空擋滑行、超速等違法行為的次數(shù)。
MRS基礎(chǔ)組件之 HDFS與MapReduce開(kāi)發(fā)與應(yīng)用
本實(shí)驗(yàn)基於MRS環(huán)境,通過(guò)介紹如何利用HDFS和MapReduce的常用JAVA API來(lái)進(jìn)行相關(guān)操作。