應(yīng)用場(chǎng)景
場(chǎng)景描述
數(shù)據(jù)湖建設(shè)和持續(xù)運(yùn)營(yíng),是指數(shù)據(jù)湖的初始化建設(shè)及後續(xù)日常的海量元數(shù)據(jù)及權(quán)限管理,因此客戶(hù)需要便捷高效的建設(shè)和管理方式。
傳統(tǒng)方式的弊端
· 僅支持通過(guò)計(jì)算引擎(Hive、Spark等)執(zhí)行SQL實(shí)現(xiàn)元數(shù)據(jù)的定義、修改、查詢,對(duì)客戶(hù)有一定的技能要求,缺少提升易用性的可視化界面。
· 一個(gè)完整的授權(quán)活動(dòng),需要針對(duì)計(jì)算引擎、對(duì)象存儲(chǔ)執(zhí)行兩(liǎng)次授權(quán)操作,對(duì)客戶(hù)操作帶來(lái)不便,易用性差。
服務(wù)優(yōu)勢(shì)
· 一站式可視化數(shù)據(jù)湖構(gòu)建:提供數(shù)據(jù)湖元數(shù)據(jù)統(tǒng)一定義和授權(quán)的可視化界面,支持客戶(hù)便捷操作,快速構(gòu)建。
· 聯(lián)動(dòng)授權(quán):支持在元數(shù)據(jù)授權(quán)的同時(shí),自動(dòng)化完成元數(shù)據(jù)所映射的文件目錄的授權(quán),使客戶(hù)授權(quán)操作更便捷和高效。
· 細(xì)粒度訪(fǎng)問(wèn)控制:實(shí)現(xiàn)針對(duì)數(shù)據(jù)湖的庫(kù)、表、列級(jí)元數(shù)據(jù)的細(xì)粒度訪(fǎng)問(wèn)控制,為業(yè)務(wù)數(shù)據(jù)的安全性提供有力保障。
場(chǎng)景描述
多計(jì)算引擎共享元數(shù)據(jù),是客戶(hù)的多種計(jì)算引擎(Hive、Spark等)均使用統(tǒng)一的元數(shù)據(jù),最大化實(shí)現(xiàn)數(shù)據(jù)的共享,避免不必要的數(shù)據(jù)拷貝,更大程度釋放業(yè)務(wù)數(shù)據(jù)價(jià)值。
本服務(wù)的優(yōu)勢(shì)
· 兼容Hive元數(shù)據(jù)模型:提供兼容Hive元數(shù)據(jù)模型的SDK客戶(hù)端,使計(jì)算引擎對(duì)接LakeFormation更輕鬆和高效。
· 兼容Ranger權(quán)限模型:提供兼容Ranger權(quán)限模型的接口,具備良好的生態(tài)擴展性。
產(chǎn)品優(yōu)勢(shì)
生態(tài)開(kāi)放
- 遵循開(kāi)源事實(shí)標(biāo)準(zhǔn),支撐存量業(yè)務(wù)平滑演進(jìn)
— 提供兼容Hive/Spark/Flink/Trino社區(qū)的元數(shù)據(jù)接口,支持計(jì)算引擎平滑對(duì)接。
— 提供兼容Ranger的權(quán)限接口,一次授權(quán),統(tǒng)一生效。
— 提供遷移工具,支持存量集群相關(guān)元數(shù)據(jù)的平滑遷移。

數(shù)智融合
- 打通大數(shù)據(jù)的數(shù)據(jù)壁壘,實(shí)現(xiàn)真正數(shù)智融合
—支持資料庫(kù)、表、UDF模型、非結(jié)構(gòu)化數(shù)據(jù)集等統(tǒng)一管理。
— 實(shí)現(xiàn)統(tǒng)一的細(xì)粒度數(shù)據(jù)權(quán)限管理,支持跨服務(wù)/跨集群的數(shù)據(jù)共享。

大規(guī)格高可靠
- 支撐超大規(guī)模大數(shù)據(jù)業(yè)務(wù)的高可靠
— 超大規(guī)模元數(shù)據(jù)管理能力。
— 統(tǒng)一權(quán)限管理能力,支持海量細(xì)粒度權(quán)限管理。
—支持多AZ的容災能力。

簡(jiǎn)單易用
- 提供基於元數(shù)據(jù)的增值管理能力
—Serverless架構(gòu),開(kāi)箱即用 。
—提供數(shù)據(jù)湖管理、元數(shù)據(jù)統(tǒng)計(jì)等管理能力。

功能描述
-
實(shí)例類(lèi)別
LakeFormation提供了共享、獨(dú)享實(shí)例類(lèi)別,滿(mǎn)足不同場(chǎng)景下客戶(hù)對(duì)性能和成本的不同訴求。共享型側重性價(jià)比要求較高的場(chǎng)景。
LakeFormation提供了共享、獨(dú)享實(shí)例類(lèi)別,滿(mǎn)足不同場(chǎng)景下客戶(hù)對(duì)性能和成本的不同訴求。
具體介紹請參考:5.1 共享型(推薦)、5.2 獨(dú)享型。
-
實(shí)例管理
LakeFormation提供實(shí)例的創(chuàng)建、總覽、刪除等基本功能,幫助您便捷的進(jìn)行實(shí)例管理,加速實(shí)現(xiàn)數(shù)據(jù)湖承載的業(yè)務(wù)的規(guī)劃(huà)和部署。
LakeFormation提供實(shí)例的創(chuàng)建、總覽、刪除等基本功能,幫助您便捷的進(jìn)行實(shí)例管理,加速實(shí)現(xiàn)數(shù)據(jù)湖承載的業(yè)務(wù)的規(guī)劃(huà)和部署。
-
元數(shù)據(jù)管理
LakeFormation提供數(shù)據(jù)湖元數(shù)據(jù)Catalog、Database、Table的創(chuàng)建、修改、刪除、查看等生命周期管理的功能。幫助您便捷的進(jìn)行數(shù)據(jù)湖初始化構(gòu)建以及持續(xù)運(yùn)營(yíng),集中式的統(tǒng)一管理LakeFormation實(shí)例下所有的元數(shù)據(jù),加速實(shí)現(xiàn)數(shù)據(jù)湖承載的業(yè)務(wù)的規(guī)劃(huà)和部署。
LakeFormation提供數(shù)據(jù)湖元數(shù)據(jù)Catalog、Database、Table的創(chuàng)建、修改、刪除、查看等生命周期管理的功能。幫助您便捷的進(jìn)行數(shù)據(jù)湖初始化構(gòu)建以及持續(xù)運(yùn)營(yíng),集中式的統(tǒng)一管理LakeFormation實(shí)例下所有的元數(shù)據(jù),加速實(shí)現(xiàn)數(shù)據(jù)湖承載的業(yè)務(wù)的規(guī)劃(huà)和部署。
-
數(shù)據(jù)權(quán)限管理
LakeFormation提供針對(duì)Catalog、Database、Table等數(shù)據(jù)資源的授權(quán)、取消、查看等功能。幫助您對(duì)數(shù)據(jù)湖實(shí)現(xiàn)便捷的統(tǒng)一的數(shù)據(jù)權(quán)限管理。
LakeFormation提供針對(duì)Catalog、Database、Table等數(shù)據(jù)資源的授權(quán)、取消、查看等功能。幫助您對(duì)數(shù)據(jù)湖實(shí)現(xiàn)便捷的統(tǒng)一的數(shù)據(jù)權(quán)限管理。