本文章是CDP中Cloudera的Operational DB（OpDB）系列文章的一部分,從本系列的開(kāi)頭以CDP中的Operational Database開(kāi)始。

本文章概述了Cloudera Data Platform中的操作數(shù)據(jù)庫(kù)（OpDB）管理工具和功能。如今，它具有兩種形式：作為CDP公共云–數(shù)據(jù)中心中的完全安全，半托管產(chǎn)品以及作為CDP數(shù)據(jù)中心中的完全可定制產(chǎn)品（類(lèi)似于CDH和HDP中提供的產(chǎn)品）。

數(shù)據(jù)庫(kù)創(chuàng)建和控制

Apache HBase命名空間是表的邏輯組，類(lèi)似于傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)庫(kù)，可以通過(guò)Apache HBase Shell創(chuàng)建或管理命名空間。

使用帶有CDP的圖片中的Replication Manager和Ranger，您只能在HBase Shell中創(chuàng)建名稱(chēng)空間并對(duì)其進(jìn)行管理。但是權(quán)限是通過(guò)Ranger進(jìn)行的，復(fù)制是通過(guò)Replication Manager進(jìn)行的。

就像在關(guān)系數(shù)據(jù)庫(kù)中一樣，名稱(chēng)空間包含表和權(quán)限，復(fù)制設(shè)置和資源隔離的集合。您可以在名稱(chēng)空間級(jí)別設(shè)置這些配置。在CDP中，您可以創(chuàng)建名稱(chēng)空間并使用HBase Shell對(duì)其進(jìn)行管理。您可以將Apache Ranger用于細(xì)粒度的授權(quán)策略和審計(jì)。

Replication Manager可幫助您創(chuàng)建HBase復(fù)制策略。您可以使用Replication Manager來(lái)設(shè)置CDH / HDP或Apache HBase與CDP數(shù)據(jù)中心之間的復(fù)制。

圖形化的DDL和DCL功能

為此提供了幾種工具，包括用于以下目的的插件：

Cloudera Machine Learning（CML）：CML幫助您使用HBase客戶(hù)端和Phoenix來(lái)查詢(xún)數(shù)據(jù)，并幫助您進(jìn)行交互式數(shù)據(jù)探索，可視化，共享和協(xié)作。OpDB可用于存儲(chǔ)會(huì)話(huà)/作業(yè)/模型預(yù)測(cè)結(jié)果，以供多個(gè)不同用戶(hù)稍后查詢(xún)。

Hue：Hue是基于Web的交互式查詢(xún)編輯器，使您可以與數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行交互。 您可以使用Hue中的HBase瀏覽器應(yīng)用程序來(lái)創(chuàng)建和瀏覽HBase表。

您可以將使用Impala或Hive的SQL接口用于Hue中的查詢(xún)處理。

開(kāi)箱即用的工具包括Zeppelin和Hue等工具及其插件。 但是，您也可以使用第三方SQL實(shí)用程序，例如Toad。

運(yùn)營(yíng)數(shù)據(jù)庫(kù)版本升級(jí)工具

您可以使用Cloudera Manager在Cloudera數(shù)據(jù)平臺(tái)-數(shù)據(jù)中心（CDP-DC）中自動(dòng)化升級(jí)操作數(shù)據(jù)庫(kù)的過(guò)程。升級(jí)是通過(guò)發(fā)行版或維護(hù)修補(bǔ)程序提供的。Cloudera Manager將安裝發(fā)行版和/或補(bǔ)丁，并管理配置以及重新啟動(dòng)過(guò)程。

如果在諸如Amazon AWS之類(lèi)的公共云上使用CDP，則必須創(chuàng)建一個(gè)新的數(shù)據(jù)中心集群以升級(jí)到各種組件的新版本。

Cloudera的產(chǎn)品是基于集群的產(chǎn)品；所有升級(jí)和修補(bǔ)程序都跨越多個(gè)節(jié)點(diǎn)（服務(wù)器），并且安裝，配置，重新啟動(dòng)都是自動(dòng)化的，包括在適用的情況下進(jìn)行滾動(dòng)重新啟動(dòng)。

跨多個(gè)服務(wù)器的補(bǔ)丁程序管理工具

在CDP數(shù)據(jù)中心中，Cloudera Manager安裝發(fā)行版并管理配置。Cloudera Manager還會(huì)對(duì)每個(gè)受影響的組件執(zhí)行重啟過(guò)程。

零停機(jī)補(bǔ)丁程序

在CDP數(shù)據(jù)中心中，Cloudera Manager允許您以零停機(jī)時(shí)間應(yīng)用補(bǔ)丁。

跨多臺(tái)服務(wù)器的變更管理

您可以跨多個(gè)實(shí)例對(duì)數(shù)據(jù)庫(kù)架構(gòu)執(zhí)行變更管理。例如，您可以在測(cè)試/開(kāi)發(fā)，登臺(tái)或生產(chǎn)環(huán)境中執(zhí)行此操作。

您可以使用HBase Shell對(duì)所需的更改進(jìn)行腳本編寫(xiě)，然后將其傳播到其他實(shí)例。

工作負(fù)載分區(qū)

您可以使用幾種工具在OpDB中進(jìn)行工作負(fù)載/應(yīng)用程序分區(qū)，具體取決于工作負(fù)載集的性質(zhì)及其數(shù)據(jù)需求。

如果應(yīng)用程序均訪(fǎng)問(wèn)單獨(dú)的表，則可以使用區(qū)域服務(wù)器組為一組定義的表或名稱(chēng)空間指定一組節(jié)點(diǎn)，從而創(chuàng)建硬件分區(qū)方法。

對(duì)于使用同一組表的應(yīng)用程序，可以使用RPC限制，用戶(hù)配額和空間配額來(lái)管理嘈雜的鄰居問(wèn)題。

您還可以將這兩套選項(xiàng)組合在一起，以使用更復(fù)雜的分區(qū)方案。使用Cloudera Manager確保特定服務(wù)在群集的不同節(jié)點(diǎn)之間適當(dāng)分區(qū)；例如，您可以決定應(yīng)將哪些節(jié)點(diǎn)用于SOLR搜索等。

硬件分區(qū)

Cloudera Manager和YARN都利用Linux cgroup和活動(dòng)內(nèi)存管理來(lái)對(duì)硬件資源進(jìn)行靜態(tài)和動(dòng)態(tài)分區(qū)。

首先，可以使用Cloudera Manager設(shè)置的cgroup對(duì)在所有主機(jī)上運(yùn)行的所有進(jìn)程進(jìn)行硬分區(qū)。其次，向?qū)г试S用戶(hù)通過(guò)設(shè)置百分比，自動(dòng)轉(zhuǎn)換基于cgroup的CPU和I / O隔離來(lái)定義服務(wù)的靜態(tài)分區(qū)的布局，并通過(guò)自己配置服務(wù)來(lái)設(shè)置內(nèi)存限制。

最后，本機(jī)資源管理器為工作負(fù)載提供了一個(gè)容器模型，該模型使用cgroup和活動(dòng)內(nèi)存管理（設(shè)置，監(jiān)視和終止）來(lái)隔離應(yīng)用程序，將每個(gè)離散的工作單元放入容器中。

軟件管理程序

支持以下軟件管理程序

• 本地環(huán)境支持VMware
• 微軟Azure的虛擬環(huán)境（Azure堆棧）
• 云上支持Amazon Web Services，Google Compute Platform的虛擬化和Microsoft Azure。

Cloudera提供了一個(gè)Docker映像，該映像上安裝了Apache HBase，Apache ZooKeeper和Cloudera Manager。您可以配置YARN來(lái)管理您的Docker容器，并在同一容器上將Apache HBase作業(yè)提交到Y(jié)ARN或從另一個(gè)容器將作業(yè)提交到Y(jié)ARN。

回滾補(bǔ)丁或版本升級(jí)

Cloudera Manager為某些回滾過(guò)程提供了自動(dòng)化。升級(jí)有時(shí)可能會(huì)涉及數(shù)據(jù)格式的更改。不支持用于撤消格式更改的工具，您必須觸發(fā)備份中的數(shù)據(jù)還原，以便回滾可以使用舊數(shù)據(jù)。

跨OS平臺(tái)遷移

Cloudera的標(biāo)準(zhǔn)備份/還原/數(shù)據(jù)恢復(fù)工具可用來(lái)支持OpDB在不同操作系統(tǒng)之間的遷移。

HBase備份和災(zāi)難恢復(fù)策略可確保備份您的數(shù)據(jù)，以防止數(shù)據(jù)丟失。 HBase快照使您可以對(duì)表進(jìn)行快照，而對(duì)RegionServer的影響不大。同樣是因?yàn)榭煺?，克隆和還原操作不涉及數(shù)據(jù)復(fù)制。

數(shù)據(jù)庫(kù)管理員（DBA）工具

包含許多支持管理數(shù)據(jù)庫(kù)的工具，包括：

• Cloudera Manager
• HBase shell
• Hue
• HBCK2
• hbtop
• Ranger
• Atlas
• FreeIPA
• navencrypt
• HDFS tools
• YARN

這些工具提供了指標(biāo)和監(jiān)視，集群重啟，添加接收，生命周期管理，升級(jí)，安全性，Kerberos設(shè)置以及其他功能。

除了這些工具之外，您還可以使用以下第三方和開(kāi)源管理工具：

• hrider
• HADMIN

Cloudera還提供開(kāi)放的API，以使其他工具可用于管理OpDB。例如，JMX接口可用于與第三方監(jiān)視工具（例如Grafana）集成。

結(jié)論

在此博客文章中，我們研究了如何利用CDP中OpDB提供的各種管理工具和功能，在下一篇文章中，我們將介紹如何利用OpDB中的管理功能。

關(guān)于Cloudera

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠?qū)?fù)雜的數(shù)據(jù)轉(zhuǎn)換為清晰而可行的洞察力。Cloudera 為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺(tái)服務(wù)。在開(kāi)源社區(qū)不懈創(chuàng)新的支持下， Cloudera推動(dòng)了全球最大型企業(yè)的數(shù)字化轉(zhuǎn)型歷程。了解更多，請(qǐng)聯(lián)系。

慧都大數(shù)據(jù)專(zhuān)業(yè)團(tuán)隊(duì)為企業(yè)提供Cloudera大數(shù)據(jù)平臺(tái)搭建，免費(fèi)業(yè)務(wù)咨詢(xún)，定制開(kāi)發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線(xiàn)023-68661681或咨詢(xún)慧都在線(xiàn)客服，我們有專(zhuān)業(yè)的大數(shù)據(jù)團(tuán)隊(duì)，為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢(xún)！