有線加密可保護移動中的數(shù)據(jù)，而傳輸層安全性（TLS）是有線加密中使用最廣泛的安全協(xié)議。 TLS通過對端點之間傳輸?shù)臄?shù)據(jù)包進行加密，在通過網(wǎng)絡(luò)進行通信的應(yīng)用程序之間提供身份驗證，隱私和數(shù)據(jù)完整性。 用戶通過瀏覽器或命令行工具與Hadoop集群進行交互，而應(yīng)用程序則使用REST API或Thrift。

手動啟用TLS的步驟

下面介紹了在Hortonworks Data Platform（HDP）或Cloudera Enterprise（CDH）群集上啟用有線加密的典型過程。

取得證書

在每個主機上生成一個公共/私有密鑰對

為所有主機生成證書簽名請求（CSR）。
獲取由公司內(nèi)部證書頒發(fā)機構(gòu)（CA）簽署的CSR。
生成密鑰庫和信任庫，并將其部署在所有群集主機上。

集群配置

• 對于每個服務(wù)，通過設(shè)置密鑰庫和信任庫配置來啟用TLS。
• 在繼續(xù)為下一個服務(wù)啟用TLS之前，請重新啟動受影響的組件。
• 在群集管理器的用戶界面之外進行所需的更改（例如設(shè)置信任庫，啟用Knox SSL等）

持續(xù)維護

• 對于新服務(wù)安裝，需要為服務(wù)配置密鑰庫和信任庫信息。 重新啟動受影響的服務(wù)。
• 對于要添加到群集中的每個新主機，管理員必須執(zhí)行“獲取證書”部分中的步驟（僅適用于新主機）。
• 證書在到期之前被輪換。

使用Ambari，可以在Hortonworks數(shù)據(jù)平臺（HDP）中使用以下步驟啟用TLS。 在Cloudera Manager（CM）中，可以使用以下步驟手動啟用TLS。 從歷史上看，這一直是在CDH分發(fā)上實施TLS的標(biāo)準(zhǔn)過程。

Cloudera Manager中的自動TLS功能

在大型部署中，上述過程可能是一項巨大的工作，通常會導(dǎo)致部署時間長和操作困難。 自動TLS功能自動執(zhí)行在群集級別啟用TLS加密所需的所有步驟。 使用自動TLS，您可以讓Cloudera管理群集中所有證書的證書頒發(fā)機構(gòu)（CA）或使用公司現(xiàn)有的CA。 在大多數(shù)情況下，可以通過Cloudera Manager UI輕松啟用所有必需的步驟。 此功能可自動執(zhí)行以下過程：

• 當(dāng)Cloudera Manager用作證書頒發(fā)機構(gòu)時
• 創(chuàng)建根證書頒發(fā)機構(gòu)或證書簽名請求（CSR），以創(chuàng)建由公司現(xiàn)有證書頒發(fā)機構(gòu)（CA）簽名的中間證書頒發(fā)機構(gòu)
• 為主機生成CSR并自動對其進行簽名


• 始終執(zhí)行以下步驟
• 為主機創(chuàng)建密鑰庫和信任庫。
• 將證書，密鑰庫和信任庫部署到群集中的所有主機。
• 然后，通過配置角色實例特定目錄中的密鑰庫和信任庫信息，將自動啟用所有TLS的TLS服務(wù)。
• 為Cloudera Manager服務(wù)器和代理啟用TLS。
• 完成此初始設(shè)置后，默認(rèn)情況下將自動啟用所有新服務(wù)，主機（或）其他計算群集設(shè)置。
• 提供用于輪換證書的自動化框架。

自動TLS功能類似于kube master現(xiàn)在如何在香草Kubernetes群集上對節(jié)點證書進行自簽名，而CM的好處是它在保護群集服務(wù)方面也邁出了第一步。

選項1 –使用Cloudera Manager生成內(nèi)部證書頒發(fā)機構(gòu)和相應(yīng)的證書

最簡單的選擇是讓Cloudera Manager創(chuàng)建和管理自己的證書頒發(fā)機構(gòu)。 要選擇此選項，請從Cloudera Manager中轉(zhuǎn)到管理>安全性>啟用自動TLS并完成向?qū)А?/span>

系統(tǒng)將提示您啟動Cloudera Manager，然后啟動Cloudera管理服務(wù)和所有受影響的群集。啟動Cloudera Manager服務(wù)器時，默認(rèn)情況下應(yīng)該在TLS端口7183上看到UI。瀏覽器將顯示來自SCM本地CA機構(gòu)的自簽名證書，如下所示。瀏覽器顯示警告，因為它不知道CM生成的根CA。將根CA導(dǎo)入客戶端瀏覽器的信任庫后，瀏覽器將不會顯示此警告。

設(shè)置群集時，應(yīng)該看到一條消息，說明已啟用自動TLS。繼續(xù)安裝所需的服務(wù)。整個群集均經(jīng)過TLS加密。任何新的主機或服務(wù)都將自動配置。這是默認(rèn)情況下啟用TLS加密的HDFS服務(wù)的示例（在信任Cloudera Manager生成的根證書之后）。

盡管此選項是最簡單的，但它可能不適用于某些公司部署，這些公司的TLS證書由公司現(xiàn)有的證書頒發(fā)機構(gòu)（CA）頒發(fā)，以維護集中的信任鏈。

選項2 –使用現(xiàn)有的證書頒發(fā)機構(gòu)

您可以將Cloudera Manager CA設(shè)置為現(xiàn)有Root CA的中間CA，也可以手動生成由現(xiàn)有Root CA簽名的證書并將其上載到Cloudera Manager。以下將這兩個選項描述為2a和2b。

選項2a –使用現(xiàn)有的根CA啟用自動TLS

僅對于新安裝，您可以使Cloudera Manager成為一個中間CA，該CA為所有群集主機和服務(wù)簽署證書。這是一個三步過程。首先，使Cloudera Manager生成證書簽名請求（CSR）。其次，由公司的證書頒發(fā)機構(gòu)（CA）簽署CSR。第三，提供簽名證書鏈以繼續(xù)自動TLS設(shè)置。下面的示例演示了這三個步驟。

在啟動Cloudera Manager之前，使用–stop-at-csr 選項初始化證書管理器。

JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk; /opt/cloudera/cm-agent/bin/certmanager --location /var/lib/cloudera-scm-server/certmanager setup --configure-services --stop-at-csr

這將在/var/lib/cloudera-scm-server/certmanager/CMCA/private/ca_csr.pem中生成證書簽名請求（CSR）文件。如果仔細(xì)檢查CSR，您將看到CSR請求必要的擴展名X509v3密鑰用法：關(guān)鍵證書簽名，用于自行簽署證書。

獲得簽名證書后，請確保該證書具有所需的擴展名– X509v3基本約束：CA：TRUE和X509v3密鑰用法：密鑰證書簽名。 使用以下命令繼續(xù)安裝。

JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk; /opt/cloudera/cm-agent/bin/certmanager --location /var/lib/cloudera-scm-server/certmanager setup --configure-services --signed-ca-cert=cm_cert_chain.pem

啟動Cloudera Manager，它應(yīng)該從TLS端口7183上的UI開始。如果已將簽名的中間證書已導(dǎo)入到客戶端瀏覽器的信任庫中，那么您應(yīng)該不會看到任何警告。 在下面的屏幕截圖中，“ Vkarthikeyan內(nèi)部根CA”是根證書。 該證書已被系統(tǒng)信任，并已簽署Cloudera中間CA。

選項2b –使用現(xiàn)有證書啟用自動TLS

如果您有一個需要啟用自動TLS的現(xiàn)有群集，或者需要獲得由該公司現(xiàn)有CA單獨簽名的主機證書，請使用以下方法。 此選項增加了為任何新主機生成證書并通過API請求上傳到Cloudera Manager的操作開銷。 在此選項中，將暫存由CA簽名的證書，并通過調(diào)用Cloudera Manager API啟用自動TLS。

在Cloudera Manager服務(wù)器中創(chuàng)建Auto-TLS目錄/ opt / cloudera / AutoTLS。 該目錄必須由cloudera-scm用戶擁有。

為每個主機創(chuàng)建一個公用/專用密鑰，并生成相應(yīng)的證書簽名請求（CSR）。 由公司的證書頒發(fā)機構(gòu)（CA）簽署這些CSR。

在CM服務(wù)器上準(zhǔn)備公司CA簽署的所有證書。 在此示例中，所有證書都位于/ tmp / auto-tls目錄下。 用于密鑰庫和信任庫的密碼分別存在于key.pwd和truststore.pwd文件中。

如下運行Cloudera Manager API

curl -i -v -uadmin:admin -X POST --header 'Content-Type: application/json' --header 'Accept: application/json' -d '{
"location" : "/opt/cloudera/AutoTLS",
"customCA" : true,
"interpretAsFilenames" : true,
"cmHostCert" : "/tmp/auto-tls/certs/ccycloud-7.vcdp71.root.hwx.site.pem",
"cmHostKey" : "/tmp/auto-tls/keys/ccycloud-7.vcdp71.root.hwx.site-key.pem",
"caCert" : "/tmp/auto-tls/ca-certs/cfssl-chain-truststore.pem",
"keystorePasswd" : "/tmp/auto-tls/keys/key.pwd",
"truststorePasswd" : "/tmp/auto-tls/ca-certs/truststore.pwd",
"hostCerts" : [ {
"hostname" : "ccycloud-7.vcdp71.root.hwx.site",
"certificate" : "/tmp/auto-tls/certs/ccycloud-7.vcdp71.root.hwx.site.pem",
"key" : "/tmp/auto-tls/keys/ccycloud-7.vcdp71.root.hwx.site-key.pem"
}, {
"hostname" : "ccycloud-3.vcdp71.root.hwx.site",
"certificate" : "/tmp/auto-tls/certs/ccycloud-3.vcdp71.root.hwx.site.pem",
"key" : "/tmp/auto-tls/keys/ccycloud-3.vcdp71.root.hwx.site-key.pem"
}, {
"hostname" : "ccycloud-2.vcdp71.root.hwx.site",
"certificate" : "/tmp/auto-tls/certs/ccycloud-3.vcdp71.root.hwx.site.pem",
"key" : "/tmp/auto-tls/keys/ccycloud-3.vcdp71.root.hwx.site-key.pem"
}, {
"hostname" : "ccycloud-1.vcdp71.root.hwx.site",
"certificate" : "/tmp/auto-tls/certs/ccycloud-1.vcdp71.root.hwx.site.pem",
"key" : "/tmp/auto-tls/keys/ccycloud-1.vcdp71.root.hwx.site-key.pem"
} ],
"configureAllServices" : "true",
"sshPort" : 22,
"userName" : "root",
"password" : "cloudera"
}' '//ccycloud-7.vcdp71.root.hwx.site:7180/api/v41/cm/commands/generateCmca'

此API成功返回后，您應(yīng)該看到最近運行的命令如下。

“添加主機”向?qū)⑻崾疽韵缕聊唬渲邪嘘P(guān)上載證書的說明。

使用以下命令將證書上載到CM。

curl -uadmin:admin -X POST --header 'Content-Type:
application/json' --header 'Accept: application/json' -d '{
  "location": "/opt/cloudera/AutoTLS",
  "interpretAsFilenames": true,
  "hostCerts": [ {
      "hostname": "ccycloud-10.vcdp71.root.hwx.site",
      "Certificate":
"/tmp/auto-tls/certs/ccycloud-10.vcdp71.root.hwx.site.pem",
      "Key":
"/tmp/auto-tls/certs/ccycloud-10.vcdp71.root.hwx.site.pemm"
    } ]
}' '//ccycloud-7.vcdp71.root.hwx.site:7183/api/v41/cm/commands/addCustomCerts'

照常繼續(xù)添加主機。

在此示例中，用于簽署所有證書的CA是“安全實驗室中間CA”，可以在下面的屏幕快照中找到–Cloudera Manager用戶界面

新集群部署

使用以上任何選項，在啟用了自動TLS的CM上創(chuàng)建新群集時，您可以重用現(xiàn)有TLS設(shè)置。當(dāng)啟動向?qū)?chuàng)建新群集時，應(yīng)該看到以下消息。現(xiàn)在，當(dāng)您部署群集時，所有服務(wù)都將通過有線加密自動配置。

摘要

自動TLS功能不僅可以加快有線加密的初始設(shè)置，還可以自動執(zhí)行群集的將來TLS配置步驟。下表總結(jié)了此博客中描述的選項之間的差異。

自動TLS功能極大地減少了群集TLS管理的開銷，從而提供了增強的安全性并減少了操作開銷，并幫助您專注于客戶及其工作負(fù)載。 喜歡你看到的嗎？ 立即試用新的Cloudera數(shù)據(jù)平臺數(shù)據(jù)中心！

關(guān)于Cloudera

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠?qū)?fù)雜的數(shù)據(jù)轉(zhuǎn)換為清晰而可行的洞察力。Cloudera為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺服務(wù)。在開源社區(qū)不懈創(chuàng)新的支持下，Cloudera推動了全球最大型企業(yè)的數(shù)字化轉(zhuǎn)型歷程。

慧都大數(shù)據(jù)專業(yè)團隊為企業(yè)提供Cloudera大數(shù)據(jù)平臺搭建，免費業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團隊，為您提供免費大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！