這個案例由中國聯(lián)合網(wǎng)絡(luò)通信有限公司湖北省分公司集客支撐部付振華提供，希望對從事這個行業(yè)的政企專線運維的人員有所幫助。

一、案例摘要

摘要：在集團(tuán)公司推進(jìn)政企客戶網(wǎng)管部署的背景下，湖北省在2019年完成了大客戶綜合支撐系統(tǒng)的上線使用，實現(xiàn)對政企客戶電路業(yè)務(wù)的綜合支撐服務(wù)。在具體的項目實施交付中遇到了大量的客戶個性化、定制化要求。本案例介紹在某政企客戶組網(wǎng)租線項目中，為了實現(xiàn)的專用網(wǎng)絡(luò)管理服務(wù)，在客戶內(nèi)網(wǎng)實施部署客戶網(wǎng)管的方案，本項目目前已通過終驗，順利交付。本案例對定制化提供客戶網(wǎng)管，滿足客戶個性化需求方面具備一定的參考意義。

二、關(guān)鍵詞

關(guān)鍵詞：客戶網(wǎng)管；定制化；個性化；內(nèi)網(wǎng)部署；綜合支撐

三、案例正文

（一）案例背景

在集團(tuán)公司推進(jìn)政企客戶網(wǎng)管部署的背景下，湖北省在2019年完成了大客戶綜合支撐系統(tǒng)的上線使用，實現(xiàn)對政企客戶電路業(yè)務(wù)的綜合支撐服務(wù)。在具體的項目實施交付中遇到了大量的客戶個性化、定制化要求。在某政企客戶組網(wǎng)租線項目中，客戶提出需求，要求采購專用網(wǎng)絡(luò)管理服務(wù)，滿足計算機(jī)終端訪問方式功能和移動終端訪問功能的同時，需要符合公安網(wǎng)網(wǎng)絡(luò)安全管理要求，在客戶內(nèi)網(wǎng)實施部署客戶網(wǎng)管。獲得客戶需求后，政企客戶事業(yè)部、網(wǎng)絡(luò)運營部和產(chǎn)業(yè)互聯(lián)網(wǎng)運營中心等多部門開會討論，確定在湖北省大客戶綜合支撐系統(tǒng)的基礎(chǔ)上進(jìn)行定制化開發(fā)和部署，滿足客戶的需求。最終通過無偏離應(yīng)答，成功拿下該“億元級”項目，有效支撐了政企業(yè)務(wù)發(fā)展。

（二）案例描述

1.建設(shè)內(nèi)容 在某客戶內(nèi)網(wǎng)部署專用網(wǎng)絡(luò)管理系統(tǒng)，對本次建設(shè)的所有前端監(jiān)控點使用的聯(lián)通專用網(wǎng)絡(luò)傳輸線路部分進(jìn)行集中監(jiān)控管理。專用網(wǎng)絡(luò)管理系統(tǒng)具體提供計算機(jī)終端訪問方式功能和移動終端訪問功能，并提供運維服務(wù)。

2.系統(tǒng)概述 本次項目建設(shè)的專用網(wǎng)絡(luò)管理系統(tǒng)在滿足高性能、高安全、高可靠的基礎(chǔ)上，應(yīng)充分考慮系統(tǒng)兼容性，保障各種功能模塊的有效使用，系統(tǒng)總體設(shè)計如下：

圖1 專用網(wǎng)絡(luò)管理系統(tǒng)概況

(1)系統(tǒng)架構(gòu)

圖2專用網(wǎng)絡(luò)管理系統(tǒng)架構(gòu)圖

專用網(wǎng)絡(luò)管理系統(tǒng)采用了基于云架構(gòu)的分布式集群設(shè)計和虛擬化設(shè)計，在系統(tǒng)內(nèi)部實現(xiàn)了多設(shè)備協(xié)同工作、性能和資源的虛擬整合，最大限度利用了硬件資源和存儲空間。

專用網(wǎng)絡(luò)管理系統(tǒng)由管理節(jié)點和存儲節(jié)點組成，支持控制流與數(shù)據(jù)流分離，數(shù)據(jù)的存儲或讀取由存儲節(jié)點并行讀寫。云存儲管理節(jié)點支持?jǐn)U展為集群方式，實現(xiàn)系統(tǒng)高可靠性能。專用網(wǎng)絡(luò)管理系統(tǒng)可將所有物理存儲資源虛擬化成統(tǒng)一的存儲空間，以唯一業(yè)務(wù)IP地址對外提供存儲服務(wù)。

整個系統(tǒng)從邏輯上分別為設(shè)備接入層、第三方接入，流媒體服務(wù)，圖片服務(wù)，分布式文件系統(tǒng)組成。為用戶提供從前端數(shù)據(jù)采集，存儲，轉(zhuǎn)發(fā)，于一體的數(shù)據(jù)層解決方案。同時，通過開放透明的應(yīng)用接口和簡單易用的管理界面，為整個安防監(jiān)控系統(tǒng)提供了高效、可靠的數(shù)據(jù)服務(wù)。

(2)系統(tǒng)組網(wǎng)架構(gòu)

圖3云存儲組網(wǎng)架構(gòu)圖

本次項目專用網(wǎng)絡(luò)管理系統(tǒng)在黃石和金銀湖的聯(lián)通IDC機(jī)房分別設(shè)置一套云存儲分中心。

分中心的專用網(wǎng)絡(luò)管理系統(tǒng)均為單云系統(tǒng)，互不影響，負(fù)責(zé)自己轄區(qū)的數(shù)據(jù)的存儲，包括視頻、卡口圖片、違法圖片以及結(jié)構(gòu)化數(shù)據(jù)等。分中心之間數(shù)據(jù)之間實現(xiàn)互聯(lián)互通及數(shù)據(jù)共享應(yīng)用。

專用網(wǎng)絡(luò)管理系統(tǒng)內(nèi)部通過局域網(wǎng)交換機(jī)連接，組成統(tǒng)一的存儲虛擬池，對外提供統(tǒng)一IP服務(wù)，分中心之間通過視頻專網(wǎng)進(jìn)行組網(wǎng)，實現(xiàn)數(shù)據(jù)互聯(lián)。

(3)系統(tǒng)主要功能

專用網(wǎng)絡(luò)管理系統(tǒng)的核心功能是管理專用傳輸網(wǎng)絡(luò)線路、提供計算機(jī)終端訪問方式功能和移動終端訪問功能。

表1核心功能表

a）可通過web、手機(jī)App等多種方式提供可視化、圖形化的建管理功能

圖4支持web端訪問

圖5支持app訪問

b）可展現(xiàn)客戶鏈路總體質(zhì)量

可提供用戶總體信息。可提供用戶專線總體質(zhì)量情況；提供用戶總體信息查看，可以直觀展示用戶開通電路情況。并提供專線總體質(zhì)量情況統(tǒng)計展示分析。

圖6鏈路總體質(zhì)量儀表盤

c）可視化鏈路詳細(xì)路由

支持拓?fù)鋱D放大、縮小功能，提供整體拓?fù)?/span>展示。

圖7按地理區(qū)域拓?fù)鋱D示例

d)專線鏈路電路告警支持告警查看、導(dǎo)出等功能。

圖8告警查詢界面

e)專線鏈路電路性能分析

提供專線性能的數(shù)據(jù)趨勢。

圖9性能圖表查詢界面

f)專線鏈路網(wǎng)絡(luò)拓?fù)?/span>展示

支持業(yè)務(wù)路由展現(xiàn)，以及用戶詳細(xì)路由。

圖10鏈路路由展示界面

7專線鏈路公告通知

提供系統(tǒng)公告通知。

圖11系統(tǒng)首頁公告提示界面

8.專線鏈路支撐團(tuán)隊

提供專業(yè)的運維支撐團(tuán)隊，可隨時聯(lián)系解決問題，每條專線鏈路由兩端地市的客戶經(jīng)理、網(wǎng)絡(luò)服務(wù)經(jīng)理和維護(hù)經(jīng)理共同提供支撐。在專線鏈路的業(yè)務(wù)信息中可以直接查看。

圖11業(yè)務(wù)信息中展現(xiàn)專線鏈路支撐團(tuán)隊

(4)主要技術(shù)說明

信息安全備份符合《信息安全技術(shù)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》、《全國公安交通管理信息系統(tǒng)安全備份建設(shè)指導(dǎo)意見》技術(shù)要求。

公安網(wǎng)與視頻邊界接入平臺、無線邊界接入平臺進(jìn)行信息交換符合《公安信息通信網(wǎng)邊界接入平臺安全規(guī)范》技術(shù)要求。

1基礎(chǔ)支撐環(huán)境技術(shù)方案

本次設(shè)計的專用網(wǎng)絡(luò)管理系統(tǒng)，組網(wǎng)架構(gòu)如下：

圖12專用網(wǎng)絡(luò)管理系統(tǒng)組網(wǎng)架構(gòu)圖

云存儲網(wǎng)絡(luò)形態(tài)如下：

圖13云存儲網(wǎng)絡(luò)形態(tài)示意圖

云存儲采用存儲網(wǎng)絡(luò)與業(yè)務(wù)網(wǎng)絡(luò)分離式設(shè)計，從網(wǎng)絡(luò)結(jié)構(gòu)上需要劃分2張獨立的LAN網(wǎng)絡(luò)，分別為業(yè)務(wù)網(wǎng)絡(luò)和存儲專用網(wǎng)絡(luò)，彼此相互隔離互不干擾。其中業(yè)務(wù)網(wǎng)絡(luò)用于連接各個業(yè)務(wù)應(yīng)用平臺，存儲網(wǎng)絡(luò)用于云存儲元數(shù)據(jù)單元和存儲節(jié)點互聯(lián)。目前云存儲平臺支持千兆和萬兆網(wǎng)絡(luò)傳輸速率，建議業(yè)務(wù)網(wǎng)絡(luò)使用千兆速率傳輸，存儲網(wǎng)絡(luò)根據(jù)項目規(guī)模使用千兆/萬兆網(wǎng)絡(luò)速率傳輸，以保證整個云存儲網(wǎng)絡(luò)高速可靠的運行。

云存儲網(wǎng)絡(luò)接口介紹

1)云存儲管理節(jié)點介紹元數(shù)據(jù)節(jié)點共8個千兆網(wǎng)口，其中2個網(wǎng)口作為管理節(jié)點心跳接口，用于2臺元數(shù)據(jù)節(jié)點HA冗余配置，另2個千兆網(wǎng)口連接存儲網(wǎng)絡(luò)交換機(jī)用于管理各個存儲節(jié)點使用。

圖14云存儲管理節(jié)點結(jié)構(gòu)示意圖

2)云存儲數(shù)據(jù)存儲節(jié)點介紹

圖15業(yè)務(wù)網(wǎng)口和存儲網(wǎng)口示意圖

針對于云直存部署環(huán)境，數(shù)據(jù)存儲節(jié)點需要分別于業(yè)務(wù)網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)互連，其中2～4接口通過端口聚合與業(yè)務(wù)網(wǎng)絡(luò)交換機(jī)互連用于從前端拉流，另使用4個端口聚合與存儲網(wǎng)絡(luò)交換機(jī)互連用于存儲數(shù)據(jù)內(nèi)部交換。

3)交換機(jī)性能規(guī)格要求

存儲網(wǎng)絡(luò)采用全千兆背板帶寬和包轉(zhuǎn)發(fā)。

所有端口容量X端口數(shù)量之和的2倍應(yīng)該小于背板帶寬，可實現(xiàn)全雙工無阻塞交換，證明交換機(jī)具有發(fā)揮最大數(shù)據(jù)交換性能的條件。

滿配置吞吐量(Mbps)=滿配置GE端口數(shù)×1.488Mpps其中1個千兆端口在包長為64字節(jié)時的理論吞吐量為1.488Mpps。

例如，一臺最多可以提供64個千兆端口的交換機(jī)，其滿配置吞吐量應(yīng)達(dá)到64×1.488Mpps=95.2Mpps，才能夠確保在所有端口均線速工作時，提供無阻塞的包交換。

支持端口聚合（端口HASH算法），組播，VLAN劃分，靜態(tài)路由等功能。

如需網(wǎng)絡(luò)冗余，必須支持網(wǎng)絡(luò)堆疊，堆疊帶寬>20Gbpsb。

如需多有多臺云存儲交換機(jī)，必須支持上行，上行帶寬>20Gbpsb。

4)云存儲組網(wǎng)架構(gòu)

圖16專用網(wǎng)絡(luò)管理系統(tǒng)組網(wǎng)架構(gòu)圖

云存儲采用網(wǎng)絡(luò)虛擬化IRF2：2臺網(wǎng)絡(luò)交換機(jī)之間通過2條萬兆光纖實現(xiàn)IRF2網(wǎng)絡(luò)虛擬化，實現(xiàn)2臺交換機(jī)之間協(xié)同工作、統(tǒng)一管理和不間斷維護(hù)。

交換機(jī)需要劃分2個VLAN，配置存儲網(wǎng)絡(luò)VLAN和業(yè)務(wù)網(wǎng)絡(luò)VLAN，2個邏輯工作組（VLAN）之間互不干擾，保證網(wǎng)絡(luò)穩(wěn)定性。

元數(shù)據(jù)服務(wù)器（MDS）：共需使用4個網(wǎng)口，其中2個網(wǎng)口作為管理節(jié)點心跳接口，另2個千兆網(wǎng)口連接網(wǎng)絡(luò)交換機(jī)用于管理各個存儲節(jié)點使用。

數(shù)據(jù)節(jié)點（DN）：共需使用6個網(wǎng)口，分別4個存儲網(wǎng)口和2個業(yè)務(wù)網(wǎng)口，其中4個存儲網(wǎng)口做一個端口聚合連接網(wǎng)絡(luò)交換機(jī)，另2個業(yè)務(wù)網(wǎng)口做一個端口聚合連接網(wǎng)絡(luò)交換機(jī)。

交換機(jī)：網(wǎng)絡(luò)交換帶48個千兆電口和4個SPF 萬兆光口，每臺使用其中2個萬兆光口與用戶核心交換機(jī)互連，需要保證客戶核心交換機(jī)是否有萬兆業(yè)務(wù)口以及足夠光模塊，萬兆上行能充分保障云存儲業(yè)務(wù)流量正常運行。

2系統(tǒng)對接方案系統(tǒng)軟件架構(gòu)及接口說明圖17專用網(wǎng)絡(luò)管理系統(tǒng)軟件架構(gòu)圖系統(tǒng)包含四個層次功能，來滿足最終用戶、系統(tǒng)管理員、運營人員的日常操作需求：

圖17專用網(wǎng)絡(luò)管理系統(tǒng)軟件架構(gòu)圖

系統(tǒng)包含四個層次功能，來滿足最終用戶、系統(tǒng)管理員、運營人員的日常操作需求：資源層：基于單個存儲節(jié)點，管理本地的硬盤，文件和數(shù)據(jù)塊。

硬盤熱插拔：管理節(jié)點內(nèi)的硬盤動態(tài)增加和刪除，和存儲管理層同步硬盤內(nèi)的文件信息。

硬盤漂移：當(dāng)節(jié)點故障時，支持把節(jié)點上的硬盤取下來放到新的存儲設(shè)備上，快速恢復(fù)數(shù)據(jù)。

本地文件系統(tǒng)：對操作系統(tǒng)自帶的本地文件系統(tǒng)進(jìn)行調(diào)優(yōu)，作為數(shù)據(jù)存儲的基礎(chǔ)。

對象數(shù)據(jù)塊管理：對象存儲到節(jié)點后，會形成多個數(shù)據(jù)塊。

管理層：提供單個集群和多域的管理能力

節(jié)點管理：管理多個存儲節(jié)點，支持節(jié)點上下線，搜集節(jié)點信息。

負(fù)載均衡：根據(jù)節(jié)點的CPU,網(wǎng)絡(luò)，磁盤的負(fù)載情況，動態(tài)選擇負(fù)載最輕的節(jié)點參與工作。

高可用HA：對兩臺元數(shù)據(jù)進(jìn)行數(shù)據(jù)同步，在一臺發(fā)生故障時快速進(jìn)行主備切換。

對象管理：響應(yīng)客戶端的對象操作請求，為對象分配合適的存儲節(jié)點，提供唯一ID。

統(tǒng)一目錄：提供文件對象的目錄視圖，支持文件路徑和按范圍查詢。

運維管理：提供運維Web服務(wù)，支持設(shè)備動態(tài)添加刪除，文件手動恢復(fù)，系統(tǒng)升級等。

多域管理：通過索引對多個專用網(wǎng)絡(luò)管理系統(tǒng)統(tǒng)一管理，提供全域唯一文件路徑。

接入層：提供豐富的訪問接口，適應(yīng)各種應(yīng)用

基礎(chǔ)SDK：通過SDK可以直接訪問專用網(wǎng)絡(luò)管理系統(tǒng)，進(jìn)行基本文件操作。

流媒體SDK：基于基礎(chǔ)SDK封裝，支持流媒體寫入并建立幀索引，按時間段定位和讀取。

POSIX驅(qū)動：基于基礎(chǔ)SDK封裝，提供Windows/Linux驅(qū)動，將云存儲模擬成本地硬盤。

NFS/CIFS網(wǎng)關(guān)：通過服務(wù)器，提供網(wǎng)絡(luò)文件系統(tǒng)服務(wù)。

WebService：通過Web服務(wù)器，提供文件Web服務(wù)，并提供RESTful的接口形式。

應(yīng)用&服務(wù)層：

業(yè)務(wù)應(yīng)用層部署由各用戶根據(jù)自身需求，充分利用接口層提供的各種接口，開發(fā)而成的監(jiān)控系統(tǒng)，聯(lián)網(wǎng)共享系統(tǒng)等。

系統(tǒng)對接結(jié)構(gòu)類型專用網(wǎng)絡(luò)管理系統(tǒng)支持采用多種標(biāo)準(zhǔn)協(xié)議及接口方式跟第三方系統(tǒng)實現(xiàn)數(shù)據(jù)對接，

專用網(wǎng)絡(luò)管理系統(tǒng)支持提供2類SDK包，一類EFS-SDK包，二類是小文件打包SDK(對小文件進(jìn)行打包，提高云存儲元數(shù)據(jù)管理文件上限)。

專用網(wǎng)絡(luò)管理系統(tǒng)也支持基于FUSE的Posix接口，Posix接口是各種操作系統(tǒng)都支持的本地文件訪問接口，通過安裝云存儲驅(qū)動，可以基于SDK模擬出一個本地硬盤，用戶可以像訪問

本地硬盤一樣可以訪問專用網(wǎng)絡(luò)管理系統(tǒng)，對老的應(yīng)用程序提供很好的兼容性。

圖18系統(tǒng)對接結(jié)構(gòu)類型示意圖

文件級EFS-SDK

EFS-SDK是訪問云存儲基礎(chǔ)API，類似于百度云、HDFS的API接口，是與云存儲交互的原生接口，可以獲得最優(yōu)的系統(tǒng)性能。標(biāo)準(zhǔn)云存儲提供2類SDK包，一類EFS-SDK包，二類是小文件打包SDK（對小文件進(jìn)行打包，提高云存儲元數(shù)據(jù)管理文件上限）。

EFS-SDK支持平臺及依賴文件

Java平臺

依賴包：jna-4.1.0.jar

Jar包：EFSClient.jar

c 平臺

頭文件：IntTypes.h、Defs.h、EFileSystem.h、Bucket.h、File.h

Linux平臺

32位：libEFSClient.so（動態(tài)庫）

64位：libEFSClient64.so（動態(tài)庫）

windows平臺

32位：EFSClient.dllEFSClient.lib

64位：EFSClient64.dllEFSClient64.libc

圖19基本流程示意圖

上圖僅描述一次打包小文件/讀取小文件的流程，如需多次打包，可復(fù)用打開>寫入>關(guān)閉流程（提示：打開>寫入>關(guān)閉流程可以抽象成一個方法，便于方法調(diào)用）。

小文件打包使用過程中需要配合云存儲SDK，對于云存儲SDK的使用可參見云存儲SDK用戶手冊，見附件。

上圖流程為基本流程，不包括異常處理，異常處理請重點關(guān)注示例代碼特殊處理。LINUX環(huán)境基于FUSE的Posix接口

Posix接口是各種操作系統(tǒng)都支持的本地文件訪問接口，通過安裝云存儲驅(qū)動，可以基于SDK模擬出一個本地硬盤，用戶可以像訪問本地硬盤一樣訪問專用網(wǎng)絡(luò)管理系統(tǒng)，對老的應(yīng)用程序提供很好的兼容性。

為增強(qiáng)專用網(wǎng)絡(luò)管理系統(tǒng)的兼容性，提升EFS系統(tǒng)操作的用戶體驗，需要對EFS用戶接口部分進(jìn)行升級和優(yōu)化，特引入用戶空間文件系統(tǒng)（FilesysteminUserspace，以下簡稱FUSE）來對EFS-SDK進(jìn)行二次封裝。封裝后EFS能夠?qū)OSIX標(biāo)準(zhǔn)有較好的兼容性，能夠使用Linux命令、文件瀏覽器、及多種開發(fā)語言（如JAVA、PHP、Python等）實現(xiàn)對EFS的訪問，從而極大的豐富了EFS接口的互操作性，提升了用戶的體驗度。

FUSE是一種在Linux內(nèi)核模塊實現(xiàn)用戶態(tài)文件系統(tǒng)的一種技術(shù)。傳統(tǒng)上操作系統(tǒng)在內(nèi)核層面上對文件系統(tǒng)提供支持。而通常內(nèi)核態(tài)的代碼難以調(diào)試，生產(chǎn)率較低。通過FUSE模塊支持在用戶空間實現(xiàn)文件系統(tǒng)。在用戶空間實現(xiàn)文件系統(tǒng)能夠大幅提高生產(chǎn)率，簡化了為操作系統(tǒng)提供新的文件系統(tǒng)的工作量，特別適用于各種虛擬文件系統(tǒng)和網(wǎng)絡(luò)文件系統(tǒng)。

使用FUSE可以開發(fā)功能完備的文件系統(tǒng)：其具有簡單的API庫，可以被非特權(quán)用戶訪問，并可以安全的實施。更重要的是，F(xiàn)USE以往的表現(xiàn)充分證明了其穩(wěn)定性。您可以像可執(zhí)行二進(jìn)制文件一樣來開發(fā)文件系統(tǒng)，它們需要鏈接到FUSE庫上，換言之，這個文件系統(tǒng)框架并不需要了解文件系統(tǒng)的內(nèi)幕和內(nèi)核模塊編程的知識。Window環(huán)境使用fuse samba的掛載方式此種方式需要配置額外的samba代理服務(wù)器，云存儲通過samba代理服務(wù)器與第三方平臺對接。使得在windows下訪問云存儲成為可能，用戶直接在windows下通過拖拽的方式實現(xiàn)文件的上傳和下載。

3系統(tǒng)實施部署方案

部署前準(zhǔn)備

組網(wǎng)連線

云存儲的網(wǎng)絡(luò)拓?fù)淙缦滤荆?/p>

圖20云存儲網(wǎng)絡(luò)示意圖

云存儲網(wǎng)絡(luò)可整體劃分為業(yè)務(wù)和存儲網(wǎng)絡(luò)，業(yè)務(wù)網(wǎng)絡(luò)用于云存儲節(jié)點上的流媒體服務(wù)從前端取流，存儲網(wǎng)絡(luò)用于云存儲集群內(nèi)部大量的數(shù)據(jù)交互，存儲面和業(yè)務(wù)面分離，云存儲節(jié)點之間大量的數(shù)據(jù)交互不會帶來業(yè)務(wù)網(wǎng)絡(luò)的波動，避免相互影響，利于云存儲的穩(wěn)定可靠運行。存儲網(wǎng)絡(luò)可單獨劃分一個私網(wǎng)網(wǎng)段（避開192.168網(wǎng)段），業(yè)務(wù)網(wǎng)絡(luò)接入監(jiān)控骨干網(wǎng)絡(luò)。

元數(shù)據(jù)服務(wù)器：1/2口兩臺元數(shù)據(jù)服務(wù)器之間互連，作為心跳口；3/4兩個網(wǎng)口接入存儲網(wǎng)絡(luò)，交換機(jī)上兩個口做聚合。

云存儲節(jié)點：ex1-4四個口接入存儲網(wǎng)絡(luò)，4個口做聚合；1-4取其中兩個口接入業(yè)務(wù)網(wǎng)絡(luò)，2個口做聚合。

平臺：1口接入業(yè)務(wù)網(wǎng)絡(luò)，2口接入存儲網(wǎng)絡(luò)。存儲網(wǎng)絡(luò)組網(wǎng)

云存儲服務(wù)器設(shè)備，平臺服務(wù)器設(shè)備采用集中部署的方式，所有服務(wù)器均為機(jī)架式服務(wù)器，每個機(jī)架部署獨立的交換機(jī)，再匯總到核心交換機(jī)，簡化網(wǎng)絡(luò)線路布置。

圖21網(wǎng)絡(luò)線路布置圖

一個42U機(jī)架可以部署4臺48盤位數(shù)據(jù)存儲服務(wù)器，一組48個萬兆口雙冗余交換機(jī)部署在一個機(jī)架上，可以接入四個機(jī)架，及四個機(jī)架的網(wǎng)絡(luò)設(shè)備接入到其中一個部署了雙交換機(jī)的機(jī)架上，充分利用交換機(jī)48口接入能力。邏輯上，一組機(jī)架同屬于一個交換機(jī)，則接入交換機(jī)的設(shè)備是對等的，屬于一組節(jié)點。多個機(jī)架組間，通過上層核心交換互聯(lián)，網(wǎng)絡(luò)可達(dá)。集群內(nèi)，機(jī)架組間網(wǎng)絡(luò)能力弱于機(jī)架組內(nèi)，所以應(yīng)該盡量避免機(jī)架組間的大數(shù)據(jù)流量。元數(shù)據(jù)服務(wù)器可以部署在同一個或不同機(jī)架上，組成元數(shù)據(jù)服務(wù)器集群。網(wǎng)絡(luò)設(shè)備都具備雙網(wǎng)卡或更多網(wǎng)卡，將設(shè)備接入到冗余的兩臺交換機(jī)上，實現(xiàn)鏈路冗余，提供更高的可靠性保證。網(wǎng)絡(luò)規(guī)劃設(shè)備默認(rèn)心跳IP為192.168.1.2、192.168.1.3，重新分配的IP不能與默認(rèn)的心跳IP同網(wǎng)段。部署時，需要提前進(jìn)行IP規(guī)劃，本文部署以下表為例。

表2IP規(guī)劃部署示例

備注：以下文檔MDS指元數(shù)據(jù)服務(wù)器，DN指存儲節(jié)點，VIP指虛擬IP，云存儲方案中分配的存儲IP不能與業(yè)務(wù)IP同網(wǎng)段。交換機(jī)配置交換機(jī)上同一設(shè)備接入的端口要做端口聚合部署元數(shù)據(jù)服務(wù)器MDS接線步驟1為兩臺MDS接上電源線并開機(jī)。步驟2為兩臺MDS接好網(wǎng)線。MDS總共有4個網(wǎng)卡（eth0、eth1、eth2、eth3），正常情況下，網(wǎng)卡編號順序是和物理網(wǎng)口的位置順序是一致的。eth0和eth1是MDS的心跳網(wǎng)口，即第1、2兩個網(wǎng)口，將這兩個網(wǎng)口分別直連到另外一臺MDS對應(yīng)的網(wǎng)口。eth2和eth3是MDS業(yè)務(wù)網(wǎng)口，即第3、4兩個網(wǎng)口，將這兩個網(wǎng)口連接到存儲交換機(jī)上。修改兩臺MDS的實IP步驟1將3/4口網(wǎng)線先從交換機(jī)上拔出，將筆記本網(wǎng)線直連3/4網(wǎng)口中的其中一個步驟2打開IPInstaller工具，單擊刷新按鈕發(fā)現(xiàn)所有支持IPInstaller的待配置服務(wù)器圖22IPInstaller的待配置服務(wù)器列表

圖22IPInstaller的待配置服務(wù)器列表

步驟3找到待配置IP的MDS，雙擊查看具體IP的配置信息

圖23具體IP的配置信息參數(shù)表

步驟4彈出框中的IP配置為規(guī)劃好的MDS實IP，用戶名、密碼、端口。

步驟5單擊“修改”。如果修改失敗，請單擊刷新，若發(fā)現(xiàn)IP已經(jīng)修改成功，進(jìn)行下一步驟，若未修改成功，請檢查用戶名和密碼。如果修改成功，請單擊刷新，可以看到修改后的結(jié)果。

步驟6配置成功后，按以上步驟配置另外一臺MDS。

這里再提供一種后臺修改IP的方法：筆記本直連MDS3/4口其中一個，筆記配配置一個192.168.0網(wǎng)段地址ssh登陸MDS后臺，默認(rèn)的MDS地址為192.168.0.110vi/etc/sysconfig/network-scripts/ifcfg-bond0改好對應(yīng)的IP地址、掩碼、網(wǎng)關(guān)后保存退出vi/etc/sysconfig/default-routes改好默認(rèn)的網(wǎng)關(guān)，保存退出/etc/init.d/networkrestart重啟網(wǎng)絡(luò)服務(wù)，重啟之后看下新的地址是否能夠ping通配置MDS和CS的虛IP

步驟1用谷歌瀏覽器登錄其中任意一臺元數(shù)據(jù)服務(wù)器的IP配置界面，如用chrome瀏覽器打開地址“172.5.112.200/EFS/Install.html”，其中“172.5.112.200”為其中一臺MDS的實IP。輸入網(wǎng)址時，請注意字母大小寫。

步驟2在上述界面中，輸入相應(yīng)的IP地址。本地IP：系統(tǒng)自動設(shè)置的MDS實IP，請勿修改對端IP：輸入另外一臺MDS實IPMDS虛擬IP：管理云存儲的地址CS虛擬IP：上層應(yīng)用訪問云存儲地址步驟3配置完成后單擊確定，稍等片刻就配置成功，至此兩臺元數(shù)據(jù)服務(wù)器都已經(jīng)配置完成。

部署存儲節(jié)點存儲節(jié)點接線

步驟1機(jī)架上的存儲節(jié)點全部接上電源并開機(jī)。

步驟2左邊ex1-4口接入存儲交換機(jī)

修改Datanode實IP

步驟1將筆記本直連ex1-4個網(wǎng)口中的任意一個口

步驟2打開IPInstaller工具，單擊刷新按鈕發(fā)現(xiàn)所有支持IPinstaller的待配置服務(wù)器。

步驟3找到待配置IP的Datanode，雙擊查看具體IP的配置信息（沒有修改過的DatanodeIP均為192.168.0.111）。

圖24具體IP配置信息

步驟4彈出框中的用戶名、密碼、端口，如果修改失敗，請檢查輸入的用戶名密碼。如果修改成功，請單擊刷新，可以看到修改后的結(jié)果。

步驟5接著重復(fù)“Datanode接線”和“修改Datanode實IP”步驟，配置下一臺Datanode。

這里再提供一種后臺修改IP的方法：

筆記本直連dn的其中一個口，筆記配配置一個192.168.0網(wǎng)段地址ssh登陸dn后臺，默認(rèn)的dn地址為192.168.0.111vi/etc/network/interfaces改好對應(yīng)的IP地址、掩碼、網(wǎng)關(guān)后保存退出xconf–s/etc/network/interfaces修改之后的配置文件保存到dom盤/etc/init.d/networkrestart重啟網(wǎng)絡(luò)服務(wù)，重啟之后看下新的地址是否能夠ping通

云存儲運維頁面添加節(jié)點

配置完所有Datanode的實IP后，需要將Datanode添加到集群中。

步驟1打開云存儲運維界面：MDS虛IP/EFS，如172.5.112.201/EFS，以admin帳戶（默認(rèn)密碼為admin）登錄。

步驟2選擇“存儲節(jié)點”菜單欄。并單擊“節(jié)點添加”按鈕，彈出如下窗口。

步驟3在窗口中輸入已經(jīng)配置好的Datanode實IP并單擊確定。這樣節(jié)點就被加到集群中來了，添加進(jìn)去之后點擊操作欄這里的上線按鈕。

步驟4接著將剩余Datanode逐臺添加上來。

步驟5添加完全部節(jié)點之后，登陸云存儲運維里面的概況頁面，查看各個服務(wù)是否正常，特別是兩臺元數(shù)據(jù)服務(wù)器這里，如果有服務(wù)沒起來的，直接把元數(shù)據(jù)服務(wù)器重啟一下。

部署驗證&驗證準(zhǔn)備

Windows機(jī)器一臺（要求可以和云存儲集群連接到一個交換機(jī)上，建議用筆記本）。需要安裝的軟件如下：Chrome瀏覽器IPInstaller工具Xshell或CRT等終端工具登錄云存儲運維

步驟1使用Chrome瀏覽器，地址欄輸入地址：MDS虛IP/EFS

步驟2以admin帳戶（默認(rèn)密碼為admin）登錄，云存儲運維首頁如下圖所示。檢查“概況”頁面中的每個面板，對比下圖，是否有異常情況。

步驟3單擊“存儲節(jié)點”，查看Datanode狀況。查看Datanode數(shù)量是否合預(yù)期，查看Datanode容量是否合預(yù)期。

步驟4雙擊存儲節(jié)點的IP地址，顯示如下界面。磁盤綠色代表在線盤，灰色代表空槽位，對比實際磁盤數(shù)量是否合預(yù)期。

圖25存儲節(jié)點

后期擴(kuò)容

云存儲支持在線擴(kuò)容，在線業(yè)務(wù)持續(xù)運行的情況下，可以動態(tài)增加或縮小專用網(wǎng)絡(luò)管理系統(tǒng)的容量，表現(xiàn)業(yè)務(wù)無感知的增加或刪除存儲節(jié)點。由于專用網(wǎng)絡(luò)管理系統(tǒng)為一個整體，結(jié)合集群管理、數(shù)據(jù)冗余與恢復(fù)等機(jī)制，實現(xiàn)了在線動態(tài)增加刪除節(jié)點，對業(yè)務(wù)層僅表現(xiàn)為存儲容量的增加和刪除。增加新的節(jié)點時，配置好節(jié)點的網(wǎng)絡(luò)地址，即可加入系統(tǒng)工作，實現(xiàn)一鍵擴(kuò)展，快速部署。系統(tǒng)能統(tǒng)一管理不同型號，不同存儲盤位的數(shù)據(jù)節(jié)點，同時能接入標(biāo)準(zhǔn)的第三方IPSAN設(shè)備。系統(tǒng)具有線性擴(kuò)展的特性，容量增加時，整體的讀寫性能也同步增加。同時，系統(tǒng)容量和每個Bucket容量的擴(kuò)展可快速生效，無任何數(shù)據(jù)遷移。對于硬盤未滿的節(jié)點插入硬盤也非常方便，不需要做任何配置。

4安全接入解決方案

1)方案概述1．需求概述為保障客戶訪問平臺安全性，通過從下至上的安全保障措施，滿足在各種條件下的安全、穩(wěn)定、快速監(jiān)控。

2．安全要求遵循《公安信息通信網(wǎng)邊界接入平臺安全規(guī)范（試行）》規(guī)范，監(jiān)控終端接入鏈路的體系架構(gòu)必須符合《公安信息通信網(wǎng)邊界接入平臺安全規(guī)范（試行）》的3.2節(jié)的要求。機(jī)密性與完整性遵循《公安信息通信網(wǎng)邊界接入平臺安全規(guī)范（試行）》的4.2.4.3節(jié)。入侵防范遵循《公安信息通信網(wǎng)邊界接入平臺安全規(guī)范（試行）》的4.2.4.4節(jié)。網(wǎng)絡(luò)設(shè)備安全遵循《公安信息通信網(wǎng)邊界接入平臺安全規(guī)范（試行）》的4.2.4.5節(jié)?？捎眯员Ｕ献裱豆残畔⑼ㄐ啪W(wǎng)邊界接入平臺安全規(guī)范（試行）》的4.2.4.6節(jié)。主機(jī)安全遵循《公安信息通信網(wǎng)邊界接入平臺安全規(guī)范（試行）》的4.2.5節(jié).。本系統(tǒng)的建設(shè)遵循公安部的有關(guān)規(guī)定，實現(xiàn)信息安全隔離。本系統(tǒng)將采用各種專用安全設(shè)備，以實現(xiàn)身份認(rèn)證和信息安全傳輸。

2)系統(tǒng)架構(gòu)圖26整體結(jié)構(gòu)圖

圖26整體結(jié)構(gòu)圖

說明：

網(wǎng)絡(luò)邊界劃分明確，在每一個網(wǎng)絡(luò)邊界都提供良好的安全保障通過防火墻和專線互聯(lián)，實現(xiàn)專網(wǎng)專用系統(tǒng)的安全性能主要靠身份認(rèn)證系統(tǒng)、入侵檢測與審計等設(shè)備的保護(hù)。

1．底層傳輸采用1 1保護(hù)的MSAP專線電路，雙向100Mbps左右。網(wǎng)絡(luò)通信鏈路檢測，當(dāng)網(wǎng)絡(luò)從異常狀態(tài)恢復(fù)后，在一定時間周期后可自行恢復(fù)數(shù)據(jù)傳輸。周期檢測數(shù)據(jù)鏈路的運行情況，以便合理分配數(shù)據(jù)鏈路。

2．認(rèn)證管理使用IP地址管理白名單、黑名單策略，簡單控制哪些用戶允許訪問，哪些用戶不允許訪問。

3．入侵檢測使用專用WAF設(shè)備，實時監(jiān)控異常訪問行為，并根據(jù)規(guī)則實現(xiàn)自動阻斷和隔離。

3)平臺安全

1.終端安全定期對服務(wù)器進(jìn)行安全掃描，保證平臺內(nèi)部安全性。

2.鏈路安全在平臺邊界與公安系統(tǒng)內(nèi)部網(wǎng)絡(luò)之間以專線方式連接，鏈路設(shè)備之間進(jìn)行相互認(rèn)證。平臺內(nèi)部鏈路嚴(yán)格專用，不用于其它用途。通過VLAN劃分、應(yīng)用端口隔離、業(yè)務(wù)通道方式區(qū)分不同的業(yè)務(wù)應(yīng)用，避免業(yè)務(wù)交叉和跳板攻擊。接入平臺內(nèi)部系統(tǒng)設(shè)計嚴(yán)謹(jǐn)，無任何未經(jīng)嚴(yán)格安全防范的旁路。對于邊界保護(hù)區(qū)鏈路：防火墻設(shè)置訪問控制策略，嚴(yán)格過濾進(jìn)出平臺系統(tǒng)的數(shù)據(jù)報文請求；防火墻設(shè)置目的地址轉(zhuǎn)換策略，隱藏內(nèi)部服務(wù)器系統(tǒng)地址；防火墻系統(tǒng)設(shè)置源地址轉(zhuǎn)換策略，在向外訪問時保護(hù)內(nèi)網(wǎng)主機(jī)地址；所有安全設(shè)備串行布置，保證安全強(qiáng)度。

3.應(yīng)用安全防火墻（平臺側(cè)和公安側(cè)）只開放公安側(cè)內(nèi)部網(wǎng)絡(luò)兩臺終端單向訪問平臺側(cè)WEB端口通訊。對數(shù)據(jù)傳輸及控制協(xié)議進(jìn)行分析，只允許指定的協(xié)議和端口通過平臺傳輸。并按照業(yè)務(wù)預(yù)先注冊的數(shù)據(jù)格式要求，對數(shù)據(jù)的類型，格式進(jìn)行嚴(yán)格檢查，對數(shù)據(jù)內(nèi)容進(jìn)行過濾，限制所有不符合要求的數(shù)據(jù)傳入接入平臺。保證傳輸過程中數(shù)據(jù)的完整性，具備防止數(shù)據(jù)的重放攻擊，篡改和偽造功能，具備提供數(shù)據(jù)頒發(fā)證明和交付證明的抗抵賴功能。數(shù)據(jù)完整性保護(hù)功能：可檢測和發(fā)現(xiàn)數(shù)據(jù)在傳輸過程中是否被修改。抵抗各種網(wǎng)絡(luò)攻擊的能力：IPSec、SSL、安全短消息協(xié)議本身可抵抗來自公網(wǎng)路段的重放攻擊，安全接入系統(tǒng)和包過濾防火墻配合可抵抗來自公網(wǎng)的IP層以上（包括應(yīng)用層）的各種攻擊，安全接入系統(tǒng)和包過濾防火墻配合可抵抗來自公網(wǎng)的應(yīng)用層的各種攻擊。

4.系統(tǒng)安全平臺使用完全重新編譯的LINUX內(nèi)核，精簡、安全，取消了所有對外提供服務(wù)的包，并加入內(nèi)核級IDS功能，能有效抵抗攻擊。

（三）分析總結(jié)

通過對客戶需求的準(zhǔn)確分析，本案例針對客戶在公安內(nèi)網(wǎng)部署專用網(wǎng)絡(luò)管理服務(wù)的特殊定制化要求，在通用性大客戶支撐系統(tǒng)架構(gòu)的基礎(chǔ)上進(jìn)行定制化開發(fā)，充分滿足合同中明確的系統(tǒng)功能。同時在實施方案中，針對公安網(wǎng)和網(wǎng)管網(wǎng)的管理要求，在基礎(chǔ)支撐環(huán)境技術(shù)、系統(tǒng)對接、系統(tǒng)實施部署、安全接入等多方面和客戶做了大量技術(shù)交流并達(dá)成一致，最終確定了方案并順利實施。本案例對后續(xù)客戶內(nèi)網(wǎng)網(wǎng)管的部署具備典型參考意義，其主要技術(shù)可供類似項目引用。