1.序言

隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)視頻直播和點(diǎn)播也大放異彩。咪咕視頻、斗魚(yú)直播等視頻直播和點(diǎn)播平臺(tái)被網(wǎng)民熟知并廣泛使用。根據(jù)中國(guó)互聯(lián)網(wǎng)信息中心發(fā)布的統(tǒng)計(jì)報(bào)告，2018年6月，中國(guó)網(wǎng)絡(luò)視頻用戶(hù)60906萬(wàn)，網(wǎng)民利用率高達(dá)76.與上半年相比，0%增長(zhǎng)了5%.2%手機(jī)網(wǎng)絡(luò)視頻用戶(hù)57786，網(wǎng)民利用率高達(dá)73.比上半年增長(zhǎng)54%.3%。

隨著視頻直播、點(diǎn)播、短視頻的繁榮，用戶(hù)數(shù)量不斷增加，內(nèi)容分發(fā)網(wǎng)絡(luò)CDN網(wǎng)頁(yè)、圖像、視頻、文件等內(nèi)容作為一種通用的基本網(wǎng)絡(luò)能力，可以通過(guò)無(wú)線(xiàn)和固定寬帶訪問(wèn)網(wǎng)絡(luò)，加速用戶(hù)終端訪問(wèn)。目前，內(nèi)容分發(fā)網(wǎng)絡(luò)CDN加快網(wǎng)絡(luò)視頻業(yè)務(wù)已成為支撐網(wǎng)絡(luò)視頻業(yè)務(wù)快速發(fā)展的關(guān)鍵支點(diǎn)。

圖1中國(guó)互聯(lián)網(wǎng)網(wǎng)絡(luò)發(fā)展統(tǒng)計(jì)(網(wǎng)絡(luò)直播利用率)

本文將從CDN網(wǎng)絡(luò)架構(gòu)和功能，CDN訪問(wèn)日志、CDN多維度介紹服務(wù)質(zhì)量指標(biāo)，從日志挖掘的角度介紹CDN建議優(yōu)化服務(wù)質(zhì)量。

2.CDN介紹

CDN(內(nèi)容分發(fā)網(wǎng)絡(luò))是基礎(chǔ)IP承載網(wǎng)絡(luò)，面向流媒體，Web以及應(yīng)用程序的內(nèi)容傳輸，具有內(nèi)容自動(dòng)分布和流量集中調(diào)度控制能力的疊加網(wǎng)絡(luò)。最初的CDN主要承載靜態(tài)WEB頁(yè)面內(nèi)容隨后出現(xiàn)，針對(duì)網(wǎng)頁(yè)動(dòng)態(tài)內(nèi)容CDN加速。隨著數(shù)字視頻技術(shù)的發(fā)展和互聯(lián)網(wǎng)帶寬的快速增長(zhǎng)，互聯(lián)網(wǎng)上的視頻內(nèi)容逐漸豐富，第二代CDN主要針對(duì)VOD、流媒體視頻和音頻分發(fā)服務(wù)。隨著流媒體技術(shù)的發(fā)展，直播流媒體也成為了CDN服務(wù)內(nèi)容的內(nèi)容分發(fā)。

2.1CDN網(wǎng)絡(luò)架構(gòu)

CDN網(wǎng)絡(luò)分布在不同的區(qū)域CDN由節(jié)點(diǎn)組成，通過(guò)GSLB內(nèi)容中心的調(diào)度機(jī)制和分發(fā)機(jī)制實(shí)現(xiàn)了合同內(nèi)容源的要求調(diào)度和內(nèi)容緩存。CDN根據(jù)指定策略，將合同內(nèi)容分發(fā)到網(wǎng)絡(luò)邊緣，并自動(dòng)調(diào)度用戶(hù)內(nèi)容訪問(wèn)請(qǐng)求指向全球最佳邊緣節(jié)點(diǎn)。邊緣節(jié)點(diǎn)為用戶(hù)提供附近的內(nèi)容服務(wù)，使用戶(hù)可以訪問(wèn)附近的內(nèi)容CDN節(jié)點(diǎn)獲取內(nèi)容源。

CDN它不僅可以加快內(nèi)網(wǎng)用戶(hù)訪問(wèn)外網(wǎng)資源的速度，還可以加快外網(wǎng)用戶(hù)訪問(wèn)內(nèi)網(wǎng)資源的速度，有效提高內(nèi)容訪問(wèn)速度和業(yè)務(wù)體驗(yàn)；大大降低骨干網(wǎng)絡(luò)負(fù)荷，減少網(wǎng)絡(luò)鏈路擁堵，優(yōu)化網(wǎng)絡(luò)流量，降低網(wǎng)絡(luò)成本；有效保證運(yùn)營(yíng)商自營(yíng)業(yè)務(wù)服務(wù)的質(zhì)量和競(jìng)爭(zhēng)力，為第三方客戶(hù)提供服務(wù)CDN配送加速增值服務(wù)。

2.2CDN網(wǎng)絡(luò)功能模塊

CDN網(wǎng)絡(luò)可分為三個(gè)層次：調(diào)度控制層、內(nèi)容中心層和服務(wù)節(jié)點(diǎn)層，其中調(diào)度控制層負(fù)責(zé)用戶(hù)要求的統(tǒng)一調(diào)度，CDN網(wǎng)絡(luò)管理和業(yè)務(wù)運(yùn)營(yíng)管理主要包括運(yùn)營(yíng)管理中心和調(diào)度控制中心；內(nèi)容中心層通過(guò)內(nèi)容中心簽署合同CP/SP（內(nèi)容提供商/服務(wù)提供商）系統(tǒng)的對(duì)接和內(nèi)容注入，并為邊緣服務(wù)節(jié)點(diǎn)提供內(nèi)容分發(fā)和回源服務(wù)；服務(wù)節(jié)點(diǎn)層由邊緣服務(wù)節(jié)點(diǎn)組成，為用戶(hù)終端提供內(nèi)容服務(wù)，具有內(nèi)容緩存和媒體服務(wù)功能，部署在網(wǎng)絡(luò)的不同層次。CDN網(wǎng)絡(luò)邏輯架構(gòu)如圖2所示：

圖2：CDN網(wǎng)絡(luò)邏輯架構(gòu)圖

3.CDN訪問(wèn)日志格式及系統(tǒng)

3.1CDN日志格式

CDN記錄在訪問(wèn)日志中CDN操作和用戶(hù)要求的關(guān)鍵信息CDN服務(wù)質(zhì)量分析極其關(guān)鍵，數(shù)據(jù)挖掘分析也很有意義。常見(jiàn)的CDN日志主要包括時(shí)間、時(shí)間、流量、請(qǐng)求等字段URL、請(qǐng)求源IP地址、UA、狀態(tài)碼、命中狀態(tài)等。其中，時(shí)間字段存儲(chǔ)用戶(hù)要求的時(shí)間，時(shí)間字段存儲(chǔ)請(qǐng)求的持續(xù)時(shí)間。當(dāng)流量字段拉流時(shí)，存儲(chǔ)向下流量值，在推流時(shí)存儲(chǔ)向上流量值URL具體字段存儲(chǔ)用戶(hù)請(qǐng)求URL，請(qǐng)求源IP發(fā)起地址存儲(chǔ)請(qǐng)求的用戶(hù)源IP地址，UA在發(fā)起請(qǐng)求時(shí)使用字段存儲(chǔ)用戶(hù)User-Agent要求的狀態(tài)碼存儲(chǔ)在狀態(tài)碼字段中，常見(jiàn)狀態(tài)有2XX、3XX、4XX、5XX，存儲(chǔ)命中狀態(tài)字段CDN緩存是否被擊中，其值可以是HIT或MISS。

3.2基于CDN數(shù)據(jù)分析系統(tǒng)架構(gòu)

系統(tǒng)采集CDN搭建服務(wù)日志CDN日志大數(shù)據(jù)平臺(tái)的多維顯示和分析不僅可以使CDN服務(wù)透明，也可以利用大數(shù)據(jù)平臺(tái)整合全數(shù)據(jù)，通過(guò)大數(shù)據(jù)的有效挖掘和定制應(yīng)用，為統(tǒng)計(jì)活動(dòng)數(shù)據(jù)、總結(jié)運(yùn)營(yíng)經(jīng)驗(yàn)、實(shí)現(xiàn)精細(xì)流量運(yùn)營(yíng)提供支持。數(shù)據(jù)分析系統(tǒng)可以包括數(shù)據(jù)采集、基礎(chǔ)數(shù)據(jù)管理、CDN日志統(tǒng)計(jì)分析、數(shù)據(jù)寬表管理、平臺(tái)管理、系統(tǒng)管理與監(jiān)控、用戶(hù)交互和數(shù)據(jù)呈現(xiàn)。

圖3CDN數(shù)據(jù)分析系統(tǒng)架構(gòu)

4.多維評(píng)估CDN服務(wù)質(zhì)量

基于CDN我們可以輕松計(jì)算日志數(shù)據(jù)分析平臺(tái)上的各種數(shù)據(jù)CDN服務(wù)統(tǒng)計(jì)指標(biāo)，然后對(duì)CDN多維度展示和評(píng)價(jià)服務(wù)質(zhì)量。CDN常用的日志計(jì)算CDN日志評(píng)

從上述維度進(jìn)行比較CDN服務(wù)質(zhì)量指標(biāo)可以更有效地發(fā)現(xiàn)和定位CDN存在的問(wèn)題可以從域名、省份、終端、運(yùn)營(yíng)商等維度進(jìn)行比較。

5.優(yōu)化日志CDN服務(wù)質(zhì)量的建議

通過(guò)對(duì)CDN分析挖掘日志可以實(shí)現(xiàn)多維觀測(cè)CDN并對(duì)服務(wù)質(zhì)量CDN優(yōu)化配置提供參考建議。

①、實(shí)時(shí)分析：

對(duì)于CDN日志的及時(shí)性非常重要。CDN實(shí)時(shí)日志可以從多個(gè)區(qū)域和節(jié)點(diǎn)實(shí)時(shí)收集日志。收集到的日志被流動(dòng)分析處理，消除了傳統(tǒng)日志分析中復(fù)雜的過(guò)程，使用戶(hù)能夠?qū)崟r(shí)查看日志分析結(jié)果CDN及時(shí)優(yōu)化服務(wù)。

②、故障定位：

對(duì)CDN服務(wù)的可用性、魯棒性和性能要求非?？量?，需要及時(shí)、準(zhǔn)確地對(duì)各種異常進(jìn)行報(bào)警警系統(tǒng)可以依靠CDN實(shí)現(xiàn)日志實(shí)時(shí)分析。CDN實(shí)時(shí)日志分析可以為監(jiān)控、報(bào)警等系統(tǒng)提供準(zhǔn)確的決策依據(jù)CDN服務(wù)質(zhì)量。

③、調(diào)度建議：

通過(guò)對(duì)CDN日志進(jìn)行實(shí)時(shí)監(jiān)控分析，還能夠及時(shí)發(fā)現(xiàn)調(diào)度策略存在的缺陷，為資源調(diào)度提供建議，進(jìn)而提高命中率，提升用戶(hù)體驗(yàn)，節(jié)省流量開(kāi)銷(xiāo)。

④、可視化：

對(duì)CDN日志實(shí)時(shí)監(jiān)控分析結(jié)果可以通過(guò)多種直觀的數(shù)據(jù)可視化方式顯示，用戶(hù)可以通過(guò)觀看可視化圖表直觀監(jiān)控CDN(來(lái)源微信微信官方賬號(hào):青榴實(shí)驗(yàn)室)