少妇又紧又色又爽又刺激视频-99热这里有精品-狠狠爱av-99视频免费在线观看-亚洲丝袜av-日韩av免费播放-狠狠操在线视频-尤物在线观看视频-爱看av在线-黄色在线免费播放-91香蕉嫩草-av片国产-超碰夜夜-114国产精品久久免费观看-大黑人交交护士xxxxhd

收藏本站在線留言網站地圖

您好,歡迎來到深圳聯樂實業有限公司官網
咨詢熱線

400-888-2720

聯樂實業

工業存儲/工業電腦服務商

21年專注高可靠性國產化工業存儲產品及解決方案

2020中國云計算行業趨勢報告

返回列表 來源: 發布日期: 2020.08.22
2020年代,近場化、場景化、融合化將成為云計算應用的三大最新趨勢。

云計算

前言

近年來,云計算的實踐者從最初的互聯網科技行業,正逐步向金融、公共事業、零售、生產制造等傳統行業滲透。同時,隨著產業數字化的推進,企業中也產生了不同的業務形態。

在這一過程中,無論是單一的公有云,還是單一的私有云、虛擬機都逐漸難以滿足企業需求,許多企業的IT架構正在逐步從單一的物理機、虛擬機逐步走向多云、混合云、分布式邊緣云并存的局面。在這樣的背景下,云計算產業生態呈現多元化、多層次發展的趨勢。

因此,如何將云計算生態中的不同元素進行深度整合,形成能夠穩定、安全、高效、靈活地支撐多形態業務的混合云、邊緣云平臺解決方案,已經成為企業上云的主要課題。

面對這樣的課題,企業應當采用何種解決方案?又應當如何在市場上選擇合適的云廠商來構建解決方案?對于這些問題的答案,來自市場的信息往往十分紛繁雜亂,而下面這三類企業都十分希望獲得一些來自專業、中立、客觀的第三方研究與咨詢機構的建設性意見:

1) 近期有上云計劃,或正在進行云廠商采購決策的企業;

2) 正在進行云計算實施落地的企業;

3) 已經進行了云計算的實施落地,但仍然打算持續優化和創新云計算應用模式的企業。

因此,本報告將向以上三類企業闡述混合云和分布式邊緣云誕生的背后邏輯,分析它們在實踐過程中面臨的挑戰,并提出應對這些挑戰的最佳方案。此外,本報告還將對未來云計算的發展趨勢進行判斷,從而幫助企業更好地對未來的業務創新進行提前布局。

目錄

一. 企業級云計算形態向混合云與邊緣云演進

二. 混合云的實踐路徑選擇與面臨挑戰

三. 混合云基礎設施平臺建設

四. 多云架構的云原生技術中臺建設與應用交付

五. 哪些云計算新趨勢將為企業創造更多價值?

結語


1.企業級云計算形態向混合云與邊緣云演進

1.1 企業數字化轉型驅動業務上云

近年來,隨著國內外經濟環境的變化,企業要想在新形勢下持續獲取業務增長的新動能,亟需改變過去以人力疊加和經驗積累來驅動業務增長的經營模式,通過更前沿的信息技術手段來重塑企業業務流程和模式,已經成為中國企業的當務之急。

2020年新冠疫情的蔓延對于企業在疫情期間的業務應對能力提出了更高的挑戰,企業對前沿技術的采納和應用程度成為決定其應對能力的重要因素。

從發展歷程來看,中國企業對信息技術的采納和應用經歷了三個連續的發展階段,即從早期的以傳統信息技術驅動的信息化轉型,到中期的以互聯網和通訊技術驅動的互聯網化轉型,再到新時期以云計算、人工智能、大數據等新興信息技術為驅動的數字化轉型。

在這三個發展階段中,信息化轉型階段深刻塑造了企業早期的IT能力和技術架構,也在企業中沉淀了大量的傳統應用系統。而互聯網化轉型階段則催生了企業商業模式的變革,誕生了大量基于互聯網業務形態的新興企業,而這些企業中的佼佼者則包括美國的亞馬遜和中國的阿里巴巴,而這些互聯網巨頭也成為云計算技術最早的探索者、實踐者。

隨著中國企業數字化進程的進一步推進,云計算技術的實踐者逐步從新興的互聯網行業拓寬到金融、零售、政府、能源、電信、交通、制造業、醫療、教育等傳統行業,從而進一步帶動了云計算應用場景的不斷進化,這又反過來推動了云計算的技術、產品與服務形態不斷演進。

在企業數字化轉型過程中,云計算能夠為企業降低成本、提升效益,為企業業務創新、AI等新興技術的應用創新提供有力支撐,還能夠通過虛擬化技術降低其對硬件設備的要求來提升基礎設施自主可控水平,在整個企業數字化轉型過程中居于基礎設施地位。

為了適應企業的業務創新、技術創新帶來的敏捷性需求,同時滿足企業在效率、成本、安全等方面的需求,云計算的形態從最初的公有云、私有云,逐步發展出混合云與分布式邊緣云等多種云計算形態。

1.2 多重因素驅動云計算形態演進

愛分析認為,在云計算形態演進過程中發揮推動作用的三大因素是:擴容成本、擴容效率、數據存儲安全性,它們影響云計算形態演進的邏輯如下圖所示。

擴容成本:隨著企業IT架構的發展,IT系統之間出現了“穩態”和“敏態”業務的差異,而它們工作負載的波動性差異,導致它們所期望的基礎設施擴容比例不同。

面對這種差異,不同云形態的擴容成本支出存在一次性硬件建設支出和訂閱式收費支出兩種模式,使得其擴容成本不同,因此企業需要采取不同的策略來實現成本優化。

注:“穩態”與“敏態”源自Gartner于2014年提出的“雙模IT”概念。“穩態IT”指業務目標相對明確、流程相對成熟的IT系統,“敏態IT”指業務模式處于不斷創新和迭代中的IT系統。但本文中的“穩態”與“敏態”更加側重于業務部署后的來自業務訪問端的工作負載量的差異,即敏態業務常常會經歷明顯的負載高峰,而穩態業務則很少經歷這樣的高峰。

擴容效率:穩態和敏態業務由于單位時間內產生負載大幅度波動的頻次不同,因此期望基礎設施具備的擴容效率不同。

面對這種差異,不同云形態所具有的計算、存儲資源數量,以及其底層架構的特性不同,使得它們的擴容效率、擴容成本都存在差異,即擴容彈性能力存在差異,因此企業需要采取不同的策略來實現擴容效率提升。

數據安全性:企業的業務也存在核心和傳統性業務、互聯網和創新性業務的安全級別差異,它們對于基礎設施所具備的等保合規級別、數據隱私性強弱存在差異。比如,等保2.0要求企業的云計算平臺為等保四級業務應用系統劃分獨立資源池,而對數據隱私較為關注的企業往往對于業務等保級別的要求更高。

面對這種差異,不同云形態的底層物理資源池的劃分和歸屬方式、數據存儲的物理隔離性存在差異,這也意味著其等保級別的滿足性存在差異,因此企業需要采取不同的策略來實現安全合規性提升。

基于在不同業務場景下,企業對于降低成本、提升效率、提升安全三方面的需求強弱差異,云計算出現了從基于公有云、私有云的單一云形態,向以混合云、分布式邊緣云為主的多云形態的演進。

1.3 面向雙模IT,公有云與私有云優勢各異

眾所周知,云計算技術的先行者亞馬遜AWS最早定義的云計算模式,就是依托于數據中心資源,通過互聯網基礎設施,為企業提供集中化、共享式的服務器資源租用,這也就是公有云的服務模式,但它在實踐中被證明更加適合互聯網科技型企業的需求。

而當云計算逐步進入到金融、政府、電信、能源、交通、制造業、醫療、教育等傳統行業時,公有云的服務模式逐漸難以滿足企業需求,在企業數或第三方數據中心內部建設私有云成為必然選擇。

這種差異的驅動因素是不同類型的企業的業務對于擴容成本、擴容效率、數據存儲安全性三方面需求的差異,其中前兩者的需求可以歸結為彈性需求,如下圖所示。

彈性需求:敏態業務、互聯網和創新型業務的工作負載波動性較高且難以預測,開發測試環境處于快速迭代中,隨時會需要新的開發測試資源,更適合由具備高彈性的公有云來承載。穩態業務、核心業務和傳統性業務的工作負載相對穩定,一般不需要進行頻繁擴容,而且常常擁有大量的本地硬件基礎設施,需要考慮利舊的需求,因此更適合由一次性建設投入為主、無持續訂閱投入的私有云來承載。

安全性需求:敏態業務、互聯網和創新型業務、開發測試環境對安全性要求較低,而采取共享物理資源池的公有云完全能夠滿足這類業務的安全性需求。穩態業務、核心業務和傳統性業務對安全性要求高,部分業務甚至要求達到等保四級,因此具有專屬資源池、能夠滿足等保四級要求的私有云才能夠滿足這類業務的安全性需求。

從以往企業的信息化和數字化程度來看,互聯網和創新型企業的業務以敏態業務、互聯網和創新型業務為主,同時需要擁有大量的開發測試環境,而傳統型企業的業務以穩態業務、核心業務和傳統性業務為主。

因此,我們看到的以往狀況是互聯網和創新型企業更多地會采用公有云,傳統型企業更多地會采用私有云。這種企業之間、業務之間的需求差異性,使得過去公有云和私有云之間的關聯較少,很少需要進行緊密配合。

但是,隨著企業數字化進程的深入和業務模式的創新,傳統型、創新型企業的應用場景出現了拓展和融合。在這種背景下,公有云與私有云的優勢和特性可能是越來越多的企業希望同時享有的。

1.4 IT成本優化訴求之下,混合云已成大勢所趨

隨著企業數字化轉型的深入,傳統型企業、互聯網和創新型企業的業務需求都發生了變化:

1)一方面,越來越多的傳統企業開始探索“互聯網+”、“AI+”等創新業務,這部分業務一般屬于工作負載量波動較大的敏態業務。此外,在業務創新過程中,傳統企業也需要敏捷的開發能力和高效獲取的各類資源。因此,傳統企業在持續使用私有云的同時,也需要公有云來承載創新業務和開發測試環境。

2)另一方面,大量互聯網和創新型企業在業務發展到穩定階段后,盡管其敏態業務的工作負載波動性仍然較大,但是其波谷的負載量也達到了相當水平,而這部分負載量將會持續存在很長時間,可以視為“敏態業務中的穩態業務”。因此,互聯網和創新型企業除了維持一部分公有云資源來應對負載高峰的同時,還會將這部分持續存在的工作負載遷移到私有云上。

以上傳統型企業、互聯網創新型企業的兩種業務邊界拓展方式,使得原來他們與私有云、公有云的緊密綁定關系被打破,由公有云、私有云共同提供服務成為越來越明顯的趨勢。在這種背景下,混合云的應用空間大大擴展了。

總體來看,相比于公有云、私有云方案,混合云方案的優勢主要體現在成本方面,而效率方面幾乎能夠獲得等同于公有云的特性,安全方面則能夠獲得幾乎等同于私有云的特性:

(1)與互聯網和創新型企業原有的純公有云方案相比,混合云的成本之所以更加優化,并非是單純的由私有云來取代一部分公有云,而在于讓私有云承載了適合其特性的穩態業務類型,實現了私有云部分成本最優。

(2)與傳統型企業原有的純私有云方案相比,混合云的成本之所以更加優化,并非是單純的由公有云來取代一部分私有云,而在于讓公有云承載了適合其特性的敏態、創新型業務以及開發測試環境,實現了公有云部分成本最優。

因此,探索能夠融合公有云、私有云兩種云形態優勢的混合云架構,同時實現良好的協同管理,成為未來企業級云計算的必然趨勢。正如全球基礎云架構方案商VMware所定義,混合云(Hybird Cloud)主要指公有云和私有云協同工作的應用方式,以及任意的能夠通過辦公場所內和場外的工作協同來提供云計算服務的解決方案組合。

現階段,混合云的市場滲透率還處于較低水平。據中國信通院數據顯示,2018年中國使用云計算的企業比例為58.6%,其中混合云的采用率為8.1%,而公有云、私有云分別是36.4%和14.1%。據Gartner數據顯示,2019年全球云計算IaaS市場規模達455億美元,在全球4581億美元的IT軟件支出為中僅占不到10%的比例,而云計算在中國的滲透率相對更低。

由此來看,中國未來的混合云市場將有極大的發展動力與潛力,而率先應用混合云的企業在相當長的時間內將代表企業數字化轉型的最先進力量,在企業效能的競爭中將占據領先地位。

1.5 萬物互聯時代背景下,分布式邊緣云方興未艾

在更大意義上,混合云僅僅是多云架構的類型之一。根據Flexera旗下的全球云管理服務廠商RightScale每年發布的云狀態報告的定義,多云(Multi-Cloud)同時包括了多公有云(Multiple public)、多私有云(Multiple private)和混合云(Hybird Cloud)。

在傳統多云架構中,無論是多公有云、多私有云還是混合云,數據處理能力都是集中式的,即大部分數據都統一匯集到這些云平臺中進行處理。

但是隨著萬物互聯時代的來臨,企業的云計算應用場景發生了明顯的變化,來自企業邊緣側的高數據密度、時延敏感的應用場景明顯增加,比如面向互聯網企業的音視頻加速需求的內容分發網絡(CDN)、工業互聯網的工業設備數據、智慧安防中的安防攝像頭數據、智慧交通中的路況和車輛數據的采集、處理和分析等等。

面對這類對于網絡效率的要求較高的應用場景,集中式云的計算、存儲擴容能力逐漸產生瓶頸,迫切要求云廠商和企業將計算能力下沉到網絡邊緣側,實現中心節點與邊緣節點的職能分化,構建“分布式邊緣云”,并進一步對中心節點、邊緣節點進行深度協同以實現成本優化。

1.5.1 分布式邊緣云的定義及價值

《Gartner2020年規劃指南》指出,分布式云是這一年的十大戰略趨勢之一,而Gartner對分布式云的定義是:將公有云服務分布到不同的物理位置,而服務的運行、治理、更新和演化則由最初的公有云提供商負責的一種云服務架構。

這里我們需要明確“分布式云”與“邊緣計算”的差異。首先,并非所有的邊緣計算系統都需要以云架構作為其中心節點、邊緣節點的底層架構,即邊緣計算系統不一定是基于分布式邊緣云的。但是反過來講,所有的分布式邊緣云的最終目的都是為了讓邊緣計算系統走進云計算體系,即所有分布式邊緣云都是邊緣計算系統。

在后文中,為了強調分布式云的邊緣計算屬性,同時讓大家更容易理解這一概念,我們將其稱之為“分布式邊緣云”,同時將邊緣計算系統中擔負中心節點計算能力的云稱為“中心云”,將擔負邊緣節點計算能力的云稱為“邊緣云”。

邊緣云根據位置的不同,又可分為近場邊緣云和現場邊緣云兩大類,近場邊緣云強調高可靠性的基礎云服務能力,多采用OpenStack架構,而現場邊緣云強調超強的彈性、快速的啟停速度和高并行計算能力,多采用Docker和Kubernetes架構。

華為云IEF邊緣計算解決方案就是一個典型的基于Docker和Kubernetes的分布式邊緣云,如下圖所示。

總體來看,分布式邊緣云產生和發展的驅動因素在于網絡響應效率和擴容成本兩方面:

1)網絡響應效率:在分布式邊緣云架構中,采集到的數據可以首先在邊緣節點進行初步的處理再上傳到中心節點進行AI模型訓練,訓練完畢的模型被下放到邊緣節點,基于持續產生的數據進行模型的推理和優化,從而避免了因大量數據的網絡傳輸和集中式計算存儲帶來的網絡性能瓶頸,提升了網絡響應效率。

2)擴容成本:計算、存儲能力下沉到邊緣之后,中心云的資源擴容壓力以及帶來的成本被大大減輕。

1.5.2 分布式邊緣云的統一管理與邊云協同

分布式邊緣云實現網絡響應效率、擴容成本兩方面優勢的根本原因在于統一管理與邊云協同,即通過中心云的統一遠程運維管理平臺,實現中心云、邊緣云之間的行為協調,充分將計算、存儲能力下沉到邊緣,同時不影響中心云自身的正常工作。

邊云協同能力主要包括數據協同、應用協同兩個層面,如下圖所示。

1)數據協同:它解決的問題本質上是數據密集型業務如何在中心云和邊緣云之間進行合理負載分配,進一步可以分為數據處理協同和AI能力協同兩個層次。

在數據處理協同過程中,首先由中心云負責制定數據上傳策略并下發到邊緣云,然后由邊緣云負責數據采集,并基于中心云制定的策略進行預處理后上傳到中心云,最后由中心云進行數據的集中存儲和進一步挖掘分析。

AI能力協同過程本質上是數據處理協同過程的升級,區別在于其工作流程需要由邊緣云發起,由邊緣云將供AI模型訓練的數據上傳到中心云,然后由中心云基于數據進行AI模型訓練并推送到邊緣云,最后由邊緣云基于AI模型和終端輸入進行模型推理,并將推理結果返回中心云。

2)應用協同:它解決的問題本質上是非數據密集型的常規性業務如何在中心云和邊緣云之間進行合理負載分配,進一步可以分為應用交付協同和應用編排協同兩個層次。

為了實現這兩類邊云協同能力,一方面需要邊緣云具備一定的自治能力,在網絡出現故障的情況下仍然維持正常工作狀態,不完全依賴于中心云的運維管理能力,另一方面需要中心云具備對邊緣云集群的統一管理能力,尤其是對于異構邊緣云的納管,并進一步對邊緣云進行統一的應用交付生命周期管理和服務編排管理,如下圖所示。

目前,分布式邊緣云的技術成熟度尚處于早期,且應用價值尚未被充分挖掘。從長期來看,分布式邊緣云的主要價值在于充分彌合了萬物互聯的趨勢下,集中式云計算的有限計算能力與現實世界中無限的數據維度之間的鴻溝。

2.混合云的實踐路徑選擇與面臨挑戰

當企業選擇實行混合云戰略,需要選擇良好的實踐路徑。按照主導廠商類型的不同來區分,混合云方案存在兩種實踐路徑:

從公有云向下延伸,提供技術同構的專有云產品,從而形成混合云解決方案;

從私有云向上延伸,將公有云進行集成,從而形成混合云解決方案。

本章將論述這兩種實踐路徑的產生邏輯,以及針對特定企業和場景的選擇建議。

2.1從公有云到混合云:滿足基礎架構一致性需求

云計算的最早商業化形式是公有云,其早期的實踐者和推動者是亞馬遜、阿里巴巴等互聯網巨頭,后來其他互聯網公司、傳統ICT廠商和創業型公司也持續加入。同時,為了滿足企業級客戶的專屬資源池的需求,這些公有云廠商陸續推出了專有云、私有云方案,從而形成了全棧式的混合云方案。

按照廠商背景來看,提供全棧式混合云解決方案的公有云廠商有三類:第一類是互聯網大廠旗下的公有云廠商,第二類是傳統ICT廠商旗下的公有云廠商,第三類是中立性的公有云廠商。

從共同點來看,這些公有云廠商的混合云發展路徑都是最終實現公有云架構與專有云&私有云架構的完全統一,但是不同點在于它們公有云誕生的目的不同使得其特性不同,由此造成的專有云&私有云、混合云的適用場景也有所差異,如下圖所示。

2.1.1 互聯網大廠公有云+專有云的混合云方案

阿里云、騰訊云、百度智能云、京東智聯云等互聯網大廠旗下的公有云,其誕生初衷都是為了通過公有云服務更好地支撐自己集團內部的業務,實現自身IT能力的敏捷化轉型,同時降低對于專業服務器、存儲和網絡設備廠商的依賴。

這類廠商的公有云架構大部分都是基于高度自主研發的分布式架構,為了應對極高并發的互聯網業務,普遍需要較大數量的管理節點以保證服務的穩定性。

這類廠商早期的公有云客戶一般以互聯網企業和中小企業,逐步轉向服務大型政企客戶時,提出了“專有云”的概念,即通過對公有云架構進行適當的縮減,形成一套規模相對較小、能夠適應本地化部署的專有云方案,典型如阿里云+Apsara Stack,騰訊云+TCE、京東智聯云+JD Cloud Stack、百度智能云+ABC Stack、金山云+Galaxy等。

由于專有云與公有云采取一致性的基礎架構,IaaS、PaaS資源具備一致性,因此一般能夠支持應用在公有云、專有云之間進行低成本快速遷移,同時保證了公有云、專有云實現功能和特性的同步進化,防止了碎片化的專有云版本出現。

但是由于互聯網大廠公有云的基礎架構特性,其專有云對于物理節點數量下限要求較高,一般都要求至少提供幾十到近百的物理節點,更加適合于業務規模較大、預算充足的腰部以上企業。

京東智聯云構建多云資源一致的混合云方案

京東智聯云(JD Cloud & AI)是京東集團旗下的智能技術提供商,依托京東集團在人工智能、大數據、云計算、物聯網等方面的業務實踐和技術積淀,打造服務于數字企業、數字政府的多維場景解決方案。

京東智聯云提供的專有云服務包括專有云(Stack)、敏捷專有云(Swift)、敏捷專有云超融合版(Swift HCI)三個不同版本,以及能夠實現多云納管的混合云平臺(Mesh)。

京東智聯云在混合云方案的優勢體現在以下兩方面。

首先,京東智聯云的公有云平臺(Public Cloud)和專有云平臺(Stack)基礎架構一致,可搭建同構混合云平臺實現在功能、資源方面的同步更新和一致性。

其次,針對異構多云的資源,京東智聯云借助混合云平臺(Mesh)也可構建統一納管,資源一致的混合云解決方案,它具備以下幾方面能力:

1)全方位支持:提供從網絡層的拉通,到跨云資源管理、業務調度、服務組件管理、容器云平臺、多云服務平臺、資源監控以及成本控制等全方位的混合云場景支持能力;

2)一站式管理:兼容多種異構云平臺,整合私有云、公有云等多種底層資源,實現一站式資源管理控制、對資源的跨平臺融合編排及多租戶訪問;

3)解除廠商綁定:具備行業核心業務系統架構的最佳實踐,可無縫連接異構硬件與上層業務,解除廠商綁定,使得企業聚焦于業務。

4)AI賦能:深度集成AI能力,實現極簡和智能的資源調度和穩態與敏態業務的動態平衡,資源利用率平均可提升30%。

混合云平臺(Mesh)從以下兩方面實現多云資源的一致性:

1)跨云的云原生技術中臺:基于容器化、微服務基礎技術,提供涵蓋應用、部署和治理的技術中臺,兼容傳統與創新應用的一致性管理和平滑遷移,實現多云環境下敏捷的持續集成、發布、運營。通過云原生技術承載AI能力,實現云的數字化、智能化,更加貼合企業業務,提升業務創新迭代速度。

2)跨云遷移:支持以不停服全量和增量遷移的方式遷移不同環境及不同類型的數據庫,通過VPN、專線等網絡環境接入京東智聯云的RDS數據庫、自建數據庫等,支持國內外主流公有云、私有云、虛擬機、X86物理服務器的遷移。

京東智聯云的混合云解決方案應用于某知名車企的汽車產業云,該車企集團為滿足集團轉型和信息系統及應用上云的需求,實現混合云架構的藍圖,需要采用成熟穩定的商業化云平臺替換現有的開源架構的云平臺。

為此,京東智聯云為該車企建設了集成公有云(Public Cloud)、專有云(Stack)、混合云平臺(Mesh)的混合云解決方案,方案具備以下特點:

1)多云整合:構建了混合云統一服務平臺,統一納管現有的OpenStack平臺。

2)硬件利舊:通過專有云(Stack)將現有各分公司的物理機云化,并通過混合云平臺(Mesh)直接納管,提高了資源利用率。

3)遷移擴容:實現全量應用跨云一鍵式平滑遷移,并結合DNS解析分流,實現跨云負載擴容。

4)跨云災備:該混合云平臺具備災備能力,將京東智聯云公有云作為災備中心,構建了穩定可靠的同城跨云災備。

混合云方案實施后,該車企獲得了以下實施效果:

1) 資源整合優化:實現集團的混合IT基礎架構資源整合優化,統一平臺靈活調配,大幅提升資源的利用率和運維運營效率;

2) 靈活擴容:業務系統實現全局調配,合理部署,應用負載能力成倍提升;

3) 跨云災備:充分利用公有云的無限量存儲,實現核心業務數據多副本容災備份,提升了服務的穩定性和可靠性;

4) 戰略落地:加強集團信息化、數字化建設,推動集團化2.0戰略落地,打造自主知識產權的服務和產品,為集團“兩個轉型”和四化發展提供可靠支撐。

整體來看,互聯網大廠“公有云+同構專有云”的混合云方案,適合業務規模較大、預算較為充足、服務商生態較為完善的企業,公有云、專有云間的基礎架構一致性有助于其在漫長的IT建設周期內保證技術能力的持續同步進化。

2.1.2 傳統ICT廠商與中立云廠商公有云+私有云的混合云方案

與互聯網大廠旗下的公有云不同,華為云等傳統ICT廠商旗下的公有云,以及UCloud、青云等中立性公有云廠商,其公有云的定位更加單純,主要用于對外提供商業化的公有云服務,同時期望能夠將公有云的架構無縫地移植到私有云之中。

因此,這類公有云廠商的基礎架構相對較為輕量化,從而保證了其私有云產品既能具備與開源架構一樣的低節點數量要求,同時又能保證私有云的基礎架構與公有云之間的一致性,典型如華為云+華為云Stack、UCloud+UCloud Stack、青云+青云私有云。

整體來看,傳統ICT廠商或中立云廠商的“公有云+同構私有云”的混合云方案能夠更加靈活有效地支撐中小規模業務場景,同時保證公有云和私有云的基礎架構一致性,因此更加適合于當前業務規模一般,但未來可能具備一定成長性,并期望長期保持技術創新和迭代能力的企業。

2.2從私有云到混合云:滿足企業差異化需求

相比于從公有云到混合云的實踐路徑,從私有云到混合云的實踐路徑更為復雜,這是因為私有云廠商從一開始就需要考慮來自企業客戶的差異化需求,這種差異性體現在兩個方面:

企業技術和運維能力的差異性:科技創新型企業和頭部企業常常更加追求私有云的定制化、與企業流程的匹配性,技術和運維能力不足的大部分傳統型企業更加追求私有云的易管理性;

企業數據中心規模的差異性:超大規模企業具備豐富的數據中心資源,更加追求IT架構的成熟性、穩定性,中大規模企業數據中心資源相對有限,更加追求IT投入的高性價比。

基于這些差異化需求,私有云架構出現了開源技術和閉源技術的差異,以及分離式架構與超融合架構的差異。

2.2.1 分離式架構的私有云

早期的私有云采取分離式架構,即計算、存儲能力通過不同的設備或服務器集群來提供。按照技術架構的不同,它又分為開源和閉源兩類。

開源分離式架構私有云:OpenStack是當下最為流行的開源云計算管理平臺,具備較強的定制化能力,因此通過OpenStack對接KVM、VMware vSphere、XenServer等計算虛擬化平臺,以及Ceph等開源分布式存儲平臺,在過去一段時間曾是個性化需求較多的大中型企業客戶構建私有云的一種流行方式。

但是由于OpenStack架構的復雜性問題,近些年在產品化、標準化、商用化等方面開始面臨大量痛點,因此開源云廠商基于OpenStack進行閉源深度自主研發,從而提高產品的標準化程度,實現產品無縫升級已經成為大勢所趨。

閉源分離式架構私有云:VMWare等成熟廠商在商用虛擬化技術方面一直占據主導地位,其閉源分離式架構私有云主體由VMWare vSphere對接SAN商用存儲設備構建而成,而云管的部分可以選擇VMware vRealize Automation或獨立的云管理軟件(CMP),前者僅支持VMWare自身產品,后者更加開放。

閉源私有云的優勢在于其長期實踐經驗和產品迭代帶來的高度穩定性,但由于其核心技術往往由國外虛擬化廠商、商用存儲設備廠商所控制,會使得企業面臨自主可控性差、廠商綁定等因素的困擾。此外,商用存儲擴展性不足也成為困擾企業的一大痛點。

總體來看,無論是開源技術還是閉源技術,計算、存儲分離部署模式由于采用了單獨的存儲集群,在面向具備龐大數據中心資源的超大規模客戶時存在以下三點優勢:

能夠實現存儲性能的大規模獨立擴展,保證了以往計算和存儲分離的IT管理模式的可延續性。

充分兼容異構化的計算資源,支持裸機等非虛擬化的計算平臺。

提供完全獨立的存儲空間,不至于因為計算工作負載的提升而使得存儲性能出現瓶頸。

但是,分離式私有云架構同樣存在兩點劣勢:

需要采用單獨的存儲集群,對數據中心規模一般的中等規模企業來說性價比偏低,如果采用商用存儲設備,成本就更加高昂。

計算、存儲、網絡拓撲較為復雜,對部分缺乏運維能力的企業和分支機構造成大量運維管理難題。

2.2.2 超融合架構的私有云

當企業追求私有云的易于管理、高性價比等特性時,計算、存儲融合部署的超融合架構成為最合適選擇,目前這種方案已經開始在中型乃至大型客戶中出現。

Gartner認為,超融合架構(HCI)是一種以軟件為中心的體系結構,將計算、存儲、網絡和虛擬化資源(以及可能的其他技術)緊密集成在單一的供應商提供的一臺硬件設備中。相比于分離式架構的私有云,超融合架構的私有云真正實現了完全的軟件定義、完全的虛擬化、完全的分布式。

與分離式架構私有云類似,超融合架構私有云同樣存在開源、商用兩類生態。

開源超融合架構私有云:基于Openstack、KVM、Ceph等開源產品整合的超融合方案,優勢是可以快速從社區獲得最新的功能,但同時存在著諸多問題,比如:Openstack架構復雜、大量模塊在超融合中并不需要,商用程度差,且計算資源要求高;基于開源的Ceph模塊和代碼復雜,服務商對產品核心問題無法有效支持,且Ceph對計算資源消耗高較高,IO密集型場景性能也表現欠佳;一般無法有效支持VMWare等商用虛擬化平臺。

閉源超融合架構私有云:該種模式最典型的廠商案例是VMWare的vSphere+vSAN+vCenter超融合架構配合vRealize Automation,以及國內超融合廠商SmartX的SMTX OS超融合架構,并可對接國內多家成熟的商用多云管理平臺實現計算存儲的資源池化、分布式化、軟件定義化和自服務化。

如上圖所示,SmartX的超融合架構除了包括自有的虛擬機服務和分布式塊存儲,還可兼容VMWare、Citrix等其他廠商的虛擬機服務。據了解,SmartX結合云管理形成的超融合私有云已經在大型國有銀行和大型券商等客戶形成實際案例。

相比于分離式架構私有云,超融合架構私有云的有兩點明顯優勢:

易于管理:超融合幫助私有云非常簡單地完成基礎架構的虛擬化,包括計算、存儲、網絡的虛擬化,無須為不同的設備考慮虛擬化的方案,降低方案的復雜性;支持集成VMware vSphere和KVM等主流虛擬化軟件,用戶端幾乎沒有學習成本。

高性價比:超融合技術實現了完全的軟件定義架構,支持普通商用服務器硬件以及使用以太網進行傳輸,避免使用價格高昂的專用硬件,有效降低私有云中的硬件采購成本;超融合技術的特性是在每個服務器節點都能同時提供計算與存儲能力,架構精簡,資源占用更低。

2.2.3 從私有云出發的混合云生態

兩類私有云部署架構(分離式/超融合)、兩類私有云技術生態(開源/閉源),與公有云一同構成的混合云生態體系如下圖所示。

總體來看,不同混合云生態在定制化能力、易管理性、成熟穩定性、性價比等四方面的對比如下。

2.3 混合云實踐過程對企業的多重挑戰

無論從公有云走向混合云,還是從私有云走向混合云,對于企業來說,都是一個解決方案越來越復雜、面臨的技術挑戰越來越多的過程。

據中國信通院數據顯示,缺少適合的解決方案,以及現有技術不夠成熟是阻礙企業應用混合云的兩大最主要因素,網絡連接不夠穩定、基礎功能不完善是企業在混合云應用過程中面臨的兩大最主要挑戰。

但是,缺乏合適的解決方案與技術的具體原因可能分布在混合云與分布式邊緣云的各個層次中。為了分析這些原因,我們必須明確混合云與分布式邊緣云建設的混合云和分布式邊緣云的基礎架構圖來進行分析,如下圖所示。

1)混合云基礎設施平臺:它是混合云、分布式邊緣云建設的基礎環節,主要包括公有云/私有云、中心云/邊緣云等多種不同基礎架構的云形態,以及其中不同的計算、存儲、網絡架構,還有跨云連接網絡、多云管理平臺(CMP)等多云間的融合機制。

2)云原生技術中臺:它是企業開發云原生應用或遷移、改造傳統應用,最終實現業務創新的核心環節,主要包括aPaaS(DevOps、微服務治理、中間件服務)、iPaaS、Database PaaS(數據庫PaaS)、Business Analytics PaaS(業務分析PaaS)、ITOM平臺(CMP、APM工具),共同服務于云原生應用交付生命周期。其中,aPaaS(應用PaaS)是云原生應用交付的主要平臺。

在本報告的第三章、第四章中,我們將詳細分析這兩個環節中的挑戰構成,如下圖所示。

此外,為了應對這些挑戰,企業還需要選擇合適的廠商來提供混合云解決方案,因此本報告還將提供一些典型廠商的最佳實踐案例。在這些挑戰環節中提供解決方案的典型廠商如下圖所示。

3.混合云基礎設施平臺建設

云計算基礎設施層的構成形態,直接決定了云計算的架構和形態。企業在對混合云與分布式邊緣云的落地實踐中,首先要面臨基礎設施平臺建設的挑戰。

3.1 混合云基礎設施的三個應用階段

根據公有云、私有云之間在基礎設施層面的協同深度,我們可以將混合云基礎設施的應用階段分為三個層次:多云網絡互通、多云管理與協同、多云資源一致。

1)多云網絡互通:在多云之間實現廣域網的連接,從而實現信息的跨云傳輸;在這一階段,企業面臨的挑戰主要是混合云對跨云連接網絡的穩定性、配置敏捷性、成本優化能力等方面具有較高要求;

2)多云管理統一:通過多云統一資源管理,實現工作任務在多個計算存儲資源池的靈活分配,從而實現多云業務協同和成本優化;在這一階段,企業面臨的主要挑戰在于多云環境承載業務形態多樣、資源類型多樣、權限分配復雜,對企業的IT統一管理帶來大量痛點;

3)多云資源一致:通過在多云之間保持IaaS、PaaS資源的相對一致性,從而允許應用和資源在多云之間自由遷移或漂移,同時盡可能減少過程中的人工干預;在這一階段,企業面臨的主要挑戰在于如何克服多云基礎架構的異構性。

本章將對以上三個階段企業面臨的挑戰及對策進行詳細闡述和分析,同時提供相關類型廠商在企業中的實踐案例。

3.2 多云網絡互通

企業組網是企業IT基礎設施建設的核心訴求之一,它保證了企業分布在不同地點、不同環境中的計算資源能夠實現在一張局域網中自由互訪,并滿足企業內部的網絡管控需求。

在混合云架構中,公有云、私有云計算與存儲設施往往分布在不同地域和數據中心,需要通過廣域網進行連接,從而實現企業組網。

在分布式邊緣云架構中,從骨干網、城域網到接入網,均需要通過廣域網進行連接,從而構成包括眾多邊緣云的邊緣計算網絡。

無論是混合云還是分布式邊緣云,它們的廣域網連接質量對其應用效果乃至成敗至關重要。

現階段,VPN、專線和SD-WAN是企業采用最多的三種網絡連接技術,其中MPLS VPN是最為普遍的VPN技術類型,它們分別具備不同的優勢和適用場景,其對比如下圖所示。

隨著企業對云計算應用程度的加深,以及混合云、邊緣云的出現,專線和MPLS VPN面臨著三個方面的嚴峻的挑戰。

第一,隨著業務工作負載量的增加,專線、MPLS VPN的帶寬也需要不斷增加,而高帶寬的專線和VPN的租用費用較為昂貴,給企業造成了越來越高的網絡運維成本;

第二,隨著分布式邊緣云架構的發展,部分偏遠或小型分支機構的規模不足以支撐專線和MPLS高昂的成本;

第三,在云計算環境下,企業業務創新與迭代速度不斷加快,對企業的網絡響應能力,對增加帶寬、增加線路等網絡配置的敏捷性要求都越來越高,而專線、MPLS的配置靈活性相對不足。

為了解決專線和MPLS VPN面臨的困境,SD-WAN(軟件定義廣域網)這一新興網絡技術在近些年崛起,其主要技術在于實現網絡控制與數據轉發功能的分離,以及傳統網絡功能的虛擬化,同時基于對網絡環境實時狀態的感知來控制虛擬化的網絡功能,從而為每個數據包選擇最佳路徑,保障了分發的高效性和通訊的實時性。

SD-WAN助力多點網絡互聯,觀脈科技NaaS網絡服務為企業網絡降本增效

觀脈科技是國內領先的基于SD-WAN技術的NaaS服務商,擁有覆蓋全球的虛擬私有網絡,是國內較早實現對多個公有云的網絡全自動化接入的公司之一,利用自身的SD-WAN網絡對網絡資源進行統一的優化和管理,服務包括中國移動,網易,獵豹移動、VIPKID 、墨跡天氣,傲世堂等游戲,教育,互聯網,運營商類客戶。

觀脈科技推出的AllWAN是一款NaaS網絡服務產品,融合專線網絡的穩定性和互聯網的經濟性,具備可編程的API和極強的擴展性,可解決實時傳輸中的瓶頸,能夠在全球范圍跨地域和網絡使用,能夠實現多公有云之間、公有云與數據中心/私有云之間,以及多數據中心之間的網絡互聯。

觀脈科技某客戶是一家全球化企業,在國內采用A云、B云、C云來提供公有云服務,在國外采用AWS來提供公有云服務。此外,該企業還需要在廣州A云和北京A云部署兩臺堡壘機,并對部署在全球的50余個VPC、超過5千臺云主機進行管理。

為了提升業務響應的速度,實現多個公有云之間的業務訪問,針對業務流量進行統一管理,并基于網絡流量提供及時的告警信息,該企業采用觀脈AllWAN實現多云互聯。

方案實施后,該企業的網絡開通速度、靈活性、使用體驗大大改善,能夠在一天內完成不同云之間的業務對接,可以根據使用情況靈活調整帶寬,可以根據需求開通網絡用量統計等功能,能夠基于業務情況進行網絡測試,可以實時查看網絡使用情況。

觀脈科技另一家客戶為國內著名的人工智能公司,該公司網絡全部使用互聯網,希望優化現有辦公區訪問數據中心的網絡質量,提升整體網絡的健壯性,并為Salesforce等訪問速度慢的應用進行加速。

為此,觀脈基于AllWAN網絡為客戶提供混合云聯網解決方案,將該企業的數據中心、云和辦公室通過專線或互聯網的方式就近接入到觀脈科技的AllWAN網絡,還增加了A、B云作為業務數據的備份節點,與現有數據中心組成混合云架構。

方案實施后,該企業辦公區之間網絡訪問質量比之前提升50%,Salesforce等軟件的訪問速度明顯提升,網絡穩定性超過99.99%,網絡安全性獲得提升,實現更加簡化的可視化運維。

總體來看,SD-WAN相比于專線和MPLS VPN的優勢體現在成本和效率兩方面:

擴容成本:SD-WAN可完全基于互聯網鏈路,無需依賴任何專線線路;可有效提升網絡鏈路的利用率,無需維持空閑鏈路。

擴容效率:SD-WAN通過智能路由實現流量高效轉發,傳輸時延相比于MPLS VPN大幅降低;通過Portal即可進行網絡部署和變更,所需時間大幅縮短,技術門檻也大幅度降低。

近些年,SD-WAN的安全性技術也不斷完善,支持通過IPsec、TLS、DTLS等多種加密技術來實現數據加密。但現階段,許多企業出于對安全性的顧慮,會采用MPLS VPN與SD-WAN的混合架構,使用MPLS來承擔核心業務流量,而使用SD-WAN來承擔互聯網業務流量。

綜上所述,在混合云與邊緣云時代,SD-WAN能夠有效提升企業網絡管理效能,從而進一步提升企業競爭力。

3.3 多云管理統一

盡管成本優化是推動混合云、分布式云的主要因素,但是成本優化方案的落地實施卻并不容易。公有云、私有云、中心云、邊緣云等不同的云,其成本最優的業務類型不同,同時這些業務的工作負載同樣是在動態變化中的。

這種復雜性帶來的管理困難,使得企業亟需通過統一的多云資源管理平臺,對多云平臺的資源使用、任務調度進行統一管理,最終實現多云成本優化。

混合云成本優化分為兩個部分:

1)在公有云、私有云之間進行工作負載分配,以盡可能降低因擴容帶來的額外成本;

2)對多個公有云賬號所擁有的資源進行統一管理與分配,以盡可能降低因部門或團隊獨占資源帶來的資源利用率降低。

3.3.1 公有云、私有云間成本優化

混合云產生與發展的主要驅動因素之一是成本與效率的平衡,即讓私有云和公有云發揮各自的優勢,實現最大的投入產出比。在這里,我們將投入產出比定義為:在一定時間內,混合云承載的總工作負載量與軟硬件成本投入的比值。

在混合云實踐中,企業面臨成本優化的挑戰主要來自敏態業務,這是由穩態和敏態業務的特性決定的。

穩態業務:其負載峰值與負載低谷相比,差距一般不超過數倍,因此選擇私有云來完全承載其工作負載,其計算資源利用率仍然相對可接受。同時,由于私有云成本主要集中在前期的建設投入,在更長時間尺度上的成本相比于公有云更低。因此,大部分穩態業務都可以通過私有云來完全承載,不存在太多跨云優化的空間。

敏態業務:其負載峰值往往高達負載低谷的數十倍到上百倍,如果選擇私有云來完全承載其工作負載,在低谷期會產生嚴重資源閑置,難以通過后期的低成本來抵消前期的高建設成本。這種情況下,通過公有云來承載其工作負載高峰變得十分必要。

但是,在敏態業務的生命周期中,并非采用公有云的比例越高越好,這是因為在整個敏態業務的生命周期內,盡管其工作負載的總體波動性較大,但是仍然可能在某些時間段內展現出一定程度的穩態特性。

比如,下面的曲線圖就表示了某敏態業務在生命周期內經歷的工作負載變化情況。

增長期:當業務處于增長期,負載的波動幅度較大且不斷增長,其下一時間段的波動幅度,以及生命周期長度往往不可預料,需要云平臺具備彈性的擴容縮容能力。因此,選擇公有云來完全承載其負載是投入產出比最優的方案。

穩定期:當業務進入到穩定期后,由于用戶群體、數據源的相對穩定,其負載波動特性會變得比較容易預測,低谷期的工作負載也會相對穩定。在這個階段,企業往往對于業務的生命周期長度有相對樂觀的預計。因此在穩定期內,企業逐步采用私有云來承載一部分固定存在的工作負載,是相對成本更優的方案。

衰退期:當業務進入衰退期,工作負載在波動中呈現下滑趨勢,但由于在穩定期投入了大量支撐私有云的硬件成本,而且這部分硬件成本顯然無法回收,所以整體的投入產出比也呈現下滑趨勢。在這種情況下,繼續盡可能地利用現有私有云資源,同時不斷回收公有云資源,更加有利于投入產出比的維持和優化。

當然,上圖僅僅是企業在一個較粗的時間顆粒度上可能采取的混合云成本優化方案。在實際生產環境中,優化粒度可以更加精細,在每個波動周期內快速啟停公有云資源。

此外,在企業實際生產環境中,本地資源池的情況往往更加復雜,不僅會有私有云,還可能有物理機、VMware虛擬機等異構資源,它們在混合云成本優化過程中也可以作為私有云來對待。

面對這樣的優化背景,僅僅依靠割裂在不同資源池內的運維管理界面難以滿足需求,企業運維人員亟需有能夠納管多種資源、提供多維度運維數據的管理平臺,實現統一、高效的成本優化,這就是云管理平臺(CMP)。

作為能夠實現多云資源納管的運維管理工具,云管理平臺(CMP)能夠納管包括VMware虛擬機、裸金屬機器、私有云、公有云、存儲設備、SDN網絡等多種資源,同時提供運維監控、統計報表以及相應的可視化功能。

基于CMP的這一系列功能特性,企業能夠實現對公有云、私有云各自的資源使用情況的分析,從而做出相應的優化策略:

1)如果企業通過CMP監控到公有云中有長期存在的固定工作負載量,企業可將其逐步遷移到私有云、VMWare上。這時如果私有云、VMWare的使用率已經很高,難以擴容,則考慮擴大規模來承載這部分業務。

2)對于私有云、VMWare、物理機中存在的負載波動性較大、出現了明顯的性能瓶頸的業務,企業可將這部分超出正常承載能力的工作負載轉移到公有云。

3.3.2 多公有云間的成本優化

多公有云的成本優化是建立在公有云、私有云間成本優化的基礎上,進一步實現混合云成本優化的另一個階段。

造成多公有云的原因是復雜的,其中典型的原因包括實現多云災備、減少廠商綁定、希望利用不同云的特有能力等。此外,出于內部組織架構的原因,企業也有可能創立多個公有云賬號來歸多個部門管理和使用。

無論是單一公有云廠商的多個賬號,還是多個公有云廠商的多個賬號,由于其資源之間的割裂性,都可能會帶來資源閑置,從而造成成本升高。資源閑置的典型原因包括兩類:

1)不同部門擁有不同的賬號,使得這部分公有云資源被獨占,在不使用的情況下無法被分配給其他部門來使用,也無法被統一釋放,造成資源閑置和成本浪費;

2)某些公有云的資源被釋放后,它所占用的資源未被同時釋放,比如服務器被釋放后,占用的存儲、彈性IP可能未被釋放,在多公有云賬號的情況下,這樣的情況更加突出,造成資源閑置和成本浪費。

基于CMP提供的多云納管、權限管理和運維監控能力,企業能夠采取以下策略來解決資源閑置問題:

1)針對第一類情況,企業可將公有云賬號的權限收歸企業統一管理,基于CMP的多云納管能力,實現多個公有云賬號的打通,并基于CMP的權限管理能力,為不同部門創建有不同操作權限的業務組,同時提供資源統一申請流程,對資源進行統一分配和回收;

2)針對特定資源被釋放后,被其占用的其他資源未被同時釋放,最后出現閑置的問題,企業可基于CMP的運維監控能力實現資源利用率監控和回收。

基于SmartOps云管理平臺,安暢網絡為某大型集裝箱制造集團實現混合云成本優化

安暢網絡是中國市場領先的云托管服務商(Cloud MSP),面向企業客戶提供云原生技術服務和數字化解決方案,主要服務之一是基于SmartOps云管理平臺為企業客戶提供訂閱式、托管式的運維服務,幫助企業實現多云環境下的成本優化。

安暢網絡某客戶是某大型集裝箱制造集團,在上市準備階段,該企業需要對集團組織進行拆分,但是卻面臨著多重挑戰:

1)缺乏專業運維工具:該企業作為一家傳統大型制造業集團企業,IT系統龐大而繁雜,系統大量部署在物理/虛擬化設備上,也有各分公司公共云環境,而拆分出的企業IT團隊面對這種復雜環境,缺乏專業的云環境運維平臺來進行運維管理,并對分公司的資源使用權限進行管控;

2)成本優化難題:復雜的IT和多云環境,要求企業有效把控整體IT成本,控制多云賬戶的成本消耗,整合云資源;

3)上云難題:設備業務系統面臨快速遷移上云難題,同時面臨安全合規、備份容災、多地域網絡互聯的復雜需求;

4)人力成本難題:現有IT團隊的人力難以支撐起業務系統的7x24運維管理。

因此,該企業迫切的需要一種全方位的IT服務管理手段和資源管理平臺來治理目前復雜的環境,并利用云計算優勢整合資源降低成本。

項目啟動后,安暢網絡成立專門的遷移運維團隊,做了如下工作:

1)實現資源統一納管:逐一摸清客戶總部、各分公司的資源環境情況,將客戶原VMware虛擬化環境和物理服務器加入SmartOps平臺進行統一監控、統一生命周期管理(開/關/新建/銷毀/配置調整),同時將各項目各分公司已存在云賬號進行導入,將客戶所有混合云環境納入統一平臺進行監控和生命周期及配置管理。

2)實現業務組權限劃分:通過SmartOp平臺的“業務組”功能,自由劃分資源池和業務組人員的權限控制。

3)實現IT即服務:將客戶所有資源都接入SmartOps平臺后,通過平臺ITSM功能模塊將客戶、軟件供應商、安暢運維服務三者流程化有機集合,向客戶提供IT服務化,客戶建設新系統、軟件變更、運維問題處理等事件都以IT服務的形式交付給客戶,大大提升了客戶管理復雜多云環境的難度。同時也避免了自身建立多云運維團隊的人力資源投入。

4)實現運維安全統一管控:依托Ops平臺的堡壘機功能,在一個平臺即可運維登陸 集團所有公有云、物理還是虛擬化服務器內部,進行業務部署和運維管理。

5)實現成本優化:SmartOps平臺通過客戶云賬號AK與各大公有云同步云賬單信息,結合Ops平臺的監控系統、來分析主機使用率和 預算設置管理,為客戶分析那些資源需要降配節約成本、那些資源沒有使用閑置狀態、那些資源負載高需要升配并將變化后的預估成本變化進行分析展示給客戶,客戶根據自身業務特性或規則來優化成本。

經過安暢網絡遷移運維團隊的工作,該企業面向混合云和復雜IT環境的運維效果得到了如下提升:

1) 運維管理的運維流程得到了簡化,運維和故障響應的效率得到了提升,節省了自建運維團隊的人力成本。

2) 利用SmartOps平臺的監控和費用分析自動得出優化建議,同時實現預算控制,降低云計算平臺使用中的成本消耗,充分發揮云計算的按需收費的優勢。

3.4 多云資源一致

隨著企業雙模態業務之間的深度融合,以及混合云和分布式邊緣云在企業內的應用程度加深,應用和各類資源在多云之間進行平滑遷移的需求逐步顯現,這就需要多云資源一致能力,即“互操作”能力。

多云資源一致的含義在于應用和資源能夠無縫地訪問公有云、私有云、中心云、邊緣云的計算、存儲、網絡等IaaS資源,乃至數據庫、中間件、微服務等PaaS資源,這有賴于多云間的基礎架構與標準的統一或兼容。

但是,由于公有云、私有云、中心云、邊緣云往往來自不同廠商,而這些廠商出于差異性競爭、產品創新等需求,都可能會在相對統一的原生技術標準,如KVM、OpenStack、Kubernetes、Ceph之上增加自己的特性或限制,這使得不同廠商的云在計算、網絡、存儲等基礎架構以及其上的IaaS、PaaS資源都會存在大量異構性,其影響主要體現在兩個方面:

1)資源深度耦合:不同云廠商的云原生資源與基礎架構深度耦合,云原生應用同樣與云原生資源相互耦合,對應用和資源的跨云遷移造成障礙。

2)功能進化不同步:公有云、私有云、中心云、邊緣云之間的基礎能力無法保證同步進化,這阻礙了私有云、邊緣云中的云原生應用采用公有云、中心云提供的最新服務,進一步增加了應用跨云漂移的難度。

現階段來看,多云資源一致仍然難以建立在開放生態的基礎上,因為這有賴于云廠商之間的共識,從而在未來實現某些統一的底層標準。

目前,在混合云、分布式邊緣云中實現資源一致性的階段性方案有三種:

1)采用統一廠商的全棧式方案:即由同一家云廠商來提供包括公有云、私有云、中心云、邊緣云產品,這樣做的好處在于完全保證了多云之間基礎架構和資源的一致性,能夠讓企業在私有云、邊緣云中享受到與公有云較為一致的資源服務,保證了上層應用無需改造、無需專門的遷移工具就能實現自由遷移。

2)搭建跨云的云原生技術中臺:通過Docker容器鏡像、Kubernetes容器編排技術實現跨云的統一云原生技術中臺搭建,能夠同時解決資源一致性和跨云遷移自動化的問題,并且能夠進一步服務于應用的全生命周期的跨云統一管理,這將在第四章中詳細介紹。

3)采用第三方云遷移工具:它盡管并沒有改變多云基礎架構異構的現實,但是卻提供了一種多云資源一致性的替代方案,即通過自動化、標準化的跨云遷移解決方案,降低了應用跨異構云遷移的成本,這樣的平臺可能是多云管理平臺(CMP),也可能是專業的云遷移工具。

與混合云解決方案類似,分布式邊緣云同樣存在全棧式、資源一致性的解決方案,較為典型的是華為云的九霄智能邊緣解決方案。

華為云九霄智能邊緣解決方案包括現場邊緣云IEF智能邊緣平臺(Intelligent EdgeFabric)和近場邊緣云IEC智能邊緣云(Intelligent Edge Cloud)兩部分,其中IEC智能邊緣云與華為公有云、華為云Stack基礎架構完全一致,主要面向AR/VR、云游戲、互動直播等近場邊緣場景,主要職責是提供基礎云服務能力,一般部署在城域網中的地市級、區縣級機房中。

相比于電信運營商的分布式邊緣云,華為云等云廠商的邊緣云解決方案在基礎架構一致性方面的優勢,有助于其實現邊云深度協同。

4.多云架構的云原生技術中臺建設與應用交付

企業上云和數字化轉型的主要動力之一是為了實現業務創新,從而獲得快速的商業增長。

因此,盡管企業在上云初期主要關注基礎設施平臺的擴容成本、擴容效率、數據存儲安全性等問題,但是隨著其云計算應用程度加深而不斷加強,企業對于應用交付過程的關注會持續加強。

4.1多云架構對應用交付過程的挑戰

企業在數字化轉型和業務創新過程中,為了快速地實現業務迭代和體驗提升,需要不斷通過快速上線新功能的方式來收集用戶反饋,從而用于指導下一步的開發,從而實現業務創新的敏捷化轉型。

因此,企業除了關注基礎設施層面的成本、效率優化,以及安全合規等問題,必然會還會關注實現業務創新的云原生應用的交付效能。

混合云、分布式邊緣云的出現,對于應用交付效能提出了新的挑戰。如果企業無法有效解決異構多云環境下的應用交付效能降低,將阻礙混合云、分布式邊緣云的成功實踐。

如果要想找到評價企業應用交付過程是否能夠為企業創造足夠價值的一個評價標準,那么“應用交付效能”將是十分合適的一個指標。應用交付效能的含義是應用在開發與構建、測試、部署、運維管理的生命周期過程中,在吞吐量和穩定性兩方面的綜合表現。

注:交付效能、吞吐量、穩定性等定義來自谷歌旗下DORA(DevOps Research and Assessment)發布的《全球DevOps現狀調查報告》。

1)吞吐量:含義是應用在單位時間內更新的功能點的總量,它主要受到變更前置時間和部署頻率的影響。變更前置時間代表應用從研發人員提交代碼到成功在生產環境中部署所經歷的時間長度。部署頻率則與變更前置時間密切相關,一般來說前置時間越短,能夠達到的部署頻次就越高。

2)穩定性:含義是應用交付完成后,在實際生產環境中持續發揮價值的能力,它主要受到變更及服務失敗率和服務恢復時間的影響。變更及服務失敗率主要指應用新功能上線后,由于功能缺陷、體驗性、系統故障等原因,導致應用被迫回退到上一版本或重新啟動的概率。服務恢復時間指應用在因系統故障、性能壓力等原因而停止后到恢復正常服務能力所需的時間。

隨著基于容器的DevOps、微服務治理等產品與方案的成熟,整個云計算的云原生技術中臺體系逐步形成,它也成為推動云計算時代的企業應用交付效能進一步提升的主要動力。云原生技術中臺對于應用交付效能的影響表現在吞吐量和穩定性兩方面,如下圖所示。

1)吞吐量:DevOps平臺完全替代了過去開發、測試人員的手動打包提交、手動部署測試環境的過程,人工干預的頻次被極大降低,從而縮短了變更前置時間,提升了部署頻率,最終提升了吞吐量。微服務架構和開發體系進一步將研發顆粒度細化,團隊協作分工更加順暢,縮短了變更前置時間,同時提升了部署頻率,同樣提升了吞吐量。

2)穩定性:DevOps平臺實現了從開發、測試人員到運維人員的流程自動化,容器技術的可移植性、跨環境一致性的特性消除了因環境異構導致的變更失敗可能,使得變更及服務失敗率大幅降低。微服務治理的路由控制、流量控制、負載均衡、熔斷限流等服務大幅降低了故障率,從而減少了服務恢復時間。這兩方面因素都使得應用交付的穩定性極大提升。

但是,以混合云和分布式邊緣云為代表的多云架構帶來的異構的資源環境,必然需要打破單一云環境下的應用交付和管理生命周期,在應用交付的吞吐量、穩定性兩方面都會給企業帶來新的挑戰。因此,在多云異構環境下,云原生技術中臺的價值再次凸顯。

4.2 構建跨云的云原生技術中臺

由于以Docker技術為代表云原生技術在相當程度上能夠屏蔽很大一部分多云間的異構性,實現應用開發測試環境的相對標準化、統一化,因此如果實現云原生技術中臺的跨云構建,那么多云架構之上的應用交付效能將得到有效提升,如下圖所示。

因此,如何構建一套兼容不同廠商的公有云、私有云、中心云和邊緣云的云原生技術中臺,成為企業在這一過程中將面臨的主要挑戰。

除了基于不同的云基礎設施平臺構建云原生技術中臺之外,一些大型政企客戶往往還擁有大量的數據中心資源,其中存在各類物理機、VMWare虛擬機。盡管這些資源中并沒有建設云基礎設施,但仍然是資源異構性的另一種表現。云原生技術中臺可直接搭建在物理機、虛擬機之上,實現跨異構資源、跨地域、跨機構的應用交付生命周期的統一管理,成為多云架構的另一種形式。

在這樣的挑戰下,獨立的容器云廠商的價值得到凸顯,其優勢在于中立性、產品化和服務能力:

1)中立性:獨立容器廠商盡管可能與某些公有云廠商建立緊密的戰略合作關系,但總體來說其產品并不綁定IaaS平臺,而是能夠充分兼容各類IaaS層資源,包括VMware、OpenStack和主流公有云廠商,從而使得企業能夠在多公有云上部署同構的Kubernetes集群,從而有效支撐統一DevOps平臺的搭建。

2)產品化:獨立容器廠商的產品本質上是對原生Kubernetes進行二次開發和產品化封裝,增加大量面向企業使用場景的功能模塊,并提供友好的部署安裝和用戶交互界面,大幅降低了容器平臺的使用門檻。基于容器平臺,容器廠商一般還提供高度產品化的DevOps平臺,集成面向開發、構建、測試等各階段的中間件和工具,為企業提供一套端到端的DevOps方案。

3)服務能力:獨立容器廠商一般具備專業的服務團隊,可以為尚不熟悉容器和DevOps的企業提供培訓、咨詢和技術支持服務。對于部分具有復雜定制化要求的企業,公有云廠商一般不會提供深度的交付服務,而許多獨立容器廠商則能夠提供此類服務。

總體來看,基于容器云廠商提供的跨云的云原生技術中臺,企業能夠實現包含開發、構建、測試、部署與運維過程在內的DevOps敏捷開發過程,避免了因多云異構環境造成的人工操作增多、應用交付效能降低的情況。

4.3多云架構下“云原生閉環”的構建

盡管在跨云的云原生技術中臺的搭建過程中,我們看到了獨立容器云廠商的獨特價值,但是它也并非唯一的答案。

實際上,云原生技術中臺的最初目的,就是為了服務于云原生應用交付的全生命周期。而考慮到敏捷開發過程周而復始的過程,這個生命周期顯然不可能是一條單向的直線,而一定會構成一個“云原生閉環”。

根據一般企業的軟件研發及上線流程,這個完整的“云原生閉環”應該包括:業務部門流程,即需求提出;研發和測試部門流程,即需求確定、開發測試資源申請、開發與構建、測試;運維部門流程:部署、運維管理、問題與需求反饋。隨著運維部門將應用在部署或運維中出現的問題反饋到研發測試部門,整個閉環周期才完全流轉結束,如下圖所示。

正如上圖所展示,在云原生應用交付的生命周期里,除了需求確定、云原生應用開發、測試、應用部署等環節由容器云廠商占據主導,在資源申請、監控與災備這兩個連接開發測試部門與運維部門的核心環節中,企業都需要相應的工具平臺進行支撐。

當多云異構環境成為企業中的主流以后,如何實現跨云的資源統一申請、統一監控與災備,從而有效提升“云原生閉環”的效率成為企業的主要痛點之一。

此外,云原生技術的普遍應用也改變了所謂“資源”的定義。傳統IT和云原生出現之前的資源更多的是指的物理資源和虛擬化資源,以及傳統的數據庫和中間件資源。但云原生技術成熟之后,容器、云原生數據庫、云原生中間件等云原生資源同樣需要進行統一申請、統一運維監控和災備。

在這種背景下,許多廠商的CMP、APM等ITOM工具,正在逐步從基礎設施層向云原生層進行拓展,從而融入到“云原生閉環”中。

因此,基于“云原生閉環”的重要價值,我們把面向云原生資源進行管理、監控并提供IT服務的云管理工具CMP,以及應用性能監控工具APM等ITOM工具,都定義為云原生技術中臺的重要組成部分。

4.3.1 多云架構下的資源申請

在單一云的環境下,企業往往直接通過公有云、私有云的后臺管理界面來申請資源。但是在越來越復雜的多云環境下,有大量獨立的資源申請入口,并且需要通過這些獨立的入口來對資源進行管理,對企業的資源分配造成較大管理困難,多云管理平臺CMP的價值得到充分凸顯。

CMP的最初意義在于提供對異構的多云環境,包括VMware虛擬機、OpenStack私有云、公有云、容器、存儲、SDN等各類資源的統一納管,為企業優化云服務成本,統計云資源使用情況。

但是,在企業日益復雜的多云管理需求下,CMP逐步從單純的資源管理工具,發展為能夠為IT部門乃至業務部門提供服務化能力的ITSM平臺。

在服務化趨勢下,CMP可作為對內服務門戶,提供統一的資源申請入口,對包括虛擬主機、存儲、SDN網絡在內的IaaS資源,容器、DevOps、中間件、數據庫在內PaaS資源實現集中化、服務化交付。其中,對于VMware這類單租戶、缺乏自服務能力的傳統虛擬化平臺,CMP能夠有效地為其增加多租戶、自服務特性,與私有云、公有云等資源實現統一化的管理和交付。

總體來說,CMP的服務化趨勢提升了IT資源申請、審批和創建的自動化水平,降低了應用交付的變更前置時間,提升了應用交付吞吐量。

4.3.2 多云架構下的監控與災備

多云異構環境對IT運維管理的挑戰主要體現在性能監控、容災備份兩方面:

1)性能監控:在多云異構環境下,IT系統的隱患和故障類型更加復雜,多因素故障成為主要的故障類型,故障排查難度上升,而傳統的、單點式的故障監控分析工具已經難以滿足運維人員的需求,成為提升服務恢復時間、應用交付穩定性的主要瓶頸之一。

面對大量的多因素、關聯性故障,APM工具能夠幫助企業進行更加深度和多維度的監控分析,能夠通過基礎監控協議、字節碼探針、SDK/API等方式觸達包括IaaS、PaaS、應用層、日志文件等在內的各類IT資源,獲取指標數據并進行關聯分析,實現跨越異構云環境的故障定位。

相比于APM,CMP更傾向于提供針對多云環境的整體運維管理解決方案,在提供多云資源納管和成本優化的基礎上,同樣能夠針對多云異構的IaaS、PaaS資源提供一系列監控告警服務。此外,容器云廠商的微服務治理平臺在面向微服務架構應用的監控方面存在明顯優勢。

因此,APM、CMP、微服務治理平臺等性能監控工具的價值,在于能夠幫助企業降低服務恢復時間,提升應用交付的穩定性和總體效能。

2)容災備份:在多云異構環境下,因為私有云、VMWare虛擬機、公有云、跨云網絡中的各類故障而造成的業務中斷風險明顯增加,同時由于業務創新需求,多云架構往往需要進行更加頻繁的資源變更,這些都對于應用的交付穩定性、業務連續性能力提出了更高要求。因此,企業的容災備份需求大大提升。但是,傳統IOE廠商的災備技術較為笨重,難以適應云計算環境下高頻的災備需求。

因此,基于云計算技術的云災備平臺能夠有效提升多云環境中的災備效率,同時降低成本,優勢主要體現在兼容性、高效性兩方面。在兼容性方面,云災備支持平臺架構解耦,兼容各種虛擬化平臺和云平臺,如VMWare、KVM、OpenStack等,無廠商綁定限制。在高效性方面,云災備平臺支持精簡復制、斷點續傳、即時負載接管應急、多副本負載演練等功能,能夠提升災備的成功率和靈活性,將災備演練的周期縮短,并通過應急接管能力提升多云服務的業務連續性。

因此,云災備平臺的價值在于能夠有效提升企業的業務連續性,最終提升應用交付的穩定性和整體效能。

總體來看,多云異構環境下的監控災備環節,主要挑戰在于復雜的異構環境對性能監控、容災備份的自動化、標準化程度帶來挑戰,運維人員可能會因此增加人工操作頻次,從而增加失敗率和服務恢復時間,最終降低應用交付的穩定性和總體效能。

而解決這一挑戰的主要途徑是通過CMP、APM、微服務治理平臺、云災備平臺等ITOM工具實現面向多云異構環境的運維過程自動化和標準化。

5.哪些云計算新趨勢將為企業創造更多價值?

展望未來,隨著云計算技術深入到企業的業務中,必然會催生兩方面需求:一方面是更好地讓云計算的低成本、高性能算力為企業的數據利用服務,加速企業的業務創新;另一方面是將云計算與傳統網絡拓撲進行無縫融合,從而更好地為擁有大量歷史遺留IT資源的傳統型、集團型企業提供全面上云的支撐。

5.1面向數據密集型應用的云原生技術中臺

5.1.1數據密集型應用面臨的生命周期管理挑戰

相比于底層的IT基礎設施,數據和企業業務的聯系更加緊密。因此,對數據普遍應用是企業數字化轉型的最直接表現,它能夠為企業帶來業務營收和生產效率的增長,同時有效改善客戶體驗。

企業對數據進行利用的歷史非常悠久,從早期的面向主題的數據倉庫建設與OLAP分析,到后來的大數據技術、機器學習與深度學習的興起,數據的利用深度以及產生的價值也在不斷進化。

但是企業數字化轉型進程的不斷推進,數據維度、數據類型的越來越復雜,企業面臨的業務訴求越來越復雜,對數據利用效率的要求越來越高,使得原有的數據利用過程遇到了效率瓶頸。

在這樣的背景下,如何從應用管理的角度出發,將數據利用過程轉化為包括開發、部署、編排、持續測試和優化等環節在內的數據密集型應用的生命周期管理過程,已經成為企業IT與組織能力的核心挑戰之一。

但是,DevOps過去僅僅關注的是非數據密集型的的應用,對于以數據密集型應用的關注較少,但兩者存在截然不同的需求:

1)數據帶來的管理挑戰:面向非數據密集型應用的DevOps主要關注代碼、工具、基礎設施和人員之間的關系,而數據密集型應用的開發過程則增加了數據這一額外的元素,它比其他幾者的管理難度更高,需要通過有效的數據治理過程來整合多個數據源,同時保證數據質量,最終使得數據達到“業務就緒”狀態。

2)數據帶來的工具和人員的挑戰:數據密集型應用的開發和維護過程需要依賴于不同于非數據密集型應用開發的技術棧和工具,包括數據建模語言,以及傳統的ETL/ELT、元數據管理、主數據管理、數據質量工具,再到數據可視化BI工具和數據科學工具,而涉及到的人員也發生了改變,比如數據庫管理員、數據分析師、數據科學家、業務或運營人員等。

因此,近些年業內有人提出了面向數據密集型應用的生命周期管理理念——DataOps,它嘗試將數據、代碼、工具、基礎架構和人員進行標準化的流程管理,最終提高數據開發過程的生產能力、可重復性、敏捷性和自助服務能力,最終實現數據科學模型持續部署和優化。但目前DataOps的具體模式尚不成熟,仍然在持續探索中。

同時,云計算逐步發展出為數據型應用提供計算、存儲、分析、服務和生命周期管理能力的PaaS——DaaS(既包括了面向數據存儲的DB PaaS,又包括了面向數據分析和AI建模的Business Analytics PaaS),也就是通常所說的數據中臺和AI中臺,它將數據開發過程變成一項能夠在云計算平臺中按需取用的服務。

5.1.2 云原生技術實現提供多云、多數據中心數字化應用解決方案

然而,面向數據密集型應用的DaaS與生命周期管理過程,在云計算平臺上的實踐中仍然會面臨一系列挑戰:

1)環境異構性的挑戰:傳統領域企業在數據應用實踐中,往往會面臨多云、多數據中心等異構環境,而異構環境會直接影響數據匯集和利用的效率,從而影響數據密集型應用開發的整體效率。

2)生產環境性能的挑戰:數據密集型應用在生產部署環境中需要進行大量的數據處理和模型推理,對于計算的并發性要求更高,單臺服務器上部署多個業務會產生資源競爭,但虛擬化會產生明顯的性能損耗,需要輕量化的隔離部署環境。

3)數據交換合規性的挑戰:非數據密集型應用的開發測試過程可以不依賴于真實數據源,但是數據密集型應用則不同,由于其需要進行數據建模和機器學習等過程,必然需要依賴于大量真實數據。但是,在多云、多數據中心的環境中,企業或組織往往需要對割裂在不同地域、不同組織中的數據進行統一匯集,共同進行數據分析和建模。但是,部分行業和領域對數據的合規性限制往往阻礙了數據的跨地域、跨組織的匯集與利用。

面對這些挑戰,基于Docker、Kubernetes等云原生技術構建跨多云、多數據中心的DataOps成為企業的必然選擇。

星環科技“聯邦云”助力上海市數據交換共享中心實現“一網通辦”

星環科技是一家專注于企業級容器云計算、大數據和人工智能核心平臺產品研發的科技服務商,旗下的Transwarp Data Cloud(TDC)是一個涵蓋了基于容器的數據中心云操作系統、數據平臺服務、分析平臺服務、應用平臺服務的全棧數據云平臺,實現了“大數據+云+人工智能”的融合,幫助企業構建從底層IT基礎設施,到數據服務化和應用化的企業級IT基礎設施能力平臺,產品架構如下圖所示。

在TDC產品的基礎上,星環科技推出了TDC聯邦云解決方案,通過將跨多個數據中心甚至公有云的數據、應用和基礎設施資源進行統一管理,協同管理企業內部已有的資源和數據,從而構建一套完整、統一、互聯互通的數字化基礎設施。

聯邦云解決方案具備數據聯邦、聯邦計算、聯邦學習等多方面的數據共享利用能力:

1)數據聯邦通過多租戶的方式對數據進行匯集和共享,保證數據安全;

2)聯邦計算實現跨數據中心和云的數據庫全局視圖,實現在不移動數據的情況下進行SQL查詢和合規性審核;

3)聯邦學習實現跨數據中心和云的AI模型訓練和迭代,無需進行數據遷移。

星環科技TDC“聯邦云”解決方案的典型客戶是上海市人民政府主管的上海市大數據中心,其成立背景是上海市市委辦公廳、市政府辦公廳頒布《上海市全面推進“一網通辦”加快建設智慧政府工作方案》,明確提出“以電子政務云為基礎,以跨部門、跨層級應用為抓手,統籌構建‘云數聯動’的數據共享交換平臺,實現重要信息系統通過統一平臺進行數據共享交換,打通各部門信息系統、打破‘數據孤島’”。

為了實現這一目標,上海市大數據中心建設上海市數據共享交換平臺,包含市級數據交換子系統、市級數據湖、市級數據庫、數據集成子系統、市級數據治理子系統、數據服務子系統等業務模塊。

其中,市級數據湖匯聚“四大庫”、“市級統建系統”、“各市級委辦系統”、“各行政區系統”的經過初始治理的原始數據,市級數據庫主要用于存放經過一系列清洗、轉換、加載、治理步驟后的高質量的政務數據資源,其數據來源主要來自數據湖;數據集成子系統實現對數據湖數據的存儲管理、共享與交換,推送數據到治理平臺,并建立與市級數據庫的連接。

在項目中,星環科技基于TDC為上海市大數據中心數據共享交換平臺提供大數據支撐管理子系統,匯集了統一、標準、完整的人口信息數據庫、法人單位基礎信息庫、自然和地理基礎信息庫及電子證照信息庫四大庫信息,49家市級委辦政務數據及交換日志數據,構建三級數據共享交換體系,保障數據安全,支撐“一網通辦”、“市民主頁”等數據服務能力。

星環科技的項目實施成果主要體現在一網通辦、政務大屏、政務決策支持三方面。

1)一網通辦:把政務數據歸集到共享交換平臺,打通分散的信息和材料;提供政務服務、便民服務、企業服務等類服務;解決企業和群眾“辦不完的手續、蓋不完的章、跑不完的路”等麻煩,提高政府辦事效率;將面向企業和群眾的所有線上線下服務事項,逐步做到一網受理、只跑一次、一次辦成。

2)政務大屏:通過挖掘和提煉數據庫中不同主題的政務數據的詳盡指標,將領導決策層最關心的數據指標維度形象化、直觀化、具體化地“一站式”展現,達到為智慧政務管理做決策支撐的目的。典型的應用包括宏觀經濟地圖、人口與信用地圖、低碳能耗地圖等。

3)政務決策支持:在經濟預測、科技創新、城市規劃等方面為政府提供決策支持,比如:從宏觀到微觀、行業和區域等幾個維度的關聯展示,層層揭示各個層級的經濟發展狀況,并通過最終需求法等宏觀建模對經濟增長水平進行預測和敏感度分析;根據流行的SCP(結構-行為-績效)范式,從科技政策、人才與資金投入切入,分析科技產業結構、發展現狀和產業績效,并從科技園區、項目申報等角度展示科技政策的成效;通過對特定功能區、土地板塊、自貿區等城市功能承載區的量化分析,并疊加相關人員流動和分布狀況,綜合分析城市規劃效果和優化空間。

總體來看,跨云和數據中心的DataOps所應具備的核心能力包括:

1)能夠為數據密集型應用的開發、測試、部署過程提供一致性的環境,從而有效提升數據開發效率,降低人工介入頻次;

2)能夠為數據分析和模型推理過程提供輕量級隔離的生產部署環境,以達到高并發的計算性能,可直接部署在物理機、公有云的裸金屬服務器中,以降低因虛擬化而產生的性能損耗;

3)為跨地域、跨機構的數據匯集與利用提供權限相互隔離的多租戶環境,有效保證數據的安全合規性。

按照數據利用的階段來看,面向數據密集型應用的云原生技術中臺又大體包括云原生數據中臺、云原生AI中臺兩類。

1)云原生數據中臺:基于各類數據庫、數據倉庫、數據集市,承擔數據接入、數據治理、數據資產管理、數據建模等工作,降低開發門檻,提升開發效率。

2)云原生AI中臺:一般需要建立在云原生數據中臺的基礎上,打通從數據存儲、數據分析、數據建模到AI算法的數據管道,實現面向自然語言、音視頻、非結構化數據等多模態數據的機器學習、深度學習,提供低門檻、高效率的AI模型訓練、部署與持續優化能力。

綜上所述,云計算技術未來如果要進一步深入企業業務中,進一步推動企業數字化轉型和業務創新,并幫助企業克服因異構的傳統IT、多云、多數據中心環境帶來應用交付困難,云原生的數據中臺與AI中臺將成為其重要的發展趨勢。

5.2云網融合趨勢重塑傳統網絡管理模式

隨著云計算深度地融入到傳統型、集團型企業的業務之中,它必然要與企業原有的網絡技術架構發生融合。在這樣的背景下,通過“云網融合”重塑傳統ICT架構正在成為云計算發展的另一項前沿趨勢。

云網融合的主要驅動力可以歸結為傳統型、集團型企業上云過程中的兩個IT架構變化趨勢:

1)資源的異地化:正如第一章所述,傳統型企業的業務創新驅動了各類創新型應用的誕生,常常會產生對公有云的需求。此外,為了滿足企業在不同地域的IT服務能力,實現核心系統的全面上云,企業還可能會在多個地域、多個分支機構建設數據中心或機房,并進行私有云、虛擬化的建設。以上這兩種因素都推動了企業IT與云資源的異地化趨勢。

在這樣的背景下,企業為了提升對外和對內的IT服務和響應能力,需要通過專線、VPN、SD-WAN等廣域網技術實現在異地資源之間實現低延時網絡互聯,并提升網絡開通和變更的效率。

2)資源異構化:由于創新型業務、傳統型和核心型業務的不同需求,企業在這些資源進行IT建設和上云過程中,必然會產生包括各類物理資源與虛擬資源、專屬資源與共享資源在內的異構資源池。由于傳統型企業業務的相對穩定性,這些異構資源池將會長期存在于IT架構中,因此隨著時間推進,它們內部的、之間的網絡拓撲架構都會變得越來越復雜。

對于電信運營商、第三方數據中心運營商、廣電等對網絡服務能力具有苛刻要求的行業來說,過去依托于專業物理設備、依賴人工操作的網絡配置過程極大影響了網絡配置和變更效率。因此,這類企業亟需通過SDN、NFV等技術實現網絡的自動配置、拓撲靈活調整、自動化編排、協同調度等能力,即網絡的云化。

云間互聯、網絡云化這兩種云網融合方式在具有多數據中心和公有云的企業內,表現方式如下圖所示。

分布式邊緣云是多云異構環境的另一種表現,它在地市、區縣、園區等各個級別的邊緣云由于一般不具備駐場的專業網絡人員,同樣需要通過SDN/NFV等技術來實現網絡配置的自動化和網絡服務的編排,如下圖所示。

此外,由于邊緣云的機房環境條件的差異往往十分巨大,比如,地市級機房的網絡資源相對充足,但區縣級以下機房的網絡資源相對緊缺,因此SDN部署同樣應當做出相應的適配,實現輕量化的部署方案。

結語

2010年代,混合云與多云是云計算應用的前沿趨勢,它是云計算不斷滿足企業差異化業務形態過程中出現的必然結果。

2020年代,除了混合云與多云的趨勢將進一步深化,近場化、場景化、融合化將成為云計算應用的三大最新趨勢。

邊緣計算驅動的近場化趨勢,讓云計算算力的空間位置更加貼近企業現場,加強了云計算對邊緣側的數據利用能力,從而為企業提供更加低時延、低成本、沉浸式的數據利用支撐;

DaaS與DataOps驅動的場景化趨勢,讓云計算算力的邏輯層次更加貼近企業業務,加強了云計算的數據利用效能,從而進一步驅動了企業的業務創新;

云網融合驅動的融合化趨勢,讓云計算基礎架構與企業、地方、全國、全球等各個范圍的ICT基礎設施實現高度融合,雙方開始呈現“你中有我,我中有你”的狀態,最終使得企業經營、個人生活都與云計算結合得更加緊密而深刻。

聯樂實業,工業存儲/工業電腦服務商,專注高可靠性國產化工業存儲產品及解決方案!詳情進入www.reexpo.cn或垂詢400-888-2720
中文字幕亚洲天堂 | 手机看片久久 | 老司机免费视频 | 天天噜 | 久久99久久99 | 91久久国产综合久久 | 亚洲视频在线观看免费 | 色婷婷在线播放 | 亚洲三级在线 | 日本三级免费 | 99视频在线播放 | 99精品免费视频 | 羞羞动漫在线观看 | 中文字幕欧美日韩 | 亚洲熟妇av乱码在线观看 | 99国产视频 | 不卡av在线播放 | 小yoyo萝li交精品导航 | 久久av一区二区三区 | 国产一区二区在线免费观看 | 亚洲国产精品va在线看黑人 | 国产色片 | 狠狠人妻久久久久久综合 | 夫妻淫语绿帽对白 | 中文字幕在线观看免费视频 | 欧美性猛交xxxx | 免费看黄禁片 | 亚洲欧美国产精品专区久久 | 经典杯子蛋糕日剧在线观看免费 | 中文字幕日韩电影 | 四虎影视在线 | 日韩中文字幕一区二区 | 麻豆精品在线观看 | 日本三级视频 | 精品国产精品三级精品av网址 | 黄色一级片 | 草莓视频黄色 | 国产一页 | 国产乱轮视频 | 大美女100%露出奶 | 无码一区二区三区 | 图书馆的女友在线观看 | 精品久久久久久久久久久久 | 国产嫩草影院久久久久 | 午夜激情av| 欧美特黄| 色婷婷电影 | 九九九久久久 | 国产高清在线 | 久久精品99久久久久久 | 国产一区二区精品 | 老司机午夜免费精品视频 | 欧美在线观看一区二区 | 中文字幕久久久 | 秋霞国产午夜精品免费视频 | 色中色综合| 成人啪啪18免费游戏链接 | 国产欧美综合一区二区三区 | aa片在线观看视频在线播放 | 国产无遮挡又黄又爽免费网站 | 日韩爱爱视频 | 亚洲精品在线看 | 国产精品久久久久久久9999 | 一本色道综合久久欧美日韩精品 | 猛男特大粗黑gay男同志 | 秋霞国产 | 国产av一区二区三区精品 | 手机av在线播放 | 短裙公车被强好爽h吃奶视频 | 亚洲欧美日韩在线 | 在线观看免费高清视频 | 51调教丨国产调教视频 | 91视频黄 | 天天爽天天爽 | 日本电影一区二区三区 | 成人av毛片 | 欧美日韩专区 | 婷婷在线视频 | 国产一区二区av | 五月婷婷综合激情 | 人妻一区二区三区四区 | 秋霞毛片 | 黄色av免费在线观看 | 91视频免费播放 | 国产免费观看视频 | 成人精品免费视频 | 男女啪啪免费网站 | 亚洲精品中文字幕乱码三区91 | 樱桃视频污 | 黄色a一级 | 秋霞一区二区三区 | www.亚洲成人 | 99热最新网址 | 亚色网站 | 黄瓜视频在线免费观看 | 成人h视频 | 久久精品视频免费 | 香蕉在线观看 | 免费av网站 | 五月花婷婷 | av片免费 | 成人aaa | 精品欧美一区二区三区久久久 | 91精选 | 在线看片你懂的 | 毛片无码一区二区三区a片视频 | 非洲黑人狂躁日本妞 | 91你懂的 | 欧美激情图 | 日韩在线小视频 | 九九热国产 | a一级黄色片 | 欧美精品综合 | 午夜av福利 | 久久这里 | 亚洲黄色大片 | 又黄又爽的视频 | 日韩中文字幕 | 男女插插视频 | 国产美女精品 | 黄色片视频 | 黄黄的网站 | 黑人性视频 | 久久av高潮av无码av喷吹 | 国产精品欧美日韩 | 欧美视频一区二区 | 黄色三级小说 | 亚洲免费观看高清 | 蜜桃91丨九色丨蝌蚪91桃色 | 国产91丝袜在线播放 | 活大器粗np高h一女多夫 | 久久久电影| 插插插综合 | 精品久久久久久久久久 | 久久国产片 | 性xxxx狂欢老少配o | 日本怡春院 | 国产日韩欧美一区 | 日本在线一区二区 | 亚洲啊v | 国产传媒一区二区三区 | 天天干夜夜 | 黄色片在线看 | 国产麻豆精品一区二区三区 | 亚洲色图一区二区 | 麻豆精品 | 免费在线看黄网站 | 人人爱人人爽 | 17c国产精品一区二区 | 波多野吉衣一二三区乱码 | 一级黄色免费视频 | 夫妻露脸自拍[30p] | 艳妇乳肉豪妇荡乳av无码福利 | 欧美三级大片 | 强行挺进白丝老师翘臀网站 | 特黄aaaaaaa片免费视频 | a级片网站 | 老妇荒淫牲艳史 | 国产肥白大熟妇bbbb视频 | 先锋影音av资源网 | 一区二区三区免费观看 | 久草福利资源 | 又黄又爽的网站 | 精品国产999| 亚洲欧美天堂 | 国产欧美精品 | 精品人妻一区二区三区四区 | 91高潮大合集爽到抽搐 | 黄色av电影 | 色姑娘综合 | 三级伦理片 | 自拍偷拍第一页 | 亚洲综合免费观看高清完整版在线 | 麻豆免费看片 | 年代下乡啪啪h文 | 欧美黄视频 | 成人综合网站 | 欧美日韩成人 | 亚洲成人免费av | 久久久无码人妻精品无码 | 久久午夜影院 | 中文日韩欧美 | 国产精品一区视频 | 中文字幕影院 | 波多野结衣视频在线观看 | 国产欧美综合一区二区三区 | 中文字幕日韩电影 | 性爱视频免费 | 欧美天天干 | 精品成人18| 国产精品无码AV | 狠狠干av| 午夜视频免费在线观看 | 国产黄色av | 极品粉嫩小仙女高潮喷水久久 | 亚洲精品乱码久久久久 | 中文字幕91| 911精品国产一区二区在线 | 中文字幕一二三区 | 中文字幕人妻一区 | 免费在线观看黄色 | 国精产品一区二区三区 | 在线观看不卡av | 国产99久久九九精品无码免费 | 国产做爰免费视频观看 | 做爰无遮挡三级 | 亚洲av永久无码国产精品久久 | 91看片视频 | 中文字幕一区二区三区四区五区 | 久久成人精品视频 | 超碰人人人 | 老司机免费视频 | 午夜视频福利 | 久久午夜精品 | 黄色av免费| 日韩精品免费 | 黄色激情网站 | 日韩有码在线观看 | 91高潮大合集爽到抽搐 | 亚洲色在线视频 | 日韩有码在线视频 | 清纯唯美亚洲综合 | www.久久久 | 欧美日韩国产在线 | 日韩午夜剧场 | 老司机午夜免费精品视频 | 天天干天天干 | 久久久影视 | 中文字幕免费 | av片免费看 | 天天艹| 青娱乐av | 校草调教喷水沦为肉奴高h视频 | 免费看91的网站 | 国产精品区二区三区日本 | 国产一区二区在线看 | 黑人一区二区 | 91免费看视频 | 日韩精品视频在线播放 | 视频你懂的 | 国产精品久久久久久久9999 | 久久91精品| 日韩在线观看 | 午夜激情福利 | 五月天激情电影 | 国产真人做爰视频免费 | 国产91在线视频 | 天天拍天天操 | 欧美日韩在线视频 | 黄瓜视频在线观看 | 日韩五码 | 免费不卡视频 | 韩国三级hd中文字幕的背景音乐 | 亚洲福利电影 | 翔田千里一区二区 | 欧美国产日本 | 好吊一区二区三区 | 成人国产在线 | 一区二区三区不卡视频 | 视频在线看 | 午夜99| 婷婷五月在线视频 | 少妇高潮久久久久久潘金莲 | 欧美性高潮 | 亚洲少妇视频 | 中文字幕一区二区三区四区五区 | 欧美又粗又大aaa片 国产精品美女高潮无套 | 调教撅屁股啪调教打臀缝av | 国产av一区二区三区 | 久久久在线视频 | 一级黄色片网站 | 国产精品自拍视频 | 中文字幕在线观看视频www | 久久亚洲天堂 | 国产精品一二三区 | 在线观看色 | 无码国产精品一区二区高潮 | 午夜在线观看视频 | 日韩第一页 | 秘密基地在线观看完整版免费 | 欧美影院 | 成人在线观看网址 | 欧美日韩免费一区二区三区 | 黄色小视频免费看 | 日韩特黄 | 中文字幕一区二区三区四区五区 | 久久99精品久久久久久水蜜桃 | 中文字幕制服丝袜 | 羞辱狗奴的句子有哪些 | 一区二区免费视频 | 在线观看视频一区 | 国精产品乱码一区一区三区四区 | 香蕉视频A | 91水蜜桃| 日日夜夜综合 | 大尺度做爰呻吟舌吻情头 | 99在线观看视频 | 亚洲欧洲综合 | 午夜激情小视频 | 欧美成人久久 | 明星双性精跪趴灌满h | 久久久精品免费 | 日韩电影一区 | 国产高清视频在线 | 小柔的淫辱日记(h | aaa级片 | 国产哺乳奶水91在线播放 | 饥渴少妇伦色诱公 | 性欧美hd | 国产日韩在线播放 | 欧美三级视频在线观看 | 在线观看免费大片 | 欧美一页| 香蕉成视频人app下载安装 | 91美女片黄 | 日本中文字幕在线 | 欧美老肥婆性猛交视频 | 成年免费视频 | 四虎永久在线 | 国产在线免费观看 | 天码人妻一区二区三区在线看 | 麻豆乱码国产一区二区三区 | 精品国产91乱码一区二区三区 | 饥渴放荡受np公车奶牛 | 亚洲伦理在线 | 黄色激情网站 | 国产精品无码一区二区三区 | 国产成人免费观看 | 日本黄色一级视频 | 91免费短视频 | 日韩福利在线 | 精品人妻一区二区三区浪潮在线 | 国产午夜精品久久久 | 黄色特级毛片 | 男人日女人逼 | 亚洲精品网站在线播放gif | 上海女子图鉴 | 邻居少妇张开双腿让我爽一夜 | 国产精品一区二区人妻喷水 | 亚洲喷水 | www久久| 毛片视频免费观看 | 亚洲狠狠 | v片在线观看 | 黄色在线免费观看 | 久久一二三区 | 麻豆视频在线观看免费网站 | 国产美女在线播放 | 精品一区国产 | 高h校园不许穿内裤h调教 | 黄色片一级片 | 在线免费看毛片 | 亲嘴扒胸激烈视频 | 黄瓜视频在线播放 | 影音先锋制服丝袜 | www黄色 | 九月婷婷 | 欧美极品另类 | h在线播放 | 久久精品99 | 国产一区二区波多野结衣 | 亚洲综合伊人 | 中文字幕乱妇无码av在线 | 先锋影音av资源网 | 国产精品手机在线 | 91偷拍视频 | 九九视频在线观看 | 久热伊人| 欧美69久成人做爰视频 | 黄色网址网站 | 明星双性精跪趴灌满h | 成人片在线播放 | 三级网站在线 | 91porny九色| 亚洲男人的天堂av | gogogo日本免费观看电视剧_第17集 | 午夜av在线播放 | 无码精品人妻一区二区三区漫画 | 操少妇视频 | 精品网站999www | 亚洲精品一区二区三区新线路 | 欧美厕所偷拍 | 国产乱国产乱老熟 | 久久久久久久久久久久久久久久久久 | 亚洲欧美日韩在线 | 久久精品在线 | 婷婷99 | 亚洲精品一区二区三区蜜桃久 | 麻豆精品一区二区三区 | 91嫩草欧美久久久九九九 | 又黄又爽视频 | 久久av一区二区三区 | 久久99精品国产.久久久久久 | 91在线播放视频 | 超碰美女 | 黄色片在线看 | 91爱爱视频 | 亚洲爆乳无码一区二区三区 | 国产对白videos麻豆高潮 | 国产一级黄色大片 | 无码精品一区二区三区在线播放 | 久久久精品免费 | 成人片在线播放 | 中文字幕欧美人妻精品一区蜜臀 | 永久免费av | 亚洲欧美自拍偷拍 | 国产精品欧美日韩 | 午夜久久精品 | 少妇精品无码一区二区免费视频 | 成人黄色一级片 | 亚洲成人av在线 | 饥渴放荡受np公车奶牛 | 岛国一区二区 | av一级片| 一级a毛片免费观看久久精品 | 中文字幕在线观看一区二区 | 91精品人妻一区二区三区蜜桃欧美 | 色九九九 | 国产又大又粗又长 | 强伦人妻一区二区三区 | 淫刑训诫学校(sm)调教 | 99国产精品人妻噜啊噜 | 波多野结衣影片 | 国产又色又爽又黄又免费 | 韩国三级在线 | 国产视频二区 | 蜜桃av在线 | 亚洲成人免费在线观看 | 97久久久 | 专业操老外| 欧美激情视频在线观看 | 综合五月| 香蕉视频网站在线观看 | 男女啪啪网站 | 日本三级吃奶头添泬 | 不卡的av | 色一情一区二区三区四区 | aaa级片| 精品国产网站 | 美女搞黄网站 | 中文字幕视频在线 | 欧美日韩影院 | 中文在线视频 | 国产区一区| 精产国产伦理一二三区 | 91伊人| 欧美日韩国产高清 | 精品一区二区免费视频 | 无码h黄肉3d动漫在线观看 | 香蕉污视频 | 一区二区av | 亚洲色图激情小说 | 人人澡人人澡 | 中国一级黄色 | 色中色av | 樱花影院电视剧免费 | 日韩在线观看免费 | 国产欧美日韩综合精品一区二区三区 | 色婷婷基地 | 麻豆视频在线播放 | 精品影片一区二区入口 | 男人天堂 | 波多野结衣视频在线观看 | 欧美黄色网 | 日韩精品极品视频在线观看免费 | 色导航 | 日韩免费在线观看视频 | 久热99| 99视频在线免费观看 | 精品爆乳一区二区三区无码av | 性免费视频| 桃色av| av网址在线播放 | 后宫秀女调教(高h,np) | 一本大道东京热无码 | 人妻少妇精品视频一区二区三区 | 精品一区国产 | 日韩视频免费在线观看 | 尤物在线播放 | 男女www | 美女破处视频 | 欧美日韩一区二区在线观看 | 国产尤物在线观看 | 免费裸体视频 | 少妇精品| av色在线| 91福利在线观看 | 日韩精品久久 | 91视频免费观看 | 91少妇丨porny丨| 国产精品免费看 | 在线你懂得 | 国产中文字字幕乱码无限 | 亚洲激情影院 | 久久黄色网 | 国产性色av| 一区二区三区免费看 | 久久久久国产一区二区三区 | 亚洲精品久久久久中文字幕二区 | 精品99视频 | 91视频免费 | 四虎在线免费观看 | 亚洲精品在线观看视频 | 谁有毛片网站 | 国产卡一卡二 | 久热精品在线 | 欧美大片视频 | 免费看黄色大片 | 国内精品视频在线观看 | 一本大道东京热无码 | 波多野结av衣东京热无码专区 | 免费裸体网站 | 操碰视频| 高清欧美性猛交xxxx黑人猛交 | 日韩精品一区二区三区 | 国产h视频 | 欧美激情视频在线观看 | 99久久婷婷国产综合精品草原 | 国产一区二区高清 | 麻豆传谋在线观看免费mv | 天天操网| 女生喷水视频 | 精品乱码一区内射人妻无码 | 中文字幕一区二区三区电影 | 在线观看av片 | 欧美18免费视频 | 国产精品美女www爽爽爽视频 | 特黄aaaaaaa片免费视频 | 国产日韩欧美一区 | 国产免费黄色 | 久久久久久久久久久久久久久久久久久 | 猛男大粗猛爽h男人味 | 日本不卡在线 | 黄色av软件 | 国产三级午夜理伦三级 | 成人在线视频免费观看 | 国产精品欧美一区二区 | 成全世界免费高清观看 | 亚洲一区二区三区在线播放 | 国产精品国产精品国产专区不卡 | 成人午夜小视频 | 污视频在线观看免费 | 日本黄色免费 | 久久高清 | 欧美视频一区二区三区 | 九九色| 日韩欧美不卡 | 国产小视频在线 | 国内自拍xxxx18 | 精品在线一区二区 | 国产草草 | 欧美日韩三区 | 诱惑の诱惑筱田优在线播放 | 天天看天天爽 | 国语对白做受按摩的注意事项 | www黄色片 | 青春草视频 | 亚洲无线观看 | 少妇一级淫片免费看 | 亚洲三级在线观看 | 国产一区二区三区免费 | 国产二级片 | 乳女教师の诱惑julia | 啪啪免费网站 | 国产日韩欧美 | 欧美激情一区二区三区 | 日韩精品人妻中文字幕有码 | 蜜桃av一区二区三区 | 无码人妻丰满熟妇啪啪欧美 | 精品黑人一区二区三区在线观看 | 国产日韩欧美在线观看 | 亚洲一级二级三级 | 日韩小视频 | 九色在线视频 | 成人网站免费观看 | 超碰导航 | 插插网站| 91小视频| 国产做爰视频免费播放 | 亚洲色图一区二区三区 | www.香蕉视频| 麻豆app | 涩涩视频在线观看 | 青娱乐av | 欧美精品在线播放 | 天堂中文在线视频 | 久久影院午夜理论片无码 | 麻豆久久久 | 欧美一区二区免费 | 欧美一级黄色大片 | 国产69精品久久久久久 | 精品九九 | 伊人999 | 欧美日批视频 | 最近中文字幕 | 天天综合网站 | 婷婷五月综合激情 | 午夜精品久久久久久久99老熟妇 | av不卡在线 | 激情五月综合 | 按摩害羞主妇中文字幕 | 97免费在线视频 | 午夜专区 | 久久久久久免费视频 | 五月天导航 | 中国一级特黄真人毛片免费观看 | 伊人网在线播放 | 在线观看免费观看 | 麻豆传媒在线观看视频 | 亚洲美女网站 | 18岁禁网站| 免费麻豆 | 黄色av日韩 | 苍老师诊所电影完整版观看 | 秋霞国产午夜精品免费视频 | 99国产在线 | 精品国产精品三级精品av网址 | 在线视频观看 | 日日夜夜免费视频 | 亚洲欧洲在线观看 | 精品国产一区二区三区久久久蜜月 | 樱花视频在线观看 | 日韩无码精品一区二区 | 一级做a爰片毛片 | 久久精品在线观看 | www.精品| 国产高潮视频 | 婷婷中文字幕 | 黄色av电影 | 黄色小视频在线播放 | 黄色一级生活片 | 天天舔天天干 | 国产熟妇与子伦hd | 激情视频网址 | 亚洲综合一区二区 | av网站在线看 | 手机av网| 久久免费精品 | 日本午夜影院 | 脱女学生小内内摸了高潮 | 亚洲视频在线看 | 丰满岳跪趴高撅肥臀尤物在线观看 | 中文字幕+乱码+中文字幕一区 | 亚洲日本欧美 | 亚洲香蕉| 久久777 | 亚洲综合激情五月久久 | 特级淫片裸体免费看 | 天天插天天 | 久久久无码人妻精品无码 | 天天插夜夜操 | 日本私人影院 | 国产理论在线观看 | 国产又爽又黄视频 | 黄色成人在线观看 | 亚洲成人a v | 老妇荒淫牲艳史 | 五月婷婷在线观看 | 欧美日本国产 | 日产久久视频 | 精品人妻一区二区三区日产 | 在线观看视频免费 | 国内精品久久久 | 一本大道久久久久精品嫩草 | 国产精品久久久久毛片大屁完整版 | 午夜久久久| 大色网小色网 | 波多野结衣视频在线播放 | 大色网小色网 | a级片免费看 | 欧美一区二区三区在线观看 | 日本www视频 | 91老师国产黑色丝袜在线 | 欧美福利在线 | 色久综合| 国产中文 | 亚洲激情 | 丁香五香天堂网 | 999精品视频| 色99999| 亚洲自拍偷拍一区 | 国产乱国产乱老熟300部视频 | 日韩毛片| 国产嫩草影院久久久久 | 色综合一区 | 成人高潮片免费视频 | 午夜福利视频 | 中国老熟女重囗味hdxx | 中文字幕精品三级久久久 | 国产精品久久久午夜夜伦鲁鲁 | 黑人操亚洲女人 | 免费观看黄色网址 | 五月婷婷六月丁香 | 黄色三极片 | 天天操天天操 | 亚洲激情一区 | 日本理论片午伦夜理片在线观看 | 天天干天天操天天爽 | av黄色片| 91网站在线看 | 手机在线免费观看av | 免费三片60分钟 | 天天干网| 欧美乱轮| 欧美特黄| 国产人妻精品午夜福利免费 | 国产精品麻豆视频 | 日韩av一级片 | 最新日韩av | 1000部多毛熟女毛茸茸 | 一区二区三区四区在线 | 亚洲午夜视频 | 性欧美高清 | 性欧美video另类hd尤物 | 在线视频a| 中文字幕+乱码+中文乱码91 | av黄色在线观看 | 国产精品第二页 | 亚洲一级黄色片 | 欧美精品一区二区三区四区 | 外国一级片 | www.青青草 | 山外人精品影院 | 欧美激精品 | 麻豆视频在线观看免费 | 日韩免费视频一区二区 | 精品久久99 | 97视频免费在线观看 | 超碰人人人 | 久久综合久 | 久久久在线观看 | 蜜臀久久99精品久久久 | 999视频| 宝贝乖h调教灌尿穿环 | 精品三区| 欧美三级电影在线观看 | 97碰碰碰 | 黑人黄色片 | 强伦人妻一区二区三区 | 国产精品久久久久久久久 | 国产a久久麻豆入口 | 色婷婷av777 日本精品视频在线观看 | 黄色女女| 日本中文在线 | 成人av在线看 | 国产午夜无码视频在线观看 | 欧美一二区 | 亚洲一区在线观看视频 | 亚洲美女视频 | 51调教丨国产调教视频 | 欧美特级毛片 | 手机看片欧美 | 美女一区二区三区 | 四虎在线免费观看 | 国产精品偷乱一区二区三区 | 国产中文字字幕乱码无限 | 国产高清一区二区 | 国产精品久久久久久久久久久久久久 | 91蜜臀| 白浆在线| 国产精品无码久久久久 | 亚洲精品影院 | 狂野欧美性猛交xxⅹ李丽珍 | 日韩欧美精品在线观看 | 成人免费看片'在线观看 | 艳妇乳肉豪妇荡乳xxx | 中文字幕+乱码+中文字幕一区 | 黄色一级片视频 | 国产真人做爰视频免费 | 天天做天天爽 | 日韩成人高清 | 中文字幕一二区 | av不卡在线观看 | 精品欧美乱码久久久久久 | 国产理伦 | 国产精品一品二区三区的使用体验 | 国产精品大片 | 国产精品一二三四区 | 亚洲激情网站 | 黄瓜视频在线观看 | 一级肉体全黄裸片 | 激情六月天 | 欧美精品网站 | 精品黑人一区二区三区在线观看 | 国产激情一区 | 红杏网站 | 狠狠干美女| 日韩免费av | 国产精品无码久久久久 | 风流少妇 | 久久久久久免费视频 | 中文毛片| 视频在线一区 | 亚洲一卡二卡三卡 | 对白刺激theporn | 五月婷婷开心 | 免费色网站 | 97在线免费视频 | 亚洲第四页| 欧美日韩一区二区三区 | 精品在线免费观看 | 特黄一级片 | 无码人妻精品一区二区三区不卡 | 91久久国产综合久久 | 免费视频久久 | 美女隐私免费看 | 精品免费国产一区二区三区四区 | 婷婷综合激情 | 黄色一级片 | 国产亚洲色婷婷久久99精品91 | 狠狠干综合 | 三上悠亚av | av片在线免费观看 | 91伊人| 日韩中文字幕电影 | 国产无限资源 | 91福利网 | 日韩黄视频 | 天堂网中文字幕 | 91免费入口| 国内自拍第一页 | 中文字幕免费观看 | 婷婷色图 | 欧美第二页 | 亚洲经典一区二区三区 | 国产在线不卡 | 99热精品在线观看 | 国产精品无码久久久久 | a级片在线免费观看 | 95566电视影片免费观看 | 日本做爰三级床戏 | 四虎影库 | 男生插女生视频 | 操白丝美女 | 制服丝袜在线播放 | 日韩视频在线免费观看 | 午夜精品视频在线观看 | 激情国产| 欧美一区三区 | 91麻豆精品国产91久久久久久 | 99热最新| 日韩精品极品视频在线观看免费 | 丁香花高清视频完整电影 | 亚洲一区二区三区视频 | 国产成人在线观看 | 成人性生活视频 | 久久国产精品电影 | 日韩黄色网 | 五月婷婷激情综合 | 成人在线观看av | 大地资源影视在线播放观看高清视频 | 水果派av解说 | 蜜桃一区二区三区 | 无码视频一区二区三区 | 特高潮videosexhd| 国产主播福利 | 在线观看污| 亚洲综合区 | 国产福利在线视频 | 电车痴汉在线观看 | 久久黄色网址 | 亚洲色图在线视频 | 国产欧美日韩视频 | 日韩欧美精品在线观看 | 亚洲另类av| 亚洲精品免费看 | 色婷婷在线视频 | 麻豆精品一区二区三区 | 精品一二三| 中文字幕第二页 | 日韩久久电影 | 自拍偷拍亚洲欧美 | 永久免费在线观看 | 噜噜视频 | 国产日韩精品视频 | av高清在线观看 | 色交视频 | 亚洲中文字幕一区二区 | 熟女肥臀白浆大屁股一区二区 | 国产在线不卡视频 | 欧美精品成人 | 黄色在线视频网站 | 图书馆的女友在线观看 | av黄色在线| 欧美在线视频一区 | 人人综合| 干爹你真棒插曲mv在线观看 | 蜜臀久久精品久久久久 | 91综合网| 高中男男gay互囗交观看 | 欧美一区 | 苍老师诊所电影完整版观看 | 不许穿内裤随时挨c调教h苏绵 | 日日夜夜av | 人妻无码一区二区三区 | 日韩av电影在线播放 | 国产激情久久 | 免费h漫禁漫天天堂 | 操日本女人 | 亚洲一级二级 | 成年人小视频 | 人人澡人人爱 | 无码国产伦一区二区三区视频 | 午夜精品久久久久久久 | 国产精品123区| 免费在线看黄网站 | 欧美片17c07.com | 操操网站 | 青青草免费在线 | 日本人和亚洲人zjzjhd | 韩日在线| 丰满人妻一区二区三区免费 | 国产伊人网| 在线观看黄网 | 免费看裸体视频 | 亚洲一卡二卡三卡 | 国产二级片| 久久99国产精品 | 亚洲欧洲av| 国产一区二区在线播放 | 波多野结衣加勒比 | 日批视频免费 | 久久免费观看视频 | 天天干在线观看 | 成人在线视频观看 | 免费视频国产 | 黄网站在线播放 | 一区二区三区国产精品 | 少妇xxxx| 午夜激情视频 | 亚洲理论片 | 操少妇视频 | 欧美激情久久久 | av先锋影音| 成人深夜视频 | 日韩精品一区二区三区四区 | 国产精品久久99 | 波多野结衣vs黑人巨大 | 欧洲精品一区二区 | 干爹你真棒插曲免费 | 97精品人妻一区二区三区香蕉 | 夫妻露脸自拍[30p] | 黄色av免费观看 | 一极毛片 | 亚洲人成在线观看 | 午夜看片 | 中文字幕第三页 | 天码人妻一区二区三区在线看 | 亚洲欧美精品 | 很很干 | 亚洲天堂一区 | 这里只有精品在线观看 | 午夜免费网站 | 午夜精品福利视频 | 天天拍天天干 | 亚洲视频在线免费观看 | 欧美亚洲一区二区三区 | 视频一区二区在线 | 日本69熟| 日本精品视频在线观看 | 国产精品一区在线 | 大地二资源在线观看高清国语版 | 国产又黄又粗 | 日韩在线精品 | 黄色电影在线免费观看 | 久久久久麻豆v国产精华液好用吗 | 91免费视频观看 | 亚洲激情一区二区 | 国产精品久久久久久久午夜 | 插曲在线高清免费观看 | 国产人妻人伦精品1国产 | 波多野结衣人妻 | 97在线视频免费观看 | 中文字幕在线看 | 日本不卡视频 | 91高清在线 | 日韩成人在线播放 | 欧美四区| 黄色免费片 | 国产精成人品 | 91精彩视频 | 欧美日批 | 欧美一区二区三区四区五区 | 美女免费网站 | 日韩福利| 99久久人妻精品免费二区 | 蜜色视频| 久久午夜夜伦鲁鲁一区二区 | 日韩视频免费 | 丁香五香天堂网 | 午夜精品国产 | 欧美黄色网| 波多野结衣视频在线观看 | 插曲免费高清在线观看 | 99热视 | 91精品网站 | 成人免费网站在线观看 | 少妇精品无码一区二区三区 | 9.1成人看片 | 日日夜夜av | 国产一区二区三区四区在线观看 | 国产一级片 | 久久免费电影 | 国产在线第一页 | 四虎影视www在线播放 | 极品一线天小嫩嫩真紧 | 啪啪小视频 | 黄色成人在线观看 | 成人tv| 狠狠干狠狠操 | av黄色小说 | 欧美你懂的 | 久草新视频 | 日本免费观看视频 | 熟女肥臀白浆大屁股一区二区 | 影音先锋制服丝袜 | 欧美少妇视频 | 无码国产精品一区二区高潮 | 国产综合在线视频 | 扒开jk护士狂揉免费 | 日韩精品国产一区二区 | 日本不卡一区二区三区 | 插曲在线高清免费观看 | 97视频免费在线观看 | 日本a在线 | 97香蕉碰碰人妻国产欧美 | 国产99久久九九精品无码免费 | 亚洲一区二区视频在线观看 | 天天爱天天操 | 久久久www | 二级黄色片 | 天天干夜夜 | 久久99视频 | 99自拍视频 | 日韩电影院 | 欧美123区| 很很干 | 成年人黄色 | 免费播放片大片 | 婷婷伊人| 欧美日韩亚洲综合 | 国产1区2区3区 | 91精品国产综合久久久蜜臀九色 | 国产1页| 精品人伦一区二区三区 | 国产精品嫩草影院桃色 | 日本三级日本三级日本三级极 | 亚洲精品国产精品国自产观看浪潮 | 欧美精品久久久久 | 影音先锋在线视频 | 91视频免费| 青青草在线播放 | 一区二区在线观看视频 | 亚洲无码一区二区三区 | www.久久精品 | 91们嫩草伦理 | 婷婷导航 | 一区二区三区久久 | 免费成人深夜 | www视频在线观看 | 无遮挡毛片 | 日本精品视频 | 国产女主播在线观看 | 久久久777 | 精品视频在线免费观看 | 激情 小说 亚洲 图片 伦 | 亚洲黄色在线 | 久久久久免费视频 | 久久久久久久久久久久久久久 | 日韩精品在线视频 | 在厨房拨开内裤进入毛片 | 免费在线成人 | 五月激情综合 | 亚洲一区二区 | 91超碰在线 | 日本一区二区三区在线播放 | 围产精品久久久久久久 | 成人看片 | 色多多导航 | 夜夜操av | 色综合99久久久无码国产精品 | 日韩欧美在线播放 | 偷拍一区二区三区 | 国产色婷婷 | 亚洲老女人 | 91欧美大片| 性爱动漫| 伊人在线视频 | 黄色美女视频网站 | 亚洲精品国产精品国自产观看浪潮 | 色欲av伊人久久大香线蕉影院 | 年代下乡啪啪h文 | 性生交大片免费看 | 成人永久免费视频 | 久久免费看 | 精品国产91 | 国产又粗又大又黄 | 日韩激情一区 | 吻胸摸激情床激烈视频 | 成人免费看 | 91视频播放| 天天爱综合 | www.桃色av嫩草.com | 男人激烈吮乳吃奶爽文 | 在线步兵区 | 五月天婷婷综合 | 精品久久久久久 | 在线观看免费 | 国产精品theporn动漫 | 欧美做受高潮 | 欧美激情在线播放 | 在线观看成人 | 精品久久一区二区 | 欧美黄色一级大片 | 女子spa高潮呻吟抽搐 | 色多多视频在线观看 | 香蕉久久a毛片 | 色婷婷视频| 欧美激情视频一区二区 | 国产精品无码一区二区桃花视频 | 男女互操 | 日本中文字幕在线播放 | 日日操av| 国产一区二区免费 | 国产亚洲天堂 | 在线观看免费 | 国精产品乱码一区一区三区四区 | 亚洲精品第一 | 黄色在线观看视频 | a一级黄色片 | 麻豆三级 | 国产做受入口竹菊 | 欧美一级淫片bbb一84 | 久久免费精品视频 | 午夜一级片 | 午夜av影院 | 国产午夜精品视频 | 久久露脸国语精品国产91 | 国产日韩一区二区三区 | 一区二区三区毛片 | av小说在线观看 | 国产精品suv一区 | 欧美日韩视频一区二区 | 中国丰满老太hd | 香蕉久久网 | 久久精品视频18 | 中文字幕一区二区三区5566 | 欧美日韩精品在线 | 国产乱码一区二区三区 | www.黄色片 | av在线中文| 亚洲天堂男人天堂 | 99热视| 日本黄色免费视频 | 动漫玉足吸乳羞免费网站玉足 | 国产成人在线观看 | 韩国黄色网址 | 日日夜夜狠狠 | 精品人妻二区中文字幕 | 国产资源在线观看 | 精品久久久久久久久久久久久久 | 国产丝袜视频 | 狠狠爱av | 怡红院视频 | 亚洲最大网站 | 激情视频小说 | 免费av播放| 97超碰人人 | 香蕉一区二区 | 国产一区在线免费观看 | 日本一区二区三区在线播放 | 精产国产伦理一二三区 | 奇米在线视频 | 超碰人人草 | 三年大全国语中文版免费播放 | 一级日韩 | 少妇精品无码一区二区免费视频 | 久久国产电影 | 国产一区二区在线免费观看 | 青草视频在线免费观看 | 狠狠影院 | 日本人妻一区二区三区 | av在线中文 | 日本视频在线观看 | 国产无码精品一区二区 | 国产高清av | 涩漫天堂 | 日韩黄色在线观看 | 天堂网在线观看 | 在线观看黄色片 | a视频在线| 亚洲 小说区 图片区 | 国产理论片 | 艳妇乳肉豪妇荡乳av无码福利 | 调教撅屁股啪调教打臀缝av | 国产欧美日韩一区二区三区 | 国产日韩欧美一区 | a点w片 | 四虎毛片 | 少妇免费直播 | 大j8黑人w巨大888a片 | 中文字幕不卡 | 日韩欧美国产一区二区 | 成人性生交大片免费卡看 | 少妇久久久 | 精品一区二区三区视频 | 日韩综合在线 | 欧美综合网| 国产视频一区在线 | 99re视频在线观看 | 国产又黄又大又粗的视频 | 欧美日韩精品久久久免费观看 | aaa一级片| 精品一区在线 | 精品网站999www | 蜜桃av在线播放 | 亚洲精品网站在线播放gif | 一区二区三区免费在线观看 | 波多野结衣伦理 | 少妇精品 | 亚洲日本中文字幕 | 国产不卡视频 | 亚洲一级片 | 国产一区二区三区视频 | 蜜臀99久久精品久久久久久软件 | 日本三级在线 | 国产91久久婷婷一区二区 | 极品一线天小嫩嫩真紧 | 色综合久久88色综合天天 | 久久69| 国产视频网 | 日韩色区 | 国产欧美日韩综合精品 | 欧美婷婷 | 91色视频| 日本不卡一区二区 | 97视频在线 | 特黄一级片| 日韩在线不卡视频 | 一本色道久久综合 | 国产日韩视频 | 久久不卡视频 | 天天搞天天干 | 欧美第五页 | 成全世界免费高清观看 | 性欧美8khd高清极品 | 日本不卡在线视频 | 在线观看黄 | 欧洲美一区二区三区亚洲 | 91av导航| 黄在线观看 | 日韩美女视频19 | 亚洲女人天堂 | 日韩免费在线观看 | 亚色视频 | 91精品电影 | 青青伊人网 | 强videoshd酒醉 | av久久 | 亚洲欧美高清 | 成人h视频 | 黄色大片一级 | 亚洲日本欧美 | 日本一级大片 | 一区二区三区国产精品 | 日本美女裸体视频 | 亚洲午夜av久久乱码 | 国产主播在线播放 | 日本一区二区在线 | 午夜影院在线观看 | 啪啪小视频 | 伊人久操 | 成人免费毛片入口 | 黄在线观看 | 不卡免费视频 | 日本老妇高潮乱hd | 欧美在线a| 亚洲av无一区二区三区久久 | 欧美日韩国产一区 | 成人禁污污啪啪入口 | 亚洲无遮挡 | 中文字幕永久在线 | 草莓视频污app | 中文字幕人妻一区二区三区 | 国产黄色一级片 | 亚洲精品一区二区三区在线 | 日韩黄色一级片 | 欧美伊人网 | 亚洲国产精品va在线看黑人 | 中文字幕综合 | 久久久久免费 | 日本做爰三级床戏 | 在线观看免费黄色 | 欧美一区二区三区免费 | 欧美激情综合 | 艳妇乳肉豪妇荡乳av无码福利 | 91日韩 | 摸大乳喷奶水www视频 | 一区二区三区视频 | 日韩在线影院 | 伊人久久大香线蕉av一区 | 蜜臀在线观看 | 中国av在线 | 欧美熟妇精品黑人巨大一二三区 | 亚洲第一视频 | 非洲黄色片 | 成人在线视频免费 | 三度诱惑免费版电影在线观看 | 男欢女爱久石 | 国产一区二区三区四区 | 欧美又粗又大aaa片 国产精品美女高潮无套 | 免费av片 | 黄色片一级 | 日韩欧美大片 | 欧美操操操 | 久久h| 中文字幕日韩电影 | 色欲av伊人久久大香线蕉影院 | 国产成人在线播放 | 天堂av影院 | 亚洲综合免费观看高清完整版 | 久久在线播放 | 免费成年人视频 | 欧美乱性 | 欧美大浪妇猛交饥渴大叫 | 国产亚洲视频在线观看 | 精品久久久久久久久久久久 | 黄色av免费在线观看 | 国产精品一二 | 亚洲中出 | 福利姬在线观看 | 免费91视频 | 日韩欧美一区二区三区 | 欧美成人一区二区三区 | 天天操夜夜操 | 成人高清在线 | 成人在线看片 | 特级毛片 | 99激情 | aaaa毛片| 日日干视频 | 中文字幕一区二区三区四区五区 | 天堂伊人 | 丁香花在线高清完整版视频 | 啪啪免费网站 | 成人免费高清视频 | 成人黄色电影网址 | 成人av毛片 | 中文字幕在线观看一区二区三区 | 精品免费 | 欧美激情视频一区 | 国产一区二区在线免费观看 | www.天天操 | 日本丰满少妇 | 日韩高清国产一区在线 | 国产成人精品一区二区 | 国产精品第二页 | 超碰偷拍 | 日日操天天操 | 国产高潮白浆 | 国产麻豆视频 | 国产日韩一区二区三免费高清 | 少妇一级淫片 | 亚洲一区亚洲二区 | 差差差30分钟 | 久久在线观看 | 午夜精品一区二区三区在线视频 | 日韩性生活视频 | 成人做爰69片免费看 | 大尺度在线观看 | 日韩不卡一区 | 久草精品在线 | 亚洲熟女乱综合一区二区三区 | 性巴克成人免费网站 | 中文字幕精品无码一区二区 | 国产一区二区三区四区五区 | 蜜桃视频在线播放 | 天天操夜夜操狠狠操 | 香蕉视频网址 | 国产色视频 | 99精品视频在线观看 | 国产一区二区免费 | 91视频黄色| av资源在线播放 | 中国老熟女重囗味hdxx | 给我看免费高清在线观看 | 久久av一区二区 | 精品五月天 | 97人人爱| 国产18照片色桃 | 欧美精品videosex极品 | 一本高清dvd在线播放 | 亚洲午夜在线 | 欧美一级片 | 91视频免费 | 91免费观看网站 | 成人福利电影 | 韩国大尺度电影在线观看 | 99国产精品人妻噜啊噜 | 日韩免费高清视频 | 午夜精品久久久久久久99老熟妇 | 国产精品厕所 | 国产自产21区 | 日韩不卡一区二区 | 天堂网中文在线 | 午夜精品国产 | 污视频在线观看免费 | 亚洲精品一区二区三区蜜桃久 | 亚洲欧洲av| 少妇免费视频 | 北岛玲在线| 欧美大片在线看免费观看 | 精品一区二区三区免费毛片 | 精品少妇一区二区三区 | 久久国内精品 | 二区三区视频 | 美女视频一区 | 国产亚洲色婷婷久久99精品91 | 国产一区二区 | av成人在线观看 | 久久视频在线 | 神马久久久久久 | 日本精品久久久 | 洗濯屋在线观看 | www.一区二区三区 | 波多野结衣视频在线播放 | 又黄又爽视频 | 成人婷婷| 国产老妇视频 | 欧美日韩激情视频 | 一区二区高清视频 | 色综合99久久久无码国产精品 | 99精品在线 | 欧美乱码精品一区二区三区 | av片网站| 国产吃瓜黑料一区二区 | 激情一区二区三区 | 色站综合| 日韩一页 | 五月天导航 | 欧美丰满少妇人妻精品 | 日本免费黄色网址 | 蜜桃av乱码一区二区三区 | 国产一区二区免费 | 在线麻豆| 日韩精品在线视频 | 中文字幕一区二区三区电影 | 视色影院 | 精品黑人一区二区三区在线观看 | 九色网址 | 欧美成人午夜 | 日韩美女视频19 | 在线观看av免费 | 亲嘴脱内衣内裤 | 干爹你真棒插曲免费 | 婷婷午夜精品久久久久久性色av | 国产一区二区三区视频 | 亚洲一二三 | 免费看片91 | 欧美激情视频一区二区 | 日韩理论片 | 波多野结衣久久 | 欧美超碰在线 | 亚洲精品电影 | 日韩成人一区二区 | 亚洲久草 | 日本中文在线 | 国产又粗又猛 | 中文在线观看免费 | 成人9ⅰ免费影视网站 | 一边摸一边抽搐一进一出视频 | 午夜999| 欧美一二区 | 欧美一区二区免费 | 精品国产伦一区二区三区 | 打白嫩光屁屁女网站 | 自拍偷拍中文字幕 | 超碰在线 | 黄在线观看 | 欧美高清视频 | 不卡av在线播放 | 亚洲激情四射 | 麻豆app| 奇米狠狠 | 亚洲精品一区二三区不卡 | 成人免费看片视频 | 99视频网 | 天天综合网站 | 69视频在线观看 | 色欲av无码一区二区三区 | 91久久国产综合久久91 | 国产九色 | 亚洲成人中文字幕 | 亚洲天堂中文字幕 | 不卡av在线| 久久久久久久国产精品 | 中文字幕+乱码+中文字幕一区 | 17c国产精品一区二区 | 婷婷午夜 | 99亚洲精品 | 亚洲iv一区二区三区 | 色老头av| 久热99| 成人免费毛片入口 | a级片免费在线观看 | 久久涩涩 | av电影在线观看 | 国产日韩视频 | 中文字幕在线观看免费视频 | 国产精品毛片久久久久久久 | 精品黑人一区二区三区在线观看 | 久久视频在线免费观看 | 精品一区在线 | 免费看毛片网站 | 国产又粗又猛又爽 | 亚洲资源在线观看 | 精品日韩一区二区 | 欧美高清在线 | 97香蕉| 欧美在线观看一区二区 | 壮汉被书生c到合不拢腿 | 欧美作爱视频 | 高清一区二区 | gogogo高清在线观看视频 | 日韩不卡一区二区 | 91视频播放 | 色偷偷视频 | 欧美日韩大片 | 永久免费在线观看 | 成人香蕉视频 | 老妇荒淫牲艳史 | 爱爱免费视频 | 日本不卡三区 | 五月色综合 | 国产一级黄色电影 | 日韩综合 | 在线免费看黄 | 人人综合网 | 香蕉污视频| 羞羞动漫在线观看 | 欧美一区| 天堂网站 | 翔田千里一区二区 | 精品久久中文字幕 | 亚洲精品色图 | 黄色污污视频 | 欧美黑人xxx| 国产一级一片免费播放放a 99在线观看视频 | 无码少妇一区二区三区 | 美女爱爱视频 | 中文字幕亚洲精品 | 又白又嫩毛又多15p 黄免费看 | 四虎永久网址 | 爱爱视频网址 | 国产精品一区二区不卡 | 免费看黄色的网站 | 蜜桃视频一区二区 | 中文字幕在线免费看线人 | 最新黄网 | 97视频在线播放 | 久久另类ts人妖一区二区 | 色呦呦在线 | 久久久国产视频 | 午夜精品一区二区三区免费视频 | 极品人妻videosss人妻 | 国产精品视频久久久 | 国产熟妇另类久久久久 | 免费三片60分钟 | 成人av影院| 牲欲强的熟妇农村老妇女视频 | 国产超帅gaychina男同 | 亚洲精品久 | 日韩无码精品一区二区 | 曰韩毛片 | 亚洲综合在线视频 | 性生交大全免费看 | 一区二区三区四区五区 | 国产精品偷乱一区二区三区 | 特级西西人体444www高清大胆 | 国产天堂 | 九色视频在线观看 | 国产全肉乱妇杂乱视频 | 无码人妻熟妇av又粗又大 | 在线观看中文字幕 | 黄页在线观看 | 久久毛片 | 免费看91 | 精品久久久久久久久久 | 99热精品在线观看 | 中日韩毛片 | 中文字幕一区在线观看 | 一区二区在线看 | 精品无码一区二区三区 | 麻豆传媒观看 | 已满18岁免费观看电视连续剧 | 成人91 | 黄色av免费看 | 国产福利电影 | 久久er99热精品一区二区 | 国内精品国产成人国产三级 | 久久久久久久久久久久久久久久久久久 | 抱着老师的嫩臀猛然挺进视频 | 久久久精 | 国产精品人人妻人人爽 | 国模私拍xvideos私拍 | 亚洲美女在线观看 | 亚洲人毛茸茸 | 毛片毛片 | 日本一级大片 | 北条麻妃一区二区三区 | 色哟哟国产精品 | 久久久久伊人 | 日韩精品网| 非洲黄色片 | 四虎影院在线播放 | 男人激烈吮乳吃奶爽文 | 看片在线| 中文字幕专区 | 国产精品黄色 | 日韩av大片 | 亚洲午夜久久久久久久久久久 | 他揉捏她两乳不停呻吟动态图 | 国产永久免费 | 免费在线看a | 精品99视频 | 色婷婷亚洲 | 麻豆传谋在线观看免费mv | 日韩精品在线看 | 伊人av在线 | gogogo高清国语完整 | 96日本xxxxxⅹxxx70 | www在线播放 | 手机免费看av | 亚洲人午夜射精精品日韩 | 国产浮力影院 | 一级性爱视频 | 欧美电影一区二区 | 免费毛片网站 | 日日摸日日添日日碰9学生露脸 | 男女做爰猛烈刺激 | 亚洲精品成人av | 黑人黄色片 | 嫩草嫩草嫩草嫩草 | 婷婷在线视频 | 亚洲熟悉妇女xxx妇女av | 欧美精品日韩 | 日韩五码| 少妇高潮一区二区三区99 | 日韩午夜精品 | 一个色综合网 | 尤物网址 | 波多野结衣一二三区 | 韩国伦理在线 | 伊人一区| 狼人综合网 | 亚洲看片| 国产精品一区二区在线 | 男人勃起又大又硬图片 | 在厨房拨开内裤进入毛片 | 日韩免费在线 | 欧美一级二级三级 | 亚洲第一av | 九九视频在线 | av黄色小说 | 麻豆一区二区 | 欧美在线观看视频 | 男女无遮挡xx00动态图120秒 | 国产精品入口 | 久久九九99| 亚洲砖区区免费 | 91在线观看| 樱花视频在线观看 | 99这里只有精品 | 三级在线播放 | 亚洲视频第一页 | 九九久久精品 | 粗长+灌满h双龙h男男室友猛 | 国产午夜激情 | 青青国产视频 | 人人澡人人爱 | 精品人妻二区中文字幕 | 国产国语亲子伦亲子 | 国产免费一区二区三区最新不卡 | 精品在线一区 | 国产精品嫩草69影院 | 操操操操操操 | 欧美黑白配在线 | 九九九精品视频 | 精品夜夜澡人妻无码av | 五月色综合 | 成人黄网免费观看视频 | 成人在线免费 | 日韩av高清 | 日本老妇高潮乱hd | 成人无码av片在线观看 | 17c国产精品一区二区 | 国产欧美在线 | 黄色三级三级三级三级 | www五月天 | 成人一级视频 | 日韩在线免费观看视频 | 让男按摩师摸好爽视频 | 国产综合精品 | 中文字字幕一区二区三区四区五区 | 极品一区 | 免费黄色网页 | 日本成人动漫在线观看 | 在线观看一区 | 国产一级一片免费播放放a 99在线观看视频 | 丁香激情五月 | 亚洲第一成人网站 | 亚洲国产精品一区 | 国产香蕉视频 | 一本加勒比北条麻妃 | 17c国产精品一区二区 | 国产精品一二三四区 | 久久精品亚洲 | 蜜桃av在线播放 | 亚洲激情视频 | www亚洲精品 | 成人免费毛片男人用品 | 日本天堂网 | 人人妻人人澡人人爽久久av | 国产欧美日韩综合 | 国产欧美精品一区二区 | 特级淫片裸体免费看 | 国产不卡一区 | 九九精品视频在线观看 | 亚洲你懂的 | 欧美亚韩一区二区三区 | 免费成人美女女 | 亚洲成人a v | 日韩99 | 国产欧美日韩综合精品一区二区三区 | 国产黄色片在线观看 | 成人做爰69片免费看 | 国产精品一级片 | 国产一级一片免费播放放a 99在线观看视频 | 朝桐光在线播放 | 少妇高潮一区二区三区99 | 成人一区二区三区 | 在线观看黄 | 欧美乱码精品一区二区三区 | av片免费看 | 欧美日韩三级 | 久草网在线 | av片在线免费观看 | 亚洲精品一区中文字幕乱码 | 成人在线一区二区 | 水蜜桃一区二区 | 欧美性猛交xxxx乱大交蜜桃 | 国产福利一区二区 | 爱操视频 | 激情五月综合 | 日本黄网站 | 91麻豆精品国产91久久久久久 | 久久综合影院 | 午夜免费福利视频 | 在线观看中文字幕 | 亚洲a级片 | 奶波霸巨乳一二三区乳 | 玖玖成人| 欧美乱轮 | 晨勃顶到尿h1v1 | 国产激情一区二区三区 | 国产探花在线观看 | 日韩在线影院 | 黄网站免费看 | 中国老熟女重囗味hdxx | 麻豆视频在线免费观看 | 免费看黄色aaaaaa 片 | aaaaa毛片 | 国产资源在线观看 | 91成人在线观看国产 | 色接久久 | 极品新婚夜少妇真紧 | 日韩天堂 | 超碰导航 | 欧美××××黑人××性爽 | 波多野结衣影院 | 亚州成人 | 国产又黄又大又粗的视频 | 91视频播放 | 波多野结衣视频在线观看 | 成人精品av | 欧洲精品码一区二区三区免费看 | 精品少妇一区二区 | 91成人精品 | 末路1997全集免费观看完整版 | 日本www视频 | aaa国产 | 蜜臀在线观看 | 人妻少妇精品视频一区二区三区 | 精品久久一区二区三区 | 中文字幕一区二区三区四区 | 免费视频91蜜桃 | 国产天堂在线 | 无码人妻熟妇av又粗又大 | 日韩国产一区二区 | 久久九九视频 | 精品无码在线观看 | 美足av电影 | 国内老熟妇对白xxxxhd | 中文字幕少妇 | 欧美日韩精品在线观看 | 免费看黄色的网站 | 亚洲精品久久久久 | 亚洲视频第一页 | 精品夜夜澡人妻无码av | 亚洲国产精品无码久久久久高潮 | 大地资源在线观看免费高清版粤语 | 国产成人精品视频 | 风流少妇 | 日韩一卡二卡 | 日韩有码电影 | 中文字幕在线视频观看 | 九一九色国产 | 中文字幕免费在线观看 | gogogogo高清免费完整版视频 | 美日韩一区二区三区 | 日本精品在线播放 | 日本一级一片免费视频 | 在线免费观看黄色 | 日韩在线视频网站 | 91亚洲精品久久久久久久久久久久 | 黄色大片网址 | 麻豆视屏 | 久久精品一区二区 | 日本免费黄色网址 | 国产日韩欧美 | 精品一区在线 | 日本中文字幕在线观看 | www五月天 | 97人人干 | 久草中文在线 | 欧美日韩高清 | 亚洲一区av| 免费看黄色一级片 | 久久精品网 | 在线播放91灌醉迷j高跟美女 | www在线| 天堂va蜜桃一区二区三区 | 日本性爱视频在线观看 | 九色国产 | 日穴视频 | 波多野结衣一区 | 亚洲成人免费 | 精品国产人妻一区二区三区 | 亚洲综合伊人 | 国产视频99 | 午夜激情四射 | 一本色道久久加勒比精品 | 色哟哟av| 国产成人免费 | 久久久久久久久久久久久久久久久久久 | 久久久久无码国产精品一区 | 日本熟妇乱子伦xxxx | 男人和女人免费观看电视连续剧 | 亚洲免费在线 | 日韩欧美在线视频 | 先锋资源av| 国产一区不卡 | 天天干天天操天天爽 | 国产全肉乱妇杂乱视频 | 少妇做爰www | 亚洲四区 | 91免费版网站在线观看 | 久久蜜桃 | zzjizzji亚洲日本少妇 | 成年视频在线观看 | 色综合网站 | 日本三级韩国三级美三级91 | 精品九九 | 精品一区二区三区四区五区 | 伊人久操 | 青青青在线视频 | 国产欧美一区二区三区在线看蜜臀 | 日韩激情在线 | 中国极品少妇xxxxx | 丁香花高清视频完整电影 | 欧美乱妇日本无乱码特黄大片 | 国产日本在线 | 国产女人18毛片18精品 | 午夜激情在线观看 | 日韩精品欧美 | 亚洲精品一区二区 | 欧美xxxx视频 | 日韩性视频 | 男人的天堂影院 | av小说在线 | 日韩有码在线视频 | 91精品国产麻豆国产自产在线 | 一级日韩 | 福利影院在线观看 | 91成人在线观看喷潮动漫 | 私人午夜影院 | 久久久精品国产sm调教网站 | 日本黄色一级视频 | 无遮挡毛片 | 大乳女喂男人吃奶 | 国产怡红院| 少妇xxxx69| 91最新地址 | 2019中文字幕在线观看 | 国产精品久久777777 | 好男人www | 黄色av免费看 | 国产在线拍揄自揄拍无码视频 | 欧美一卡二卡 | 老头老太做爰xxx视频 | 扩阴视频 | 黄黄的网站 | 久草免费在线 | 国产成人在线视频 | 九九热九九 | 成年人免费网站 | 欧美成人免费视频 | 黄色一级片免费看 | 九色在线视频 | 日韩电影免费在线观看中文字幕 | 枫花恋在线观看 | 最好看的mv中文字幕国语电影 | 欧美国产一区二区三区 | 久久综合伊人 | 国产一区二区三区在线视频 | 久草福利视频 | 国产va| av黄色 | 日韩免费视频一区二区 | 亚洲综合第一页 | 粗大的内捧猛烈进出 | 被室友玩屁股(h)男男 | 粗长+灌满h双龙h男男室友猛 | 中文字幕久久精品 | 波多野结衣视频在线观看 | 亚洲精品一区中文字幕乱码 | 成人黄视频| 色屋视频 | 国产精品无码一区二区三区 | 欧美在线视频观看 | 午夜免费小视频 | 国产精品视频免费 | 中文字幕久久久久 | 午夜国产视频 | 婷婷午夜天 | 婷婷免费视频 | 午夜tv| 苏晴忘穿内裤坐公交车被揉到视频 | 亚洲av无码乱码在线观看性色 | 国产精品国产精品国产 | 亚洲视频二区 | 亚洲欧美日韩综合 | 亚洲成人免费观看 | 好爽…又高潮了毛片免费看 | 在线免费观看视频 | 夜夜操天天操 | 国产第1页| 在线一区二区三区 | 精品乱子伦一区二区三区 | 日韩激情网站 | 国产精品免费av | 日本在线一区二区 | 97国产成人无码精品久久久 | 超碰人人艹 | 日韩一卡二卡 | 欧美一二| 欧美一二区 | 香蕉视频色版 | 日日天天 | www亚洲 | 韩国电影大尺度在线观看 | 久久综合热| 黄色网址在线免费观看 | 黄色免费片 | 中文字幕在线观看第一页 | 超碰偷拍| 亚洲日日夜夜 | 国产吃瓜黑料一区二区 | 色在线播放| 黄色三极片| 日本一道本| 中文字幕亚洲综合 | 神马久久久久 | 无码人妻aⅴ一区二区三区玉蒲团 | 国产三级午夜理伦三级 | 超碰成人免费 | 超碰在线| 韩国三级hd中文字幕的背景音乐 | 国内自拍视频在线观看 | 视频在线免费观看 | 风间由美在线观看 | 狠狠干免费视频 | 另类一区 | 91九色国产 | 欧美日韩免费在线观看 | 噜噜噜色 | 亚洲高清视频在线观看 | 亚洲综合另类 | 丰满岳乱妇一区二区三区 | 黄色小说在线播放 |