青云QingCloud發(fā)布多款新品

青云QingCloud是全球首家實現(xiàn)資源秒級響應并按秒計量的基礎云服務商,致力于為企業(yè)用戶提供安全可靠、性能卓越、按需、實時的 IT 資源交付平臺。其產(chǎn)品包含完整的IaaS層組件、PaaS層服務及超融合硬件設備。

QingCloud采用分布式塊存儲系統(tǒng)確保高性能I/O,部署實時異地副本保障數(shù)據(jù)安全,通過云端SDN實現(xiàn)靈活易用的專享私有云服務(VPC),提供塊設備級的備份與恢復,設計實時P2P機器人社區(qū)協(xié)作確保故障無害,支持全透明代理模式的負載均衡器,提供基于自身IaaS平臺構建的PaaS服務,并無限制開放全部功能API.

青云QingCloud 發(fā)布大數(shù)據(jù)基礎平臺

在為逾30,000家企業(yè)提供公有云服務的同時,QingCloud面向中、大型政企用戶提供包含軟硬件產(chǎn)品的云計算整體解決方案,幫助企業(yè)用戶構建和運維更加可靠、敏捷、高效的IT基礎資源調(diào)度平臺,有效降低總擁有成本和運維投入。

2015年7月22日,青云QingCloud首屆用戶大會在北京千禧大酒店,青云CEO黃允松先生開場致辭,他表示:“誕生自一個”用技術改變世界“的理想。從無聞到有口皆碑,QingCloud 是如何用技術征服市場?從公有云平臺到完整的企業(yè)級云計算解決方案服務商,QingCloud 又是又如何一步步踐行自己的愿景?從第三方云服務商到整合了眾多第三方產(chǎn)品的基礎資源與服務平臺,QingCloud如何打造基于開放的基礎云平臺的生態(tài)系統(tǒng)?展望未來,云計算將如何開創(chuàng)一個新的科技創(chuàng)新時代?且聽 Richard 道來。”

青云QingCloud 發(fā)布大數(shù)據(jù)基礎平臺

此次大會上青云發(fā)布會了多個亮點內(nèi)容:QingCloud 對象存儲服務發(fā)布、大數(shù)據(jù)基礎平臺發(fā)布、桌面云發(fā)布 打造企業(yè)辦公解決方案、超融合一體化設備發(fā)布以及高效的研發(fā)管理等等諸多方面。此外會上QingCloud研發(fā)管理經(jīng)驗分享“小而精團隊”的高效運行;知名企業(yè)IT變革與創(chuàng)新先行者分享云計算促進企業(yè)IT轉(zhuǎn)型和業(yè)務創(chuàng)新經(jīng)驗,并與大家探討了互聯(lián)網(wǎng)各行業(yè)明星用戶共話云計算與互聯(lián)網(wǎng)金融、云生態(tài)與互聯(lián)網(wǎng)創(chuàng)業(yè)等當下熱門話題等等。

對象存儲服務發(fā)布

QingCloud 對象存儲服務除了提供足夠的穩(wěn)定性、安全性、高效、便捷以外,還為企業(yè)客戶提供便利的工具,能夠?qū)⑾到y(tǒng)、程序、代碼等快捷地跟QingCloud對象存儲服務對接起來。

海量文件到底怎么存儲呢?

第一,單機來存。用單機掛塊存儲的方式進行存儲,當數(shù)據(jù)的容量和數(shù)量都不可期的情況下,這種方案不可行。

第二,用戶自己做分布式處理。自己做的困難點在哪里?當數(shù)據(jù)量可預見時可以做簡單的處理,假設數(shù)據(jù)量在很長一段時間里都是10T以內(nèi),那么用戶就可以創(chuàng)建十臺主機掛載一些硬盤,做簡單的映射。但當數(shù)據(jù)量不可期時怎么辦?一定會面臨增加節(jié)點或者縮減節(jié)點后的數(shù)據(jù)平衡問題,怎么做平衡?怎么在平衡的時候保證服務的高可用?當數(shù)據(jù)量越來越大時怎么做索引?索引越來越多是怎么做索引層的分布?由于本地文件系統(tǒng)的限制,怎么去最大化的利用空間? 如果存儲海量的小文件如何做合并?合并以后怎么找到它?對合并文件如何做索引?怎么面對高并發(fā)的請求?在這里只是提出一些最基本的問題,事實上如果用戶如果自己去做分布式,遠比這些復雜得多。因此,這種方案對于用戶來說,開發(fā)成本高、運維成本高。

第三,用開源的解決方案。在QingCloud上也有很多用戶用開源的分布式存儲方案,如FastDFS、GlusterFS、HDFS等。但是開源的分布式存儲系統(tǒng)幾乎都是為特定場景而設計的。以GlusterFS為例,它只是做了一個彈性的調(diào)度算法,未對用戶所上傳的文件做任何修改,也就是說,如果你上傳了一個文件A,那么你就會在GlusterFS集群中的某一個節(jié)點的某一塊硬盤或者硬盤分區(qū)的文件系統(tǒng)上,看到文件A原封不動的在那里,因此本地文件系統(tǒng)的那些限制會依然存在。比如存儲大量小文件時性能問題,這也是GlusterFS一直以來被人詬病的地方。比如存儲大文件,文件容量超出GlusterFS集群中任何一塊硬盤(準確的說的話是“盤或者盤的分區(qū)”,但為了不那么技術細節(jié),我們這里姑且就用“盤”吧)的空間時會怎么樣,會失敗,因為GlusterFS未對大文件沒有做任何切割,因此就會面臨小文件和大文件存儲的問題。用開源方案還會面臨另外兩個問題,二次開發(fā)成本高和運維成本高,需要對系統(tǒng)有足夠深入的了解才能做二次開發(fā),才能夠在出故障時快速恢復。

第四,使用第三方對象存儲服務。用戶的計算資源是QingCloud的, 存儲是第三方的存儲,這一方式的問題在于一方面給用戶造成了業(yè)務上的分離,另一方面數(shù)據(jù)傳輸需要借助公網(wǎng),延時會很高,帶寬成本也高。對于用戶來說這種方案不完美。

我們看到用戶的這些痛點,為了解決它們,QingCloud推出了對象存儲服務。下面來看一下QingCloud對象存儲的特點:

第一,不限制。我們要做公有的服務,無法判斷用戶的業(yè)務場景,因此我們對數(shù)據(jù)的類型、大小、數(shù)目無限制。為了在用戶業(yè)務高并發(fā)的情況下,QingCloud對象存儲系統(tǒng)可以正常支撐用戶的業(yè)務,我們在流量、并發(fā)方面也沒有限制。

第二,無限擴展。無限擴展是我們做對象存儲的初衷,一方面在空間上可以無限的水平擴展,另一方面在時間和效率上,性能隨容量線性提升。

第三,數(shù)據(jù)安全。數(shù)據(jù)安全是我們做存儲的底線,不能讓用戶丟數(shù)據(jù)。

第四,監(jiān)控。監(jiān)控分多個維度,如API調(diào)用次數(shù)、請求的流量、數(shù)據(jù)的容量等。在監(jiān)控周期上,我們系統(tǒng)可以做到實時的監(jiān)控,但對于對象存儲系統(tǒng)來說,實時監(jiān)控的意義并不大,我們將監(jiān)控的展現(xiàn)粒度設置為了1小時。

第五,易用。在做對象存儲接口設計時,我們完全遵循了HTTP協(xié)議規(guī)范,以及RESTful里面的約定,最終展示給用戶的是RESTful的API,用戶可以通過HTTP和HTTPS的方式訪問,同時我們會提供SDK、命令行工具,以及QingCloud控制臺上的圖形界面。

第六,訪問安全。在安全性方面我們也做了很多工作:

請求驗證基于對稱加密技術, 與QingCloud IaaS的請求驗證方式一致,對于用戶而言,用同一套API密鑰既可以訪問QingCloud的IaaS,又能訪問對象存儲服務。

我們支持HTTPS和HTTP,用戶可以根據(jù)自己的需求選擇使用哪一種方式。

訪問權限控制,我們做了存儲空間級別的訪問控制列表,所賦予權限的實體可以到單個用戶級別。權限包括私有、公開只讀、公開讀寫、面向某個或某些用戶的讀、面向某個或某些用戶的讀寫等。

跨域訪問控制。主要為了防止在網(wǎng)頁中嵌入的惡意代碼,進行惡意數(shù)據(jù)上傳。

第七,與計算緊密結合。QingCloud作為基礎云服務商,與其他第三方對象存儲提供商不同,QingCloud的對象存儲可以與自身的計算緊密結合。因為QingCloud IaaS就是跨區(qū)域部署的,而存儲應該和計算資源盡可能的接近, 以保證用戶系統(tǒng)的完整性,方便用戶的管理與部署。因此在做對象存儲時,我們也采取了多區(qū)域部署的路線,當用戶的計算資源和對象存儲空間在同一個區(qū)時,數(shù)據(jù)通過內(nèi)網(wǎng)傳輸,對于用戶而言有兩個好處,低延時和低成本。

大數(shù)據(jù)基礎平臺發(fā)布

基于QingCloud自身IaaS平臺的優(yōu)點,QingCloud大數(shù)據(jù)基礎平臺可以提供穩(wěn)定、可靠、高可用、在線擴容、在線/離線遷移、監(jiān)控告警等服務。所有的大數(shù)據(jù)服務都是多樣化的、組件式的。目前發(fā)布的有ZooKeeper、Kafka、 MongoDB、Spark等,接下來陸續(xù)會發(fā)布Hadoop、HBase、Cassandra、Storm等。用戶可以很方便的構建出適合自己業(yè)務需求的大數(shù)據(jù)解決方案。

隨著互聯(lián)網(wǎng)尤其是移動互聯(lián)網(wǎng)的蓬勃發(fā)展,數(shù)據(jù)量呈爆炸式增長,數(shù)據(jù)來源和格式也多樣化,我們對數(shù)據(jù)處理的實時性要求也越來越高,傳統(tǒng)的IT基礎架構已經(jīng)無法滿足我們的需求。比如,我們不能期待MySQL存放幾百T的數(shù)據(jù),性能還沒有損耗。這時我們需要支持PB級別的分布式存儲和分布式計算框架,而這些分布式系統(tǒng)要支持伸縮以適應數(shù)據(jù)量的急劇變化,沒有底層基礎架構的支持,大數(shù)據(jù)只能是紙上談兵,因此,基礎架構是大數(shù)據(jù)的基石。

如何部署大數(shù)據(jù)基礎平臺?要么部署在物理機上,要么部署在云平臺上,具體采用哪種方式,完全取決于大數(shù)據(jù)的特點。大數(shù)據(jù)的特點有哪些?第一,不可預期的海量數(shù)據(jù)。第二,數(shù)據(jù)量是在急劇變化的。比如說用戶行為的跟蹤與分析,白天我們要收集處理大量的數(shù)據(jù),晚上這些數(shù)據(jù)會下降很多。第三,很多時候是一次性數(shù)據(jù),處理完畢以后平臺就不需要了。

面對這些場景,物理機的方案是捉襟見肘的,無法做到彈性伸縮,部署也不靈活,而且要提前購買大量的資源。而這些正是云計算的優(yōu)勢,云計算能夠彈性伸縮,需要時創(chuàng)建,不需要時銷毀,并且這些操作只需要點擊鼠標、幾分鐘之內(nèi)即可完成,甚至可以使用AutoScaling、自動化這些操作。因此,云計算才是大數(shù)據(jù)基礎平臺最好的部署方案。當然,也會有人質(zhì)疑云計算的性能和穩(wěn)定性的問題。

我們先來看性能。之前有用戶想把大數(shù)據(jù)平臺部署到QingCloud上,稱性能損失50%以內(nèi)都可以接受,我們聽到這句話既開心又擔憂,開心在于QingCloud的性能是無限的接近于物理設備的性能,50%很容易滿足。擔憂在于用戶的要求太低,很容易被其他云服務商誤導。

關于穩(wěn)定性,很多用戶測試后發(fā)覺在云上跑大數(shù)據(jù)是不穩(wěn)定的,其表現(xiàn)形式是虛機會無緣無故的宕掉,實際上這跟IaaS層的健壯性有關,跟平臺的設計有關,如果這些都能做好,云上大數(shù)據(jù)是更穩(wěn)定的。

如何在云上提供穩(wěn)定、可靠和高性能的大數(shù)據(jù)服務呢?首先需要強調(diào)我們是在云平臺上來做產(chǎn)品和服務的,要充分挖掘云的特點,比如說Hadoop的存儲副本因子默認是3,設計的初衷是防止兩個副本所在的機架出問題, 而把第三個副本放在另外一個機架上,在云上你是不知道你的虛機跑在哪個機架上的,所以第三個副本在云上是沒有意義的,而去掉這個副本,不僅節(jié)約1/3的存儲空間,性能還能得到提升。去掉這個副本帶來的高可用和穩(wěn)定性的問題,完全可以由IaaS做保障。因此,在云上兩個副本是足夠的。

從實踐應用來看,關于Spark主節(jié)點的高可用問題,官方文檔推薦用ZooKeeper管理多個Spark主節(jié)點, 它的故障切換時間是1-2分鐘,如果云上部署Spark這種方式不可取。因為創(chuàng)建虛機的時間是幾秒鐘,加上Spark系統(tǒng)恢復時間不到一分鐘,我們用重構Spark主節(jié)點的方案時間在1分鐘左右,甚至比官方推薦方案時間更短,而且可以節(jié)省3個ZooKeeper節(jié)點和1個Spark主節(jié)點。這說明云上做大數(shù)據(jù)是具備天然優(yōu)勢的,我們需要的是創(chuàng)新性的思維。

Spark是一個基于內(nèi)存的分布式計算系統(tǒng),相比Hadoop,它在性能上比Hadoop要高100倍。實際上Spark的核心是它的RDD計算模型以及基于全局最優(yōu)的DAG有向無環(huán)圖編排方式,而MapReduce是基于局部的。這就導致了即使是基于硬盤計算,Spark也要比MapReduce快十倍左右。并且Spark在RDD的基礎之上也封裝了很多有用的組件,比如說處理結構化數(shù)據(jù)的Spark SQL,流式計算的Spark Streaming,機器學習, 圖計算等等。這些工具不僅性能優(yōu)越,用戶體驗也非常棒。這對數(shù)據(jù)科學家以及從事社交網(wǎng)絡的公司來說是無法抗拒的誘惑力,你只需要幾行代碼就可以運行經(jīng)典成熟的機器學習算法算出結果。

我們在提供Spark全棧服務的同時,還對Hadoop做了集成,將Spark work節(jié)點運行在Hadoop DataNode節(jié)點上。同時我們也會兼顧了用戶數(shù)據(jù)存在遠端的情況,比如說用戶的數(shù)據(jù)可以通過Kafka傳輸進來,可以通過MongoDB數(shù)據(jù)庫存儲進來的等等。除此之外,由于QingCloud自身IaaS平臺的優(yōu)點,我們的大數(shù)據(jù)基礎平臺可以提供穩(wěn)定、可靠、高可用、在線擴容、在線/離線遷移、監(jiān)控告警等服務。所有的大數(shù)據(jù)服務都是多樣化的、組件式的,用戶可以很方便的構建出適合自己業(yè)務需求的大數(shù)據(jù)解決方案。

青云QingCloud大數(shù)據(jù)基礎平臺服務是由一系列可自由組建端到端行業(yè)解決方案的部件構成的,目前發(fā)布的有ZooKeeper、Kafka、 MongoDB、Spark等,接下來陸續(xù)會發(fā)布Hadoop、HBase、Cassandra、Storm等。QingCloud提供的都是配置進行過優(yōu)化的原生的中間件,這樣用戶可以無縫切換已有的大數(shù)據(jù)應用到QingCloud.

超融合一體化設備開啟融合3.0時代

QingCloud的超融合一體機預集成了QingCloud虛擬化平臺、云平臺管理軟件、SDN網(wǎng)絡和分布式存儲,支持硬件的自動發(fā)現(xiàn)與配置,支持通過簡單的增加節(jié)點、 連線、 上電完成云平臺的部署和擴容。實現(xiàn)簡化IT,一步上云的目的,開啟融合3.0時代

從服務器角度來看,從大型機進化到小型機再到塔式服務器,互聯(lián)網(wǎng)公司最早使用塔式服務器組建數(shù)據(jù)中心來滿足他們的需求,但是非常難以維護。隨著業(yè)務的需求和服務器的發(fā)展,誕生了刀片服務器、存儲和網(wǎng)絡,通過機架將它們放在同一個機房,從而誕生了現(xiàn)在的IDC.再往右邊看,未來的數(shù)據(jù)中心將會是軟件定義的數(shù)據(jù)中心,所有機架上的設備沒有區(qū)別,沒有網(wǎng)絡設備、沒有存儲設備、沒有刀片機,所有的硬件能力都將會融合在一起。

從架構設計角度來看,在融合1.0時代,僅僅解決了快速上架的問題, 把不同廠家的硬件裝在一個盒子里,搭一個硬件積木。而實際上,所有的硬件及功能都是割裂的, 用戶仍然需要面對多個管理界面并分別維護IP和FC網(wǎng)絡。企業(yè)為了滿足性能需求只能不斷的通過縱向擴展的方式升級硬件設備,但存儲與計算的分離設計限制了擴展性及靈活性。

融合2.0時代,完全去除了共享SAN架構,通過分布式文件系統(tǒng)提供Server SAN,融合2.0擺脫對存儲硬件的制約,但是企業(yè)還需要在上面重新部署所有的軟件,這些軟件都是割裂的,無法實現(xiàn)一個完整的云計算環(huán)境。

QingCloud的超融合一體機預集成了QingCloud虛擬化平臺、云平臺管理軟件、SDN網(wǎng)絡和分布式存儲,支持硬件的自動發(fā)現(xiàn)與配置,支持通過簡單的增加節(jié)點、 連線、 上電完成云平臺的部署和擴容。實現(xiàn)簡化IT,一步上云的目的,這就是融合3.0 .

本次發(fā)布的QingCloud的超融合一體機有四種型號,分別是F系列(全閃存 – 極致存儲性能)、S系列(高性能存儲 全SATA)、NL系列(高容量存儲)、C系列(SDN網(wǎng)關及管理)。

我們簡單介紹一下F系列(全閃存 – 極致存儲性能)和S系列(高性能存儲 全SATA)性能參數(shù)。

F系列,通過雙節(jié)點的2U服務器最大可提供288個VM資源池的規(guī)模,而且閃存使用的是Flash而不是SSD,免除了RAID可能面臨的瓶頸問題。通過PCIe總線直接將Flash和CPU連接起來,降低物理部署對于閃存的性能開銷,可以在一臺F系列提供60萬的IOPS,傳統(tǒng)的存儲柜大概能提供40萬的IOPS,如需更多IOPS,橫向擴展即可。另外通過采用高密度的方案,我們節(jié)省了50%的布線,同時減少了16%電源的消耗。

S系列,在4U的空間里提供了4個節(jié)點集群,最大支持384個虛擬機,擁有56個熱插拔SAS盤位,最大提供100TB存儲容量。同時拋棄背板,采用直連的方式,每個硬盤的磁盤通道都是6Gb,共提供256Gb/s的磁盤帶寬,完全無擁塞的設計。在電源上也是采用了共享電源方案,節(jié)能16%以上, 標準配置下的功耗在900w~1250w,是非常節(jié)能的方案。

總的來說,QingCloud的超融合一體機具備以下特點:第一,零干預,開箱即用,自調(diào)優(yōu);第二,統(tǒng)一,所有設備都可以在同一控制臺監(jiān)控和管理;第三,P2P架構,免除單點故障,支持無限的水平線性擴展;第四,融合3.0,具備完整的IaaS能力;第五,低成本,低消耗,低空間占用。

使用QingCloud超融合系統(tǒng)后,我們發(fā)現(xiàn)QingCloud自身的能耗、空間和布線分別降低16%、50%和50%,節(jié)省了大量的人力、運營成本。

總的來說,QingCloud超融合一體機可以有效幫助企業(yè)簡化其IT架構,從而輕松構建靈活、彈性、高效的云計算平臺,降低企業(yè)IT的支出與運維管理成本,在企業(yè)的IT升級、信息化改造、桌面云、數(shù)據(jù)中心建設等場景中,QingCloud超融合一體機將是企業(yè)IT基礎設施的首選產(chǎn)品。

免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。

2015-08-18
青云QingCloud發(fā)布多款新品
青云QingCloud是全球首家實現(xiàn)資源秒級響應并按秒計量的基礎云服務商,致力于為企業(yè)用戶提供安全可靠、性能卓越、按需、實時的 IT 資源交付平臺。其產(chǎn)品包含完整的IaaS層組件、PaaS層服務及超融合硬件設備。QingCloud采用分布式塊存儲系統(tǒng)確保高性能I O,部署實時異地副本保障數(shù)據(jù)安

長按掃碼 閱讀全文