技術(shù)優(yōu)勢(shì)
TECHNICAL
Calin數(shù)據(jù)采集
零拷貝內(nèi)存
應(yīng)用層和驅(qū)動(dòng)之間進(jìn)行的數(shù)據(jù)交換全部采用零拷貝技術(shù)
讓采集應(yīng)用曾訪問(wèn)網(wǎng)卡內(nèi)核空間的內(nèi)存，如網(wǎng)卡訪問(wèn)自己地址空間一樣
沒(méi)有系統(tǒng)調(diào)用的上下文切換時(shí)間，沒(méi)有加鎖開銷
高速網(wǎng)絡(luò)處理
采用自主創(chuàng)新的高性能處理架構(gòu)，海量網(wǎng)絡(luò)數(shù)據(jù)包被抓取，優(yōu)先調(diào)度和處理，不丟包、不累計(jì)
多核數(shù)據(jù)歸并
每個(gè)鏈接的數(shù)據(jù)包按照分發(fā)規(guī)則分發(fā)到不同CPU上進(jìn)行處理
同一個(gè)連接、同一個(gè)用戶的數(shù)據(jù)包只會(huì)分發(fā)到同一個(gè)CPU
對(duì)用戶和連接資源的處理都是無(wú)鎖的高性能內(nèi)存訪問(wèn)方式
業(yè)務(wù)內(nèi)存保障
把操作系統(tǒng)的內(nèi)存分為了兩部分，一部分由操作系統(tǒng)進(jìn)行管理，另外一部分則構(gòu)成關(guān)鍵業(yè)務(wù)內(nèi)存池
在操作系統(tǒng)層面進(jìn)行隔離，保證業(yè)務(wù)程序有充分內(nèi)存進(jìn)行業(yè)務(wù)處理，保障數(shù)據(jù)包暢通
業(yè)務(wù)深度識(shí)別
能利用DPI和DFI技術(shù)，對(duì)數(shù)據(jù)包解析，識(shí)別用戶面數(shù)據(jù)中包含的業(yè)務(wù)類型，并提取相關(guān)元數(shù)據(jù)字段
設(shè)備能夠支持采用定期或是補(bǔ)丁去方式更新業(yè)務(wù)識(shí)別能力，持續(xù)跟蹤各種應(yīng)用的發(fā)展和演進(jìn)
Mintaka的大數(shù)據(jù)平臺(tái)
高可擴(kuò)展性:
Mintaka大數(shù)據(jù)平臺(tái)所采用的Hadoop是一個(gè)高度可擴(kuò)展的存儲(chǔ)平臺(tái)，Hadoop可以存儲(chǔ)和分發(fā)橫跨數(shù)百個(gè)并行操作的廉價(jià)的服務(wù)器數(shù)據(jù)集群。不同于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)不能擴(kuò)展到處理大量的數(shù)據(jù)， Hadoop是能給企業(yè)提供涉及成百上千TB的數(shù)據(jù)節(jié)點(diǎn)上運(yùn)行的應(yīng)用程序。
成本效益:
Hadoop還為企業(yè)用戶提供了極具成本效益的存儲(chǔ)解決方案。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)的問(wèn)題是，它并不符合海量數(shù)據(jù)的處理器，不能夠符合企業(yè)的成本效益，而且有些商業(yè)數(shù)據(jù)庫(kù)使用費(fèi)用非常昂貴。許多公司不得不假設(shè)那些數(shù)據(jù)最優(yōu)價(jià)值，然后根據(jù)這些有價(jià)值的數(shù)據(jù)設(shè)定分類，如果保存所有的數(shù)據(jù)，那么成本就會(huì)過(guò)高。雖然這種方法可以短期內(nèi)實(shí)現(xiàn)工作，但是隨著數(shù)據(jù)量的增大，這種方式并不能很好的解決問(wèn)題。Hadoop的架構(gòu)則不同，其版權(quán)使用是免費(fèi)的，其被設(shè)計(jì)為一個(gè)向外擴(kuò)展的架構(gòu)，可以以一般的x86服務(wù)器集群就提供數(shù)百TB的存儲(chǔ)和計(jì)算能力，經(jīng)濟(jì)地存儲(chǔ)所有公司的數(shù)據(jù)供以后使用，節(jié)省的費(fèi)用是非常驚人的。
最大化數(shù)據(jù)的價(jià)值:
Hadoop可以容納移動(dòng)運(yùn)營(yíng)商中的不同類型的數(shù)據(jù)，從這些數(shù)據(jù)中產(chǎn)生價(jià)值，這意味著移動(dòng)運(yùn)營(yíng)商可以利用Hadoop的靈活性從用戶行為、用戶位置、用戶標(biāo)簽等數(shù)據(jù)中獲得寶貴的商業(yè)價(jià)值，并拓展原來(lái)的通信業(yè)務(wù)到各種大數(shù)據(jù)運(yùn)營(yíng)業(yè)務(wù)，與政府及商業(yè)機(jī)構(gòu)開展各種業(yè)務(wù)合作。
海量數(shù)據(jù)的統(tǒng)計(jì)分析:
海量數(shù)據(jù)的統(tǒng)計(jì)分析：Hadoop的架構(gòu)可以以一般的x86服務(wù)器集群就提供數(shù)百TB的存儲(chǔ)和計(jì)算能力，其被廣泛應(yīng)用于各大互聯(lián)網(wǎng)公司，包括百度、阿里巴巴及淘寶。
實(shí)時(shí):
集成Spark Streaming流計(jì)算技術(shù)，滿足10分鐘實(shí)時(shí)指標(biāo)統(tǒng)計(jì)；集成HBase滿足歷史數(shù)據(jù)及詳單查詢響應(yīng)2秒以內(nèi)。
穩(wěn)定:
集群在同時(shí)垮掉2個(gè)節(jié)點(diǎn)情況下不影響生產(chǎn)。
橫向擴(kuò)展:
集群支持在線、橫向擴(kuò)展。
資源的靈活調(diào)度、可隔離及均衡利用:
利用MESOS進(jìn)行資源的靈活調(diào)度及計(jì)算資源的均衡應(yīng)用，對(duì)比于YARN，MESOS可以隔離實(shí)時(shí)處理模塊及非實(shí)時(shí)處理模塊的計(jì)算資源，以保證實(shí)時(shí)處理模塊的時(shí)效性，避免非實(shí)時(shí)處理模塊對(duì)實(shí)時(shí)處理模塊的影響。
智能規(guī)則引擎:
能規(guī)則引擎支持對(duì)于用戶標(biāo)簽智能統(tǒng)計(jì)及分析，智能規(guī)則引擎使用Spark MLLib技術(shù)，其支持四種常見的機(jī)器學(xué)習(xí)問(wèn)題：二元分類、回歸聚類以及協(xié)同過(guò)濾、同時(shí)也包括一個(gè)底層的梯度下降優(yōu)化基礎(chǔ)算法來(lái)智能地計(jì)算用戶標(biāo)簽，以盡可能地精確地為各種業(yè)務(wù)定位目標(biāo)用戶。