LOGO
联系技术专家
联系销售经理
申请本地/远程演示
基于旁路流量数据全生命周期的 可视化管控
SDN带来的NPB组网能力,深刻的流量数据统一 管理变革
SDN
流量快照-网络安全/运维的上帝之手
旁路流量采集场景之“微突发”解决之道
其应若响,快速交付满足应急需求
流量数据管理之道
流量数据去重&路径分析 – 完美解决之道
流量数据管理-等保2.0中最佳应用
回溯分析完美应用等保2.0
流量数据管理需求演进之路
云计算网络流量数据管理之道
"报文去重"在"网络可视化分析"中的应用

       最近据某金融行业用户反馈,新上线的BPM业务性能分析系统交易成功率持续偏低,严重影响到KPI指标考核。根据初步排查,怀疑从前端采集过来的镜像流量数据在采集节点或者传输过程中存在丢包的情况,导致BPM业务分析引擎接收到的数据不全,最终分析引擎在做数据还原与协议重组时产生失败,进而影响到BPM业务分析系统的分析结果。

原因分析

当BPC业务性能分析系统出现异常,运维管理人员在做故障定位与排查时,面对NPB设备数千条各种需求维度的流量转发策略时往往变得束手无策,原因在于NPB设备策略的条目数量较多,且某些策略之间存在优先级,再加上数据分发需求的复杂性,策略与端口之间又存在交叉引用,使流量数据的分发与管理就变得更加复杂。有的时候为了满足某分析工具的流量获取需求(如护网行动、应急演练、方案验证),新增加的策略与原有的策略需求互斥,牵一发而动全身,所有转发策略均受到影响。为什么会出现上述情况,其根本原因就是传统NPB缺乏足够的旁路流量数据可视化管控手段。

NPB部署规模及数量增加,导致流量分发管理变得更加复杂

早期由于用户旁路分析工具种类及数量有限,采用单台或少量几台NPB设备便可完成基础数据的采集与分析工作,采集设备与旁路流量的分发管理通过单机配置便可完成。随着旁路分析工具的增多,以及用户业务网络升级扩容,采集接入的节点也成倍增长,所需要的NPB数量也不断增加,NPB的部署也由早期的单台部署演变成大规模组网部署,而此时基于单台NPB独立的管理与配置方式,导致策略配置效率低下,且流量数据转发逻辑梳理将变得更加复杂。
  • 流量分发策略条目数成倍增长,策略管理变得更加复杂
由于后端分析工具类型不断增多,NPB所配置的策略条目数量成倍增长,且不同分析工具所需要的原始流量数据需求不同,往往一份原始流量数据需要面临多种预处理与多个目的端口输出的需求,导致流量分发策略的配置与管理变得更加复杂。
  • 流量数据输入、输出映射关系难以梳理
在多台NPB组网部署场景下,多个数输入接口采集流量数据,经过中间NPB设备处理再转发,流量数据的传输路径变得交叉、重叠,整个分发过程变得隐蔽且复杂。传统的解决方案由于可视化管理能力有限,在面对跨设备、多端口交叉复制与策略关联引用时,流量数据的采集来源、预处理动作、输出目标均难以梳理,进而无法准确定位输入与输出接口之间的映射关系,旁路流量数据的输入与输出成为管理的空白。
  • 传统NPB基于“接口”的流量输入与输出缺乏精细化管理手段
NPB通过流量分发策略实现在多个接口间转发流量数据,输入接口、中间传输接口、输出接口可以同时被多条分发策略所引用,传统的NPB基于“接口”的管理视角较为粗放,不能对某个接口所命中的策略及策略流量占比、流量趋势等关键信息进行监控与分析,缺乏精细化管理手段。

新一代基于旁路流量数据的可视化管理解决方案

基于上述在传统NPB流量采集过程中遇到的流量管理等难点问题,成都数维公司新推出了针对流量数据从采集到输出全生命周期的可视化管控解决方案。完美地解决了对旁路流量数据的来源、去向管理等难题,实现了流量数据按需预处理与灵活、精准调度输出,为旁路流量数据的可视、可控、可管提供强有力的技术支撑,进一步提升了用户的管理效率与用户使用体验感。

一、面向旁路流量数据的全局可视化管理机制

融合先进的SDN技术及先进的NP+ASIC的芯片构建科学的流量数据采集网,应对日益增长的流量数据需求,日益复杂的流量数据位置、内容的管理需要,采用“面向流量数据”的设计方式,一切从“流量数据”本身出发,对企业网络内物理网络和云网络的流量数据做全方面的采集,实现流量数据全面覆盖,消除监控盲点。并且基于业务数据类型梳理流量数据,以不同的业务交互数据流具有的数据敏感特性、业务交互特征、协议特征具有良好的聚合性,以对不同的业务系统建立不同的分类流量数据,并以不同的分类进行流量数据的分发管理控制,以“最小化数据权限”原则向不同的分析工具提供流量数据,从而降低流量数据旁路泄密的安全风险,提升流量数据的安全性。

二、入接口视角分发可视化

以流量输入接口为视觉对象,关联展示出此接口中的流量分发到了哪些输出接口和对应的监控分析系统,向用户直接呈现流量的输出目标。

通过流量管控平台统一展现用户业务网络、采集网络、分析系统拓扑示图,通过该视图可快速定位流量采集输入源数据最终通过哪些接口输出至后端分析系统,实现对旁路流量数据的输入源以及最终去向的实时可视化展示与管控,为运维管理人员提供更加便捷、高效、智能的流量管控手段。

【统一拓扑展示视图】

【接口流量统计】

三、采集设备中间互联链路流量可视化

以设备间互联链路为视觉对象,即可从宏观角度查看该链路的整体流量趋势状态,也可从微观角度查看该链路的流量组成来源、大小趋势、关联的流量策略,让用户可精确掌握各流量成分的变化态势。

基于采集网内互联链路,在集中可视化展现视图上可实时展现每个目标的流量当前状态、包长分布、流量趋势图,让用户对流量数据状态一目了然,同时对全网的数据状态有直观的了解。

四、转发策略全网路径可视化

以流量策略为视觉对象,向用户直观展现流量数据的输入来源、预处理动作、传输路径、输出目标对象,向用户透明展示流量从输入到输出全过程。

在流量转发策略配置与管理方面,摒弃了传统分别登录每台设备配置与管理的繁琐操作。通过我司所提供的流量可视化管控平台,用户可以基于整个流量采集网络的视角,从宏观层面跨设备按需定义流量分发策略,实现流量转发策略的高效批量配置与集中下发。

五、出接口视角分发可视化

通过对输出接口的可视化监控与分析,实时展示出接口策略命中信息统计。实现以不同的业务系统建立不同的分类流量数据,并以不同的分类进行流量数据的分发管理控制,以“最小化数据使用权限”原则向不同的分析工具提供原始流量数据,从而降低流量数据安全风险,提升流量数据安全性。

以流量输出接口为视觉对象,关联展示出此接口中的流量组成来源、大小趋势、关联的流量策略,让用户清晰感知到后端监控分析系统获取到的流量数据细节。

旁路流量数据的可视化管理解决方案价值

旁路流量数据的可视化管理解决方案围绕快速流量数据交付从“流量数据位置来源可视”、“流量数据内容可视”、“流量数据策略可视”、“流量数据趋势效果可视”、“流量数据输出可视”狠下功夫,解决一线流量数据运维人员的实际“流量数据交付慢、效率低、管理复杂”的痛点,提升流量数据交付管理效率,降低运维成本。

       随着信息安全检测及IT运维技术的不断发展,在IT业务网络中通常部署了多种流量数据分析监控系统。不同的分析系统需要不同位置、不同类型的流量数据,这极大的促进了旁路流量数据采集统一管理的需求。通过NPB(Network Packet Broker)设备组网,构建流量数据采集网络,实现流量数据的统一采集、分类管理,以解决流量数据获取困难、流量数据泄密管理困难等难题,从而实现对各分析系统的数据来源提供技术支撑。
       有效对网络流量数据进行采集、预处理、分类转发、全流程精准管控是各行业用户的迫切需求。本篇文章根据我司多年流量数据管控的行业经验,深度剖析不同流量采集与管控方式给用户带来的价值与痛点,同时结合我司在流量数据采集与管控细分领域的不断持续耕耘与积累,推出了更具先进性的整体解决方案,引领流量采集网络的设计变革。

传统NPB流量采集带来的价值与痛点


       在早期,传统的流量数据采集网络大多采用接入层+汇聚层的网络架构方式,如下图所示。



架构设计特点

        在早期传统的流量采集网络组网方式中,接入层设备数量相比汇聚层设备数量较多,如果在接入层配置太多的数据转发策略,会大量增加整体复杂度和工作量,进而采取了大部分数据转发策略在汇聚层实现的方式,接入层设备只负责对各采集节点的流量数据做基础的接入,满足不同接口速率大小、不同介质的接入需求,因此接入层设备通常都不具备流量数据高级预处理能力,只是实现简单的流量数据采集、复制、汇聚、转发等功能。
       汇聚层通常采用单台或多台设备对接入层的上联链路流量进行集中汇聚、集中输出。 汇聚层设备一般都会集成网络流量高级预处理能力,如去重、切片、时间戳、DPI应用层识别、隧道协议封装剥离等功能,对采集到的网络流量数据预处理完成后再按照策略分发需求集中输出到第三方分析系统,以满足分析系统对流量数据来源获取的需求。

给用户带来的价值

       传统NPB组网方式给用户带来的价值在于,可以通过组网实现全网流量的集中采集,集中输出。解决了不同分析系统对业务现网中镜像端口资源争抢的问题,满足了第三方分析系统对网络流量数据获取的需要。

痛点- 形式上的统一采集,本质上的分散管理

       传统NPB组网方式虽然能够解决用户对网络流量数据获取的问题,但同时也面临着众多组网难点:
1、流量管理仍然混乱,来源去向只能靠配置文件文本、配置表格进行管理。
2、接入层简单的流量汇聚到核心,不可避免的出现汇聚拥塞丢包。
3、缺乏可视化、统一的数据管理手段,当有数台甚至数十台规模的流量接入,管理人员压力巨大。
4、流量转发策略交付困难,当分析系统有新的流量获取需求,流量来源的定位及流量的来回验证都极大增加了流量交付的时间,极易出现不同策略之间的冲突。
5、汇聚设备价格昂贵,且可扩展性差,机框板卡的扩展看似灵活,实则是绑定用户的手段。
6、设备配置方式复杂、管理维护性差、不灵活、添加设备困难,升级困难,难以实现高可靠、高冗余和负载均衡,业务有中断风险。

接入-汇聚NPB设计架构的优缺点深度分析


框式汇聚设备架构原理


       上图是一个简易的框式设备架构原理,可实现板卡级的扩容,但扩容要求使用同厂商的板卡。同时在后期使用过程也面临如下问题:
1、必须准确预测未来的扩容需求,在项目前期阶段需要选择合适的机框容量,需在2槽、6槽、7槽、14槽等不同槽位数量之间进行选择,一旦确定,不可更改。机框成本随着容量不同而不同,非ATCA标准架构机框成本更呈指数级增长。
2、机框背板拓扑架构固定,这就决定了不同槽位板卡之间的互联带宽的固定。
3、部分技术积累强的厂商实现了统一板卡槽位编址,可通过内部交换堆叠集成的方式实现对框内单板的统一配置管理。但在双核心互联情况下,如果再实现机框堆叠,通常效果不好,这一点在有代表性的国外友商产品都有体现,通常是堆叠之后系统响应变慢,而且存在脑裂风险。
4、部分厂商各单板仍然是分别管理,需要独立配置每个板卡,只实现了形式上的统一机框外形,用户在配置时甚至需要关注背板的不可见拓扑结构,管理及配置复杂。

接入层设备简单流量汇聚,缺乏流量分类预处理,加剧上联端口拥塞


       如上图所示,在用户业务现网的不同区域部署接入层采集单元时,当该区域有多条采集链路,如果接入层采集单元只支持对流量数据做简单的复制、汇聚、转发,不能对流量数据做精细化的分类及预处理时,极易造成多个输入接口的流量数据远远大于上联接口的转发速率,导致上联接口拥塞,严重时将会出现较大的丢包率,最终导致后端分析系统分析的准确性。

流量交付效率低,流量源头推理->配置策略->反复验证

       通过NPB组建的传统架构流量采集网,组网的处理机制是基于每节点逐跳执行的过程,为了实现跨NPB设备的流量牵引策略,需要管理人员登录每台NPB配置流量牵引动作。
       框式汇聚拓扑方案设计情况下,无法做到全网接入层、汇聚层的设备集中统一管理,如果要在接入层灵活输出任意位置流量,会导致流量策略需要在至少三个设备上逐跳配置,极大增加管理员工作量;长期维护情况下将导致策略混乱,无法管理。


       以上图为例,如果需要在3F-D机房分析应用发布区的流量数据,则需要人员配置如下3台设备的相关策略:a.3F-B机房NT-FTAP-54ECX ->b .2F-C机房NTCA-CHS-7U7S ->c .3F-D机房NT-FTAP-54ECX。如果策略配置异常,会造成后端分析系统无法获取需要的数据,就需要工作人员反复在上述三步中查找配置异常的环节。

跨设备的流量交付复杂度高,大规模集中汇聚层策略处理是妥协手段

       多数情况下用户业务系统分布在不同的物理机房或者不同的地理位置,当要对不同业务区域的网络流量数据进行采集时,需要在相应的区域部署NPB接入层采集单元。同时当分析系统分布在各个区域,且需要不同物理位置的流量数据时,此时在每个区域的接入层去配置流量数据转发策略将变得非常复杂,需要逐跳配置反复确认。所以在大规模集中采集情况下,在汇聚层配置流量数据转发策略成为了妥协手段,而在汇聚层配置转发策略其灵活性和扩展性将变得较差。

浪费接入层设备的TCAM表项资源、无流量分类能力

       由于NPB设备没有路由表和MAC表参与工作,设备没有真正意义上的寻址概念,而是基于接口(interface)进行数据推送,为了保证流量数据能够被正确的发送到目的接口,需要通过对NPB设备定制策略,进行流量数据的推送或者牵引。
在传统NPB网络组网中,每台设备均需要独立配置与执行策略,设备会把定义好的流量数据转发策略转换成流表下发到TCAM中,最终设备依据TCAM表项资源转发流量数据。而传统NPB组网方式中,大多采用集中汇聚、集中输出的方式,大部分的流量数据转发策略、流量数据分类、流量数据预处理都集中在汇聚层设备实现,而接入层只做简单的流量数据转发,这样一来就会大量的占用汇聚层设备的TCAM资源,而接入层设备的TCAM资源都被浪费。

NPB流量预处理单元受限于核心层设备能力

       在传统组网方式中,主要依据核心层框式设备处理能力实现数据转发,而框式设备存在性能瓶颈,瓶颈包括交换板的FABRIC通道数量和业务板的数据通道2个层面,框式设备即使在插满交换板双星连接时,其背板通道在跨板业务输入输出时通常只有数百G的能力。
       在传统组网方式中,机框式传统架构仅实现了纵向扩展能力,即框内板卡级扩容。受限于机框槽位容量,必须准确预测未来扩容需求,需要在成本和需求间提前选择。

SDN赋予NPB组网能力后的流量采集网的设计变革


       SDN软件定义网络(Software Defined Network)是采用集中控制的网络架构,SDN控制器可以实现真正意义上的集中管控。基于SDN 技术构建的NPB网络,可以实现流量数据牵引/分发策略的集中统一管理。包括面向业务的流量数据管理,面向流量分发目标的管理。能够尽量让用户屏蔽底层的实现,关注数据本身的管理。SDN具备路由智能计算特性,管理人员通过操作SDN的NPB平台,其SDN控制器能够自动实现多TAP集群化的路径自动计算,智能下发策略。管理人员只需要关注输入输出,不再需要考虑具体实现和路由。基于SDN技术可以搭建高可靠的冗余NPB网络,具备故障恢复机制。NPB网络故障来临时,可以自动收敛应对设备或者链路故障,保证恢复流量牵引。SDN网络同时可以实现复杂NPB牵引环境的负载均衡功能,用户可以构建高效无阻塞的线速交换NPB网络。总体而言,基于SDN技术的NPB组网可以极大提升管理工作的效率和确保网络稳定持续工作。
基于SDN技术构建的NPB网络,可以实现:
1、流量采集的位置来源、去向的统一信息管理,更易于梳理流量。
2、流量快照的机制更容易 让客户去确认每个流量采集位置的流量内容。轻松定位所需目标流量应该在哪里可以找到。
3、用户只需关注流量的输入/输出,路径自动计算,极大简化了用户的配置工作。
4、每条策略配置、每个采集点的流量确认,在SDN平台上面都可以非常方便的得到验证。

设计架构的变革 - 接入+汇聚 -> CLOS交换架构


       经过多年的不断持续地投入与潜心研发,我司采用先进的SDN技术理念,设计出具有CLOS交换机架构的流量数据采集网络,以更好地满足各个行业用户不同规模的流量数据采集网络建设。



       摈弃传统的接入+汇聚层组网方式,以SDN技术为核心,以“控制面”、“数据面”分离的先进架构为指导思想,将传统的流量采集硬件设备SDN化,为流量数据统一采集与分发提供灵活的组网能力。
       在网络组网架构上,采用了CLOS组网架构方式,继承了CLOS组网架构天生的优势,实现了即使是在大规模组网情况下,也能实现全网无阻塞数据交换。同时在该组网架构下,网络的扩展能力进一步加强,可以随着采集规模的进一步扩大,分别在不同层次去弹性扩展采集单元的数量,以更灵活的方式满足流量采集网络的升级与扩容。


简单的集中输出 - > 本地输出+按需远程汇聚流量牵引 ,充分利用NPB能力


       采用标准CLOS架构分层组网,整个流量采集网络分成接入层、核心汇聚层、输出层。其中在输入层设备选型时可以选择具有10-20G级别高级功能处理能力的NPB采集单元,可基于流量编排策略去执行报文去重、切片、DPI卸载、封装剥离等预处理动作。如当有本机房流量数据需在本地输出时,不必把这部分流量集中传输到汇聚层预处理完成后再回传到本地机房,这样一来就可以大量减少跨机房的物理传输资源的占用,降低网络布线的工作量,减轻设备流量转发策略的配置与管理,缩短流量数据交付的周期,更好地满足本地输出流量数据的需要。
       对于需要跨物理机房远程输出的流量数据,可以根据流量数据分发策略,通过SDN控制器进行集中调度、集中按需分发。当有较大流量数据需要作高级预处理时,SDN控制器可以自动选择具有更强大的高级处理能力的采集单元进行预处理,待预处理完成后,再根据流量数据分发策略意图输出到指定设备的输出端口。
       利用我司的Matrix-SDN流量管理平台,可以完美的实现流量数据本地输出与按需远程汇聚流量牵引的目标,而这一切的实现均得益于SDN技术的应用,实现了全网设备均接受SDN控制器的集中管理与控制,实现了流量编排策略统一视图管理,流量数据按需灵活输出。


流量分类预处理在接入层处理->充分利用接入层TCAM资源,降低无效背景流量传输,减轻上联端口拥塞


       如上文所述,我司推出的流量采集网络组网架构采用了分层的方式,流量数据的分类与预处理动作均在接入层完成,不必在核心汇聚层实现。充分利用了接入层NPB设备TCAM资源,消除在大量流量数据分发策略需求时,核心汇聚层设备TCAM资源不足的窘境。
       同时可以根据需要,可以在接入层设备上过滤掉无用的背景流量数据,如视频、语音、图片等大流量数据,降低对上联端口带宽占用,减轻上联端口拥塞。


更智能的路由选择策略,充分利用拓扑冗余路径智能选择,最大化保证数据交付


       基于集中的SDN控制器,可实现更加智能路由、更高可靠性、更便捷的管理特性。采用了标准的OpenFlow/Netconf交互协议,中心SDN控制器可完整全局把握流量采集网内的所有链路、设备、端口信息,基于用户配置的策略要求智能分解为逐跳流表,并能够实时根据采集网络的拓扑状态变化而自动更新,完全为用户屏蔽掉复杂的选路过程,用户不再需要关注流量内部路由策略,简化用户的管理、提升流量数据采集网络的可靠性。



CLAG/ECMP等高级路由特性的引入:




       作为全网流量数据中心的基础平台,控制器支持HA主备高可靠冗余特性,进一步保证流量数据平台的工作可靠性和稳定性。通过MATRIX-SDN平台,可以更好地实现跨区域的流量数据采集与管控。

SDN技术


SDN技术的兴起


    软件定义网络SDN(Software Defined Network)是由美国斯坦福大学CLean State研究组提出的一种新型网络创新架构,可通过软件编程的形式定义和控制网络,具有控制平面和转发平面分离及开放性可编程的特点



    从概念的提出、不断的工程实践到至今SDN技术及其各项分支技术在各行业的广泛应用,至今已经有10余年时间。在当今的数据中心、WAN、传输等领域,SDN技术及其技术思想都已经在普遍的开花结果,成为未来的网络智能化、意图化的基础。



SDN技术的核心优势


    网络简单化:提供网络结构的统一视图,对整个网络架构实现统一的查看,从而简化配置、管理和优化。

    高利用率:集中化的流量工程使得我们能够有效地调整端到端的流量路径,从而达到网络资源的高效利用。

    快速故障修复:链路、节点故障都能实现快速修复。而且系统能够快速的聚合网络资源,实现平均分配,并且对于一些网络行为可进行预测。

    平滑升级:控制平面和转发/数据平面的分离可以做到软件平滑升级的同时保证没有数据丢包或者性能衰减。

    弹性计算:大规模的计算、路径分析都被集成在控制器中,由最新代的服务器完成。


SDN技术在现网的应用


    数据中心网络:将传统网络设备的数据平面和控制平面两个功能模块相分离,通过集中式的控制器(controller)以标准化的接口对各种网络设备进行管理和配置。这种架构为网络带来的可编程的特性,使得网络资源的设计、管理和使用提供更多的可能性,从而更容易推动网络的革新与发展。因此,控制转发分离、逻辑集中控制、开放网络编程API被视为SDN区别于传统网络技术的三个主要特征。正是这些特征使得SDN能够良好的满足数据中心网络的使用需求:

    (1)高扩展性和网络资源利用率;

    (2)支持虚拟迁移和统一运维;

    (3)支持多业务、多租户。



    SDWAN即软件定义广域网:是将SDN技术应用到广域网场景中所形成的一种服务这种服务用于连接广阔地理范围的企业网络、数据中心、互联网应用及云服务。由于SD-WAN是由技术推动的应用,行业内并没有统一的定义,各行业分析咨询机构如IDC、Gartner等都有着不同的定义。相比较而言,SDxCentral提出的定义能够言简意赅地体现出SD-WAN的核心思想,即“SD-WAN是将SDN技术应用到广域网场景中所形成的一种服务,这种服务用于连接广阔地理范围的企业网络,包括企业的分支机构以及数据中心。

    企业互联SD-EN(SDN based Enterprise Network)关注的是用户侧的WAN连接,为企业总部、分支机构跨广域网的连接提供高效的基于SDN的解决方案。数据中心互联SD-DCI(SDN based DataCenter Interconnection ),指的是为企业的多个数据中心,或者企业办公机构与数据中心之间建立的基于SDN的解决方案。云互联SD-CX(SDN based Cloud Exchange)则更多的关注应用侧的WAN连接,为公有云、私有云以及越来越丰富的混合云应用提供高效的基于SDN的解决方案。


流量数据管理的挑战


    随着网络的智能化不断发展,围绕着网络运维、网络安全运维、业务运维的需求不断面临新的挑战,基于流量数据的广度分析、深度分析的技术手段在网络监测与分析/安全威胁检测与分析/业务监控与分析领域发挥了日益重要的作用,这为企业的旁路流量数据管理本身带来了显著的需求增长:

    流量数据需求采集位置的增长-从以前的网络重要和关键位置的流量数据采集需求到覆盖全网绝大多数网元位置的增长,从以前只需要交换核心层、关键资源区域的数个网络位置的流量数据采集,到现在需要所有网络关键位置(核心层、服务器区域、远程接入区域、DMZ等)、下沉到汇聚层、接入层、虚拟化层、远程公有云等网络无所不在的数据监控与采集;

    流量数据内容需求多样化/精细化分发的增长-基于流量数据内容的需求从全量数据到基于不同的分析维度、基于不同的分析目标,要求流量数据内容更为多样化、精细化。如基于业务的监控分析仅需要精确业务相关的流量数据;基于专项流量审计(数据库审计、业务访问行为审计)仅需要专项流量内容;这为流量数据的分发管理提出了新的要求。


流量数据管理面临的难题


    (1)流量数据的需求增长引起交付困难;

    (2)流量数据的来源/去向管理混乱;

    (3)虚拟化/云网络流量数据获取困难;

    (4)流量数据无限制分发面临泄密风险;

    (5)SDN网络中业务网络和镜像的流量数据极易引起流量数据压力超限问题。


设备集中管理≠流量数据管理


    在很多中小型客户通过部署了多台分离的流量采集设备(汇聚分流器),并通过基于SNMP信息采集的方式和基于“堆叠”技术的设备集中管理实现了“形式化”的流量采集设备统一管理,从一定程度上对管理员实现了设备管理的便利性,但在实际的流量数据管理过程中仍然存在非常大的管理缺陷:

    基于SNMP信息采集的方式实现了“形式化”的流量采集设备管理,从一定程度上对管理员实现了设备管理的便利性,但在实际的流量数据管理过程中仍然存在非常大的管理缺陷:SNMP的管理功能极其有限,充其量只能算做设备状态/端口状态的集中监控,离“数据管理”差距非常大。SNMP协议是面向采集设备端口的管理,无法与用户的数据来源、去向、策略做完整的关联,用户实际使用管理困难;

    基于“堆叠”技术的设备集中管理,其技术根本上的劣势也是显而易见的,由于“堆叠”技术的限制,堆叠的设备数量与管理性能直接相关。虽然从理论上讲,底层ASIC芯片可以支持最大128个交换单元的堆叠管理,但实际上受限于设备的控制面性能和设备间的交互复杂性影响,多数厂商的设备无法实现真正可用的8台设备以上的堆叠。“堆叠”后的系统可靠性、系统性能均下降明显,“堆叠”系统的配置复杂性并未得到本质降低。在多设备堆叠后,本质上设备的配置文件是多台设备的配置文件集合,管理员将不得不理解更复杂的堆叠拓扑结构,对于流量数据本身的分发管理策略变得更为复杂和难于理解。


解决之道-SDN控制器+平台实现“面向流量数据”的管理


    应对日益增长的流量数据需求,日益复杂的流量数据位置、内容的管理需要,只有采用“面向流量数据”的设计方式,一切从“流量数据”本身出发,对企业网络内的流量数据做全方面的采集流量数据管理,才能夯实流量数据基石,真正支撑IT系统的运维/安全业务需求。

    (1)面向流量数据来源/去向/处理过程的管理;

    (2)面向流量数据内容的识别及分类管理;

    (3)面向流量数据需求目标系统的管理;

    (4)所见即所得是流量可视化的重要前提。


SDN技术赋予流量数据管理新能力


    得益于先进的SDN技术理念,创新性将SDN技术应用于旁路流量数据的集中采集、自由组网、统一分发,并结合先进的NP+ASIC的芯片解决方案,实现流量数据内容的识别、基于内容的分类管控和分发;最终形成一套“面向流量数据”的Matrix-SDN流量数据管控平台,为企业的旁路流量数据管理提供完美的解决方案,为未来流量数据需求的管理提供了新的指引和方向。



“流量数据组网”新能力


    以SDN技术为核心,以“控制面”、“数据面”分离的先进架构为指导思想,将传统的流量采集硬件设备SDN化,为流量数据统一采集与分发提供了灵活的组网能力。

    多样化拓扑支持组网能力-流量数据网络在SDN技术的加持下,可以支持网状、CLOS、半网状等多种灵活的组网拓扑,可完美适应不同规模的旁路流量数据的组网支持。

    智能路由,更高可靠性,更便捷的管理- 基于集中的SDN控制器,标准的OpenFlow/Netconf交互协议,中心SDN控制器可完整全局把握流量采集网内的所有链路、设备、端口信息,基于用户配置的策略要求智能分解为逐跳流表,并能够实时根据采集网络的拓扑状态自动变化更新,完全为用户屏蔽掉复杂的选路过程,用户不再需要关注流量内部路由策略简化用户的管理、提升流量数据采集网络的可靠性。



    CLAG/ECMP等高级路由特性的引入:



    控制器HA高可用性支持 – 作为全网流量数据中心的基础平台,控制器支持HA主备高可靠冗余特性,进一步保证流量数据平台的工作可靠性和稳定性。

    极强的可扩展性 – 基于SDN架构的组网支持不同规模的组网,使得流量采集网络可以随着企业IT网络的规模增长而平滑扩容,扩容仅需要增加相应的数据管理单元即可接入更多的流量采集点,实现全网流量的统一管理。


“数据源/目标可视化”新能力


    得益于SDN技术的集中控制器的计算能力,matrix-sdn管理平台实现了面向用户网络平面拓扑、采集平面拓扑、分析平面拓扑的一体化拓扑视图,并对三平面拓扑之间的互联关系实现了互联集中一体化展现。管理人员面对复杂纷繁的流量采集来源、流量输出逻辑关系可以在平台中实现完美的可视化视图展现与管理,极大的减轻了管理人员的工作量。



“面向数据管理”新能力


    基于先进的SDN技术与ASIC/NP硬件架构处理技术完美结合,matrix-sdn平台引领行业趋势,摒弃“面向设备管理”的传统思路,实现“面向数据管理”的流量数据集中管控。



    基于“面向数据管理”的新能力,用户可以基于网络流量数据的不同内容分类对流量数据实现更精细化、更为灵活的数据交付,为网络信息安全分析/IT运维分析构建坚实基础;减小流量数据泄密风险,提升数据安全性。


“动态流量数据获取”新能力


    基于科学全面的MATRIX-SDN流量数据采集网,对任意已覆盖的采集点位置执行动态数据探测,直接探测是否存在故障通信端点是否有通信行为,排除客户端配置不正确问题。多节点同时探测指定通信端点双向通信行为,进一步定位网络/安全设备策略配置问题。基于多元组的数据过滤功能,基于MATRIX-SDN提供的灵活的数据探测之手,让运维人员随时随地获取想要分析的原始数据。直接最有效、最高效率的手段定位和解决故障。使得复杂而困难的故障定位和排除变的高效而简单。



“虚实结合,一体化云采集”新能力


    结合MATRIX-SDN流量数据采集网,在Vmware、OpenStack、Hyper-V环境下虚拟机之间东西向报文采集部署Vtap流量采集软件,通过Vtap软件,可以实现对传统方式无法采集的虚机之间的报文的采集,解决虚拟化/云网络流量数据获取困难,实现“东西向流量全面覆盖”的流量数据集中管控。



    基于“虚实结合,一体化云采集”的新能力,全面解决数据中心虚拟化/云网络的大量应用,虚拟服务器间的数据交互可能仅体现于同一服务器内部的内存数据交换,虚拟化/云网络流量数据获取困难,为业务分析/安全检测分析构建全面覆盖的东西向流量数据。从而实现完全意义上的流量数据全面覆盖采集、统一集中管控,流量数据可视化。


Matrix-SDN开启“流量数据管理”新时代


    融合先进的SDN技术及先进的NP+ASIC的芯片构建科学的流量数据采集网,应对日益增长的流量数据需求,日益复杂的流量数据位置、内容的管理需要,采用“面向流量数据”的设计方式,一切从“流量数据”本身出发,对企业网络内物理网络和云网络的流量数据做全方面的采集,实现流量数据全面覆盖,消除监控盲点。并且基于业务数据类型梳理流量数据,以不同的业务交互数据流具有的数据敏感特性、业务交互特征、协议特征具有良好的聚合性。以于不同的业务系统建立不同的分类流数据,并以不同的分类进行流量数据的分发管理控制,以“最小化数据权限”原则向不同的流量数据分析工具提供流量数据,从而降低流量数据安全风险,提升流量数据安全性。实现统一展现现网逻辑拓扑架构,清晰展现流量数据采集点所在现网逻辑位置和采集方式,统一展现流量采集网本身拓扑架构,对采集单元的工作状态、流量分发状态进行实时监控和管理。从而做到流量来源、处理过程、去向可视化三位一体的逻辑拓扑。清晰展现流量采集位置,处理策略,输入输出信息,使流量数据的管控策略从复杂转变为简单。实现流量数据动态获取,提供的灵活的数据探测之手,方便的数据探查功能,对任意已覆盖的采集点位置执行动态数据探测,直接探测通信端点的流量数据信息,让运维人员随时随地获取想要分析的原始数据,是有力的安全运维支撑工具,直接最有效、最高效的手段定位和解决故障。夯实流量数据基石,真正支撑IT系统的运维/安全业务需求。


流量数据捕获分析—网络安全/运维管理的必备利器


    网络安全/运维管理中非常重要且非常基础的一个环节就是网络流量数据捕获分析,通过对网络数据的连续捕获分析,以此来定位处理网络故障和分析网络流量数据。在网络安全/运维管理过程中,运维管理人员时常会因为网络临时故障、网络/系统配置、远程接入故障、其它未知故障等多种因素的影响,需要进行业务/网络等各类故障的实时排查与处理。网络运维时就会遇到类似的故障场景:

    (1)某通信节点反映无法正常连接业务,问题节点可能是来自远程地市或来自接入层客户端;

    (2)系统割接后影响某个具体业务出现异常-进行系统割接后替换或升级了防火墙/负载均衡/路由的配置或其它参数,多数业务访问正常,但就是某个业务出现不能正常访问;

    (3)某企业网络中运行多种业务系统,业务系统流量经过多个网元设备,涉及一条完整的交易路径链信息,时常会出现业务系统访问缓慢或者无法访问;



    (4)在某一天突然发现网络性能急剧下降,网络服务不能正常提供,服务器访问速度极慢甚至不能访问,网络交换机端口指示灯疯狂地闪烁,重启动后没有几分钟现象又重新出现了;

    (5)某企业进行宽带接入组网,使用的核心技术是NAT,但在进行静态端口映射的时候发现,外网的用户根本无法访问内网服务器,同时,路由器配置和其他状态来说都是正常的;

    (6)某网络在运行时总是出现奇怪现象,每隔一段时间就会出现网速很慢的情况。奇怪的现象不定期的发生;



    (7)在企业网络运维管理中,网络运维人员想要直观可视的了解网络利用率如何、什么样的程序在网络中运行、主要用户有哪些、网络中是否产生异常流量、哪些用户产生的流量最多、哪些服务器接收的流量最多等信息;

    (8)某企业网络中运行多种业务系统,当某一业务系统访问缓慢或者无法访问时,运维人员想分析当前网内有哪些业务、分别产生了多少流量、网络中业务使用的模式是什么、企业内部重要业务执行状况如何等。


常规方式实现流量数据捕获分析


    在网络安全/运维管理中,当出现网络故障和监测网络的流量时,常规的问题解决方式需要手工逐段排查,往往一个故障的引起其故障点的定位需要涉及十数个不同的位置,这将涉及到“控制面路由信息的正确性”、“安全策略面防火墙配置的正确性”、“网络通信面的可达性”、“客户端配置的正确性”等多种不同因素的影响;更为复杂的问题甚至会涉及“厂商设备的协议/报文兼容性”等问题。在捕获到的海量流量数据存储系统中查找对应的报文/通信记录,故障定位效率低,故障排除难度大:

    (1)运维人员需要在一个网络设备上面捕获流量数据,就需要申请机房管理部门进入机房,需要确定该设备是否支持电口直接连接流量捕获终端,需要确定设备端口镜像是否支持;

    (2)在有虚拟化/云平台网络环境中,当网络发生故障时,部分虚拟机的网络流量可能在物理机内部的虚拟交换机中完成交互,运维人员通过常规数据包捕获终端无法从物理交换机上捕获流量数据;



    (3)网络在运行时总是不定期的发生网速很慢的情况。运维人员就要通过数据包捕获终端长时间的捕获数据包,再得到大量的数据包后通过查找对应的报文/通信记录来确定故障点;

    (4)网络中部分业务系统流量经过多个网元设备,涉及一条完整的交易路径链。当业务系统访问故障时,通过数据包捕获终端就需要一台一台网络设备上捕获分散的流量数据;

    (5)企业通过部署网络安全分析设备(NPM)来实现网络数据包捕获问题。但实际上NPM设备都是基于探针的架构,在获取数据包时,只能捕获在部署探针节点的网络设备上流量数据包,即实现单一设备数据包捕获,从而无法实现全网动态数据包捕获。



流量快照实现流量数据捕获分析


流量数据捕获


    通过MATRIX-SDN平台的灵活的策略探测功能,对特定时段的流量进行实时的捕获和监控。基于流量趋势探测功能可以实现:

    (1)基于特定的一个或多个流量数据采集点(如核心交换机上联链路、远程接入链路、汇聚层交换机位置)的接入采集单元向其下发特定的仅用于监测和计数的流量统计策略;

    (2)在下发动态的流量统计策略之后,可以通过MATRIX-SDN平台实时监测命中下发策略的流量趋势,也可以持续监测一段时间之后进行历史流量查询和展现。



    基于灵活的MATRIX-SDN数据采集监控网络,在网络故障发生时,MATRIX-SDN为您提供随心所欲的数据探查功能,协助运维人员快速定位、快速分析故障节点:

    (1)通过MATRIX-SDN平台上对任意已覆盖的采集点位置执行动态数据探测,直接探测是否存在故障通信端点是否有通信行为,排除客户端配置不正确问题;

    (2)多节点同时探测指定通信端点双向通信行为,进一步定位网络/安全设备策略配置问题;

    (3)基于多元组的数据过滤功能,基于MATRIX-SDN提供的灵活的数据探测之手,让运维人员随时随地捕获想要分析的原始数据。

    在网络宏观态势可视化感知的基础上,通过可视化分析系统与流量采集网络的协同工作,一旦网络出现异常时,通过“流量快照技术”将任意采集点的任意类型流量进行“拍照/录像”处理,准确保存网络多个位置的异常现场数据。



流量数据分析


    基于流量快照技术,通过对流量数据采集和基于网络智能专家统一分析技术,形成概述、流量趋势、流量统计、包长分布、位置分布、会话列表、访问关系、会话质量、异常分布等多维度的分析视图为网络运维人员提供一种有力工具和助手。分析系统将对比不同网络位置的数据包的行为来协助用户精准定位异常故障点。通过多点数据的综合精细关联分析,完整展现出每个数据包如何穿越网络的路径,异常数据包在哪里发起,在哪里丢失等难于解决的问题。充分揭示了有关网络使用的“4W”问题:

    Who:谁(IP)使用了网络?

    What:网络流量的类型是什么?

    When:在什么时间使用网络,使用了多长时间?

    Where:网络流量流向何处?



    (1)网络故障定位分析:网络发生故障(丢包、延迟、无法访问)时,通过流量数据快照捕获想要分析的流量数据包,通过多维度的流量数据快速分析定位故障点,解决故障产生原因;

    (2)交易路径流量数据捕获分析:通过“流量快照技术”将任意采集点的任意类型流量进行“拍照/录像”处理,准确保存网络多个位置的异常现场数据。通过对整个交易路径信息流量数据多维度分析,快速定位故障点,解决故障产生原因;



    (3)网络流量异常监测分析:网络管理员都希望在网络性能突然下降的时候找到“真凶”所在,并迅速解决问题。利用流量快照技术提供的某段时间内的流量、应用趋势分析,可非常直观的看到网络流量是否有突然增长或突然下降的现象,并进一步分析出是哪些用户产生了最多的流量、使用了哪些应用以至于网络运转出现性能问题。并根据最终分析结果,网络运维人员可快速的解决网络异常问题,保证网络正常的运行!



    (4)业务流量监测分析:对于一个企业来说,业务流量数据管理是至关重要的,如果业务链路上的流量增大,就会一定程度上影响企业业务生产,但是如果企业能掌握业务流量的特征,制定相应的策略(比如QoS和针对源或目的IP地址作流限制),就能使业务带宽得到最合理最充分的使用,避免影响企业业务生产,而流量快照技术所提供的分析能够使网络运维人员洞察业务链路的流量特征、用户使用状况,从而针对业务流量作出响应!

    (5)网络优化与规划:通过流量快照技术,可以使网络运维人员及时掌握网络负载状况,网内应用资源使用情况,尽早发现网络结构的不合理,或是网络性能瓶颈,尽快作出网络优化方面的决断,使网络带宽分配最优化,为用户提供高品质的网络服务,并且避免了网络带宽和服务器瓶颈问题。利用网络流量快照长期监控网络带宽而形成的各类趋势信息,有助于网络运维人员跟踪和预测网络链路流量的增长,从而能有效的规划网络升级(例如,增加路由服务、端口或使用更高带宽的接口)。


流量快照—网络安全/运维有力工具和助手


    网络流量快照技术是一个有助于网络管理者进行网络故障处理、网络规划、网络优化、网络监控、流量趋势分析等工作的工具,通过对网络流量信息的采集并分析可帮助网络管理者得到网络流量的准确信息,为网络的正常、稳定、可靠运行提供保障。



    准实时的流量捕获分析:快照数据支持对流量进行及时的分析,当快照数据产生之后,在很短的时间内即可得到分析结果,非常方便用户使用图表进行网络异常问题的定位。

    交易路径链的流量捕获分析:通过对任意采集点的任意类型流量进行拍照/录像”处理,准确保存网络交易链多位置的全面现场数据,即对广域网核心层、广域出口、局域网核心层、局域网汇聚层网络流量的全面捕获与分析,实现完整网络交易路径链流量多点的可视性。
    专家级的数据分析:对捕获到的流量数据进行自动深度关联分析,从时间分布、流量大小、会话分布、协议分布、活跃通信节点(IP)、承载服务、报文/网络/安全异常事件分析等多个维度对数据内容进行自动深度分析;帮助网络运维员看懂流量数据内容、帮助网络分析专家梳理流量数据分析头绪,起到快速故障定位、深度问题分析的效果。
    基于灵活的MATRIX-SDN数据采集监控网络,流量快照技术可用于监控分析日益扩大、业务日益增多的网络的运载状况,及时发现、解决网络故障/异常现象;了解网络资源负载情况、应用使用的趋势状况,以便及时的进行网络优化,并提供长期趋势分析图表,为网络规划提供参考。

在NPB的典型应用场景中,最让管理员头疼的莫过于因为镜像报文及NPB组网拥塞而产生丢包的问题。NPB的丢包会让后端分析工具出现以下典型现象:


NPB作为一个旁路监测的集中采集分发系统,它的重要性不言而喻。同时,它对数据报文流量的处理方式与传统的现网交换机有着较大的区别,很多业务现网的流量拥塞控制技术对于NPB并不适用。如何解决NPB丢包,让我们先从丢包的根因分析开始去看看吧!
NPB/TAP丢包拥塞根因分析
首先我们分析下一级或多级NPB组网下的流量实际路径和系统出入映射关系。无论NPB形成什么样组网的拓扑,最终作为一个采集系统来讲,整体系统的“接入”-“输出”之间呈现多对多的流量输入输出关系。

然后我们从单个设备上的ASIC芯片的视角去看NPB的业务模型相关特点:

特点一:输入、输出接口“流量”与“物理接口速率”不对称,产生大量微突发是必然结果。 在典型的多对一、多对多的流量汇聚应用场景下,输出接口的物理速率往往小于输入接口物理总和。如10路10G采集,1路10G输出;在多级部署情况下,可以把所有NPB当作一个整体来看待。
特点二:ASIC芯片缓存资源非常有限。以当前普遍采用的ASIC芯片来讲,640Gbps交换容量的芯片缓存在3-10Mbytes;3.2Tbps容量的芯片缓存在20-50Mbytes。包括BroadCom、Barefoot、CTC、Marvell等厂商的ASIC芯片。
特点三:常规的PFC端到端流控机制不适用NPB业务。PFC流控机制的核心在于实现端到端的流量压制反馈,最终到达通信端点的协议栈减少报文的发送来缓解拥塞,而NPB业务的报文源头是镜像报文,所以拥塞处理策略只能是丢弃或者缓存
下图是典型的微突发在流量曲线上的表象:
以10G接口为例,在秒级流量趋势分析图上,流量速率长期维持在3Gbps左右;而在微观毫秒级趋势分析图上,流量尖峰(MicroBurst)已经大大超过10G接口物理速率。
缓解NPB微突发的关键性技术
降低物理接口速率不匹配的差异影响 – 用户在组网设计时,尽可能减少不对称输入输出物理接口速率,典型的手段是使用更高速率的上联接口链路,流量输出接口物理速率尽量避免不对称性(如1G、10G同时复制一路流量输出)。



优化NPB业务的系统缓存管理策略 - 普通的适应交换业务的系统缓存管理策略不适应于NPB转发类业务,应该针对NPB业务的特性实现“静态保证” + “动态共享” 的缓存管理策略,才能在当前芯片硬件环境受限情况下最大限度缓解NPB微突发带来的影响。

实现业务的分类流量工程管理 – 实现基于流量分类的优先级流量工程服务分类管理,基于分类队列带宽保证不同的优先级队列的服务质量,确保用户高敏感度业务流量报文能够0丢包转发。

合理的系统方案增强报文缓存能力和流量整形能力 – 通过多种技术手段集成方案,扩大ASIC芯片的报文缓存能力; 通过在不同的位置实现流量整形,整形后将微突发变为微观匀速流量曲线。

NetTAP微突发流量管理方案

方案一 – 全网优化的缓存管理策略+全网分类服务质量优先级管理

全网优化的缓存管理策略

NetTAP流量采集产品基于对NPB业务特性的深入理解,基于大量客户的实践业务场景,实现了一套“静态保证+动态共享”的全网NPB缓存管理策略,针对大量输入输出接口不对称情况下的流量缓存管理有良好的效果,在当前ASIC芯片缓存固定的情况下最大限度实现了微突发的容忍。

微突发处理技术-基于业务优先级的管理



流量采集单元在独立部署时,也可以根据后端分析工具的重要程度或者业务数据本身的重要程度而区分优先级,如在众多分析工具当中的APM/BPC由于涉及到重要业务系统的各项指标数据的监测与分析,其优先级要高于安全分析/安全监测类工具,因此对于该场景可以把APM/BPC所需的数据定义为高优先级,安全监测/安全分析类工具所需要的数据定义为中优先级,其它分析工具所需的数据定义为低优先级。当采集到的数据包进入到输入端口时便根据重要程度定义优先级,高优先级报文在输出时优先被转发,待高优先级的报文转发完成后再转发其它优先级的报文,如果持续有高优先级报文到达,则会优先转发高优先级的报文。如果持续时间较长,输入数据超过输出端口的转发能力时,可把超出部分的数据存入设备缓存当中,如果设备缓存被填满,则优先丢弃低先级的报文,通过该种优先级管理机制,可始终保证关键重要的分析工具可实时高效的获得分析所需的原始流量数据。

微突发处理技术-全网服务质量分类保障机制



如上图所示,在接入层、汇聚/核心层和输出层的所有参与组网的设备上,通过流分类技术区分不同业务,并重新标记所采集到报文的优先级,通过SDN控制器集中下发流量优先级策略traffic policy应用到转发设备,参与组网的所有设备依据报文所携带的优先级映射到不同的优先级队列。这样可有效保证小流量的高级优先级报文实现0丢包。有效解决APM监控类、专项业务审计类旁路流量业务的丢包难题。


方案二 – GB级扩展系统缓存+流量整形方案

GB级系统扩展缓存

我司流量采集单元设备在具备高级功能处理能力时,可在设备自带的内存(RAM)中开辟一定数量的空间作为设备的全局Buffer,大大提升设备的Buffer容量。对于单台采集设备,可至少提供GB级的容量作为采集设备的缓存空间,该项技术使我司的流量采集单元设备Buffer容量比传统采集设备的Buffer容量高出数百倍,在同样的转发速率下,我司的流量采集单元设备最大可承受的微突发持续时间变得更长,由传统采集设备支持的毫秒级提升为秒级,所能承受的微突发时间提升了数千倍。

多队列流量整形能力

微突发处理技术-基于大容量Buffer缓存+流量整形的解决方案



在具备超大容量的Buffer能力下,实现对微突发所产生的流量数据进行缓存,同时在出接口利用流量整形技术实现数据包平滑输出到分析工具,通过此种技术的应用,从根本上解决由于微突发所产生的丢包现象。

流量数据快速交付


流量数据快速交付挑战


    企业IT网络安全/运维管理中,像我这样的网络安全/运维管理人员时常会遇到流量数据快速交付的压力和挑战。



常规方式应对流量数据快速交付


    在IT网络安全/运维管理中,当遇到网络安全/运维分析设备上线时,需要网络位置的某些IP段的流量的需求时,我们安全\运维工程师就比较痛苦。



    在企业IT网络安全/运维管理中,当遇到护网行动、应急演练、方案验证、新设备上线,这些特定的场景需要快速的流量数据管理分发需求时,需要某个网络位置的关键IP段的流量场景下,安全/运维工程师们需要通过传统的TAP实现方式来回折腾。



    说了这么多遇到的麻烦和头疼的问题,直到我找到了解决办法,下面就是我给大家介绍的“良工利器”!

    各路“入侵检测”、“专项审计”、“态势感知”、“攻击溯源”、“病毒监测”、“APT攻击检测”、“NPM”、“APM”、“大数据分析”都能够保证流量数据各取所需,快速精准交付!

    再多、再复杂的流量数据分析设备都可以快速上线啦!


Matrix-SDN应对流量数据快速交付


Matrix-SDN平台流量采集网实现智能采集/数据交付


    全网数据采集,MATRIX-SDN流量数据采集网络将分散的光、电链路以及在线分光、旁路镜像、云计算/虚拟化环境下虚拟TAP等多种方式进行集中、全网流量数据采集,实现用户现网全量的原始流量数据捕获。

    先进的组网技术,将传统的流量采集硬件设备SDN化,为流量数据统一采集与分发提供了灵活的组网能力;可以支持网状、CLOS、半网状等多种灵活的组网,可完美适应不同规模的旁路流量数据的组网。

    按需流量数据交付,在规划了采集节点并通过分布式流量采集单元进行流量采集之后,流量的输出可以是非常灵活而且自动化,基于构建的MATRIX-SDN流量数据采集网络。

    (1)汇聚输出一个或多个网络位置采集流量输出。

    (2)将一个或多个网络位置流量输出至一个单元/端口。

    (3)基于流量数据类型流量策略输出至不同的单元/端口。



Matrix-SDN平台的采集位置来源可视性


    MATRIX-SDN管理平台实现了面向用户网络平面拓扑、采集平面拓扑、分析平面拓扑的一体化拓扑视图,轻松掌握流量数据的来源位置,流量数据的采集方式(镜像/分光/TAP),面对新的流量数据交付需求,用户可以快速找准流量数据来源位置【采集点】。



Matrix-SDN平台的采集分发策略可视性


    (1)只需关注流量的输入/输出,中间路径自动计算,简化了用户配置,提升工作效率。
    (2)中间冗余路径智能重计算,链路状态变化智能切换路由,切换路径实时可视。
     总之,Matrix-SDN平台的采集分发策略可做到:路径可视、细节可视、状态可视



一条策略实现流量穿越,再也不用来回配置!

逐跳流量穿越细节完整可视,满足技术细节掌控需求!


Matrix-SDN平台赋予流量数据趋势&内容可视性


    趋势可视-验证流量大小:

    流量数据交付分发策略配置后,直接点击策略元素中的“任意采集点”、“输出目标”、“策略对象”链接,可以立即显示相应对象的流量趋势状态;



    简单直接的“流量交付策略集成”用户交互UI设计,一个界面内可实现快速检查校验,提升用户使用效率:

    采集点源头流量是否正常?

    策略命中流量有没有?

    输出接口流量有没有?


    内容可视-验证流量正确:

    通过MATRIX-SDN平台内置的高效运维工具-“流量快照技术”,可实现对全网任意采集覆盖位置的流量进行实时的报文捕获及实时深度内容分析,实现内容可视,解决流量交付过程中的“数据内容确认”问题。




流量数据快速交付-提升流量数据管理效率


    MATRIX -SDN流量数据安全管控平台围绕快速流量数据交付从“流量数据位置来源可视”、“流量数据内容可视”、“流量数据策略可视”、“流量数据趋势效果可视”狠下功夫,解决一线流量数据运维人员的实际“流量数据交付慢”的痛点,提升流量数据交付管理效率,降低运维成本。

    近年来,随着人工智能、云计算、5G等技术的兴起,也让信息安全领域和IT运维领域的流量数据可视化发展成为不可或缺。不论是安全运营,威胁情报,态势感知都需要依赖流量数据为之作分析和运维依据。从而帮助技术人员进行更有效更智能的分析。网络流量数据可视化简单的说即网络中的摄像头,对网络流量来源\去向进行监管、分析与挖掘。利用人类视觉感知系统,将网络数据以图形化方式展示出来,快速直观地解释及概览网络数据,一方面可以辅助用户认识网络的内部结构,另一方面有助于挖掘隐藏在网络内部的有价值信息。



传统方式管控流量数据


    为了对网络流量进行分析,首先必须对网络流量进行采集。为了不影响生产网络的运行,我们就需要在独立于生产网络之外额外部署一套数据采集网络。数据采集网络通过交换机和路由器上的分光和SPAN(端口镜像)复制生产流量,将流量导入至对应的流量分析/监控工具中进行分析监控。



    但是传统监控网络体系结构也有很多缺陷。其高昂的价格使其难以在一些预算有限的用户环境中普及。同时由于其封闭性,使得个TAP之间很难进行互联从而形成TAP和工具孤岛,也较难满足现代数据中心的大规模组网要求和集中可视化管理要求:

  1. TAP和分析工具设备部署分散。用户无法全面掌握网络拓扑可视化架构。造成流量数据管理混乱;
  1. 流量分发策略通过后台命令行的方式配置,TAP设备之间级联需要一跳一跳配置。费时费力;
  1. 流量分发策略需要通过后台命令行(display & show)的方式查看,难于形成可视化直观查看;
  1. 采集点流量的趋势信息无法通过可视化的方式得到验证,在确定输入信息时来回查验。


当网络流量可视化管控遇见它(MATRIX-SDN)


    MATRIX-SDN平台基于SDN技术的流量数据可视化管控平台,实现流量数据可视化采集、展现及流量数据的管理和控制策略上可视化 :

    网络三位一体拓扑可视化

    流量分发策略便利的实时查看可视化

    采集点流量的实时查看可视化

    流量分发策略可视化


三位一体拓扑可视化


  1. 网络拓扑视图、采集节点视图、分析系统视图对流量的引导处理流程进行关联统一呈现;
  1. 首创的“现网拓扑-采集网拓扑-数据分析系统”三位一体的展现模式;
  1. 用户能够在一个统一的视图上管理各个复杂并且众多的采集点。


流量分发策略可视化


  1. 流量采集、流量分发、流量数据监控策略统一分解流表并下发至各个采集设备单元;
  1. 以用户现网环境为视图,让客户知晓流量来龙去脉;
  1. 以用户业务数据为视图,让客户基于数据类型定义其数据分发策略。


流量分发策略便利查看可视化


  1. 用户无需关注流量数据在采集单元SDN网络内的具体传送路径,只需要关注需求面的数据来源和分发目标即可;
  1. 实现流量策略控制和执行的分离,完成对所有流量策略的集中配置/下发/动态同步;
  1. 清楚的看到流量的采集来源的、流量的分发路径、流量的输出目标。实现流量数据来源/去向三位一体的可视化展示。




采集点流量的实时查看可视化


  1. 通过可视图表实时监控当前不同位置采集点的流量概要,包括流量大小、包长分布、链路利用率、带宽等实时信息,从而直观方便的确认流量数据输入信息;
  1. 基于企业业务特性,显示当前网络关键节点位置的流量数据的分类特征,全网应用流量类型分布等实时状态,从宏观级别对网络状态实施态势监控等可视化展示。



流量数据可视化价值呈现


    MATRIX-SDN流量数据集中管控平台,可对采集节点、输出节点、策略、业务对象的当前/历史流量趋势进行查询,从宏观、微观角度向用户清晰的展现每时每刻网络中任意位置的流量变化态势,从而达到对全网全局流量可视化的目的。通过可视化统一展现。基于用户需求采集点、输出点、业务流量趋势、链路流量趋势等数据源,基于高清屏幕展现统一监控视图,让您对网络流量数据状态一览无余。



    综上所述,随着用户IT环境的日益复杂,用户需要更多便捷的手段和方法来对其流量数据进行了解和掌控,网络流量数据可视化就是其中最有效的手段之一。利用MATRIX-SDN流量数据管控平台解决方案,通过分离逻辑网络与物理网络并实现集中可视化控制,有助于增强流量采集网络的实时智能和应用程序感知能力,并赋予数据中心更高的运维效率和安全水平,为用户实现快速、便捷的安全/运维数据中心铺平了道路。优质的IT流量数据管理系统能够协助企业整合优化企业信息资源和服务、提高生产率和竞争力,是为企业创造更多价值的有力保障。

业务网络环境的流量数据采集


    现有的业务环境涉及众多网元、主机、PC、数据库、中间件等组成。因为安全、优化与运维需求,需要进行网络流量采集与分析。
    客户端对某业务系统的访问,涉及客户端发起、服务器响应、建立连接、数据传输、上下文关联、经过安全策略、途径网元节点等诸多环节。为了实现对交易的综合管控,需要进行逐个节点的流量数据采集与完整性监控分析。本示意采集现场的部署方式是:交换设备流量通过端口镜像输出,防火墙通过分光器输出,经过TAP进行流量采集与汇总,将流量数据发送至分析工具。对应访问路径点的网络流量采集示意如下:



重复报文,分析工具的困惑


    多点流量数据的采集与汇总,会产生重复流量数据,也有数据乱序的可能。



    图a.环境的端口镜像因为进行了双向流量采集,进\出交换机端口的两次流量,会让分析系统接收到2份重复数据。
    图b.环境的的流量采集与汇总,发送到分析工具的数据,会让分析系统接收到7份重复数据。
    常规情况分析工具难于区分重复流量数据,多次获取相同的报文会让分析工具理解为网络重传行为或者是多次业务交易行为。




    以wireshark接收到的数据分析为例,对存在重复数据的报文进行分析,内部出现了大量的TCP 重传和ACK重复确认信息。
    多点流量数据采集与流量汇聚场景,相同流量数据按照既定队列通过TAP进行汇聚。



    汇聚流量数据时,如果经过第1台设备的会话队列信息还没有结束,第2台设备又开始发送相同的会话队列信息,则两条队列的流量数据可能交织在一起,单独看每条队列的报文信息是完整无误的。然而分析工具无法区分两条队列的报文差异,导致分析工具会认为网络通信中存在TCP乱序问题。




    以wireshark接收到的数据分析为例,对存在流量汇聚的报文进行分析,内部出现了TCP乱序信息。
    因为分析系统无法有效识别重复报文,给出如此分析结论,会干扰工程师对问题的判断。
    所以,TAP设备会提供去重功能,进行报文去重处理。


流量数据中的重复数据与去重处理


    TAP设备去重功能,确保分析系统能正确处理流量数据。



    TAP设备将采集到的报文逐个比较,如果发现有重复现象,后进入的重复报文将被丢弃。通过TAP去除重复数据再输出,可以让分析工具正常解析流量信息,同时也为分析工具卸载。


重复数据深度分析 – 挖掘报文路径,准确故障定位


    复杂业务场景往往涉及路由、交换、NAT、防火墙、负载均衡等多个环节,这种应用场景每个环节的问题都可能影响整个业务交互。交易路径的分析与管理,无论是在运维层面、安全访问策略层面、网络优化层面都是用户管理的重点和难点。
    重复数据是业务交易关键点的数据交互证明,有效利用重复数据是进行路径分析的基础。

    要实现路径分析,需要TAP实现并在报文中涵盖如下信息:

  1. 提供位置信息
  1. 提供时间戳



    经过TAP设备的全网采集、位置区分、时间戳和数据关联就可以实现交易路径的完整追踪与管控。

    在业务交互环境,利用全网的路径分析功能,可以实现:业务交易的路径追踪、防火墙策略配置分析与验证、NAT地址转换分析、路由交换路径验证、负载均衡配置、网元交互时间延迟或者抖动等问题的分析与监控,能够清晰完整的展现数据传输过程。


Matrix-SDN流量数据的去重与路径分析综合应用-完美解决之道


    成都数维Matrix-SDN流量数据安全解决方案同时涵盖了流量数据的去重与路径分析考虑。

    在网络宏观态势可视化感知的基础上,通过可视化分析系统与流量采集网络的协同工作,一旦网络出现异常时,通过路径分析将任意采集点的任意类型流量进行“拍照/录像”处理,准确保存网络多个位置的异常现场数据。

    基于路径分析与其衍生的“流量数据快照技术”,异常状态现场的数据规模被缩小到数GB级别,基于网络智能专家分析技术,分析系统将对比不同网络位置的数据包的行为来协助用户精准定位异常故障点。通过多点数据的综合精细关联分析,完整展现出每个数据包如何穿越网络的路径,异常数据包在哪里发起,在哪里丢失等难于解决的问题。



    根据不同维度的路径分析需求,同时可以实现:

    有效识别与跟踪报文在网络内的标准三层路由、交换过程;

    有效识别与跟踪报文在网络内的源/目的NAT过程,无需取得现网设备上的实时NAT会话表;

    有效关联负载均衡、防火墙等处理设备的前后会话关联,包括TCPSEQ修改与重组关联;

    精确分析同一报文在两个不同采集节点位置的处理过程转发时延;

    对应分析上下游设备的厂商标识,帮助用户识别与梳理拓扑与数据包之间的关联关系。




等保2.0标准理解


    等保2.0全称网络安全等级保护2.0制度,是我国网络安全领域的基本国策、基本制度。等级保护标准在1.0时代标准的基础上,注重主动防御,从被动防御到事前、事中、事后全流程的安全可信、动态感知和全面审计,实现了对传统信息系统、基础信息网络、云计算、大数据、物联网、移动互联网和工业控制信息系统等级保护对象的全覆盖。
    近年来,随着信息技术的发展和网络安全形势的变化,等保1.0要求已无法有效应对新的安全风险和新技术应用所带来的新威胁,等保1.0被动防御为主的防御无法满足当前发展要求,因此急需建立一套主动防御体系。等保2.0适时而出,从法律法规、标准要求、安全体系等方面都有了变化。


1、标准依据的变化


    从条例法规提升到法律层面。等保1.0的最高国家政策是国务院147号令,而等保2.0标准的最高国家政策是网络安全法。


2、标准要求变化


    对云计算、物联网、移动互联网、工业控制、大数据新技术提出了新的安全要求。标准覆盖度更加全面,安全防护能力有很大提升。


3、安全体系变化


    等保2.0相关标准依然采用一个中心、三重防护的理念,从之前被动防御的安全体系向事前防御、事中相应、事后审计的动态保障体系转变。建立安全技术体系和安全管理体系,构建具备相应等级安全保护能力的网络安全综合防御体系,开展组织管理、机制建设、安全规划、安全检测、通报预警、应急处置、态势感知、能力建设、技术检测、安全可控、队伍建设、教育培训和经费保障等工作。



等保2.0“流量数据”分析需求和管理挑战


    随着等保2.0的不断实施,围绕着网络运维、安全分析、业务运维的需求不断面临新的挑战,“流量数据”检测已被推荐为等保2.0安全手段,对网络流量进行实时监控、分析。基于流量数据的广度分析、深度分析的技术手段在网络监测与分析、安全威胁检测与分析、业务监控与分析领域发挥了日益重要的作用,这为企业的旁路流量数据管理本身带来了显著的需求增长。同时众多维度的分析工具也使得安全及运维人员管理带来巨大的挑战。

    安全检测方面:系统、设备、流量、链路、威胁、攻击、审计等方面都涉及到流量数据分析,对应到网络安全产品上就是APTIDS、数据库审计、网络检测等都是需求流量数据做支撑,而部署的安全设备所检测的都是单一节点的流量数据,而且多维度安全检测工具也使得交换机设备无法满足。没有真正意义上的做到流量数据全面的检测,只是达到一个形式的安全检测目的。同时就安全而言把一台设备上的全流量数据镜像给这些形式上的安全设备后,一方面造成安全分析设备性能压力,另一方面对流量数据的安全性也无法保证。

    态势感知方面:海量数据采集、精准检测能力、全局可视能力、协同响应能力方面都涉及流量数据,都需要全网流量数据做分析依据。而对应的态势感知设备单一的部署与某一个通信节点处就会造成流量数据无法采集全网全流量及全网全局可视,并且虚拟化环境下的流量数据更是无法获取。这样就无法形成有效闭环的协同响应能力,无法从根本上满足等保2.0中对应需求。


 

    如上图所示,等保2.0建设下基于流量数据为支撑的安全分析工具(入侵检测、WEB审计,数据库审计、病毒检测、日志审计、态势感知)等都需部署与网络之中,从而使得在流量数据管理中带来如下难题:

  1. 多维度安全分析工具造成端口镜像不足交付困难;
  1. "数据中心加探针"的分析工具造成流量数据全网全量采集难题;
  1. 流量数据的来源/去向管理混乱;
  1. 虚拟化/云网络流量数据获取困难;
  1. 流量数据无限制分发面临泄密风险。


Matrix-SDN"流量数据"作为等保2.0落地的重要支撑


   应对等保2.0流量数据管理需求,日益复杂的流量数据位置、内容的管理需要,MATRIX-SDN采用“面向流量数据”的设计方式,一切从“流量数据”本身出发,对企业网络内的流量数据做全方面的采集流量数据管理,才能夯实流量数据基石,支撑IT系统的运维/安全业务需求,真正意义上满足等保2.0中流量数据安全管理需求。

  1. 全网数据采集,MATRIX-SDN流量数据采集网络将分散的光、电链路以及在线分光、旁路镜像、云计算/虚拟化环境下虚拟TAP等多种方式进行集中、全网流量数据采集,实现用户现网全量的原始流量数据捕获。真正意义上的满足等保2.0中的海量数据采集。
  1. 基于流量数据的敏感性、重要性,对流量数据的内容管控、对流量数据的来源、去向进行完整的全链条可视化管理,对流量数据的分发需求执行满足分析需求的最小化权限管控,对流量数据的内容实施必要的L2-L7层的分类、识别、脱敏处理,通过多方位全面管控的流量数据管理手段可以有效降低流量数据泄密风险、提升流量数据管理的安全性。从流量、链路、攻击、审计等方面做到等保2.0中所要求的数据安全性。
  1. matrix-sdn管理平台实现了面向用户网络平面拓扑、采集平面拓扑、分析平面拓扑的一体化拓扑视图,并对三平面拓扑之间的互联关系实现了互联集中一体化展现。管理人员面对复杂纷繁的流量采集来源、流量输出逻辑关系可以在平台中实现完美的可视化视图展现与管理,极大的减轻了安、运维管理人员的工作量。使得在等保2.0中所必须的安全审计设备管理变的更加高效和简单。



    流量数据管理平台已被证实在日常信息安全和网络运维以及重保活动中发挥了关键作用。企业应当重视流量数据管理,不仅仅因为等保2.0测评要求提出了新标准,更是因为流量数据管理的重要性在全球化网络环境中正在越来越清晰地体现出来,知己知彼,百战不殆,此次等保2.0测评对于流量数据管理的要求,正体现了国家对于建设网络安全环境的重视,像流量数据管理这样的新技术在网络安全行业中的应用和普及已经成为必需,对企业网络安全、社会网络安全和国家网络安全都有着重要意义。


回溯分析-等级保护2.0时代的必备工具


    网络安全等级保护制度2.0标准正式发布,并且大力开始实施。“流量数据”检测已被推荐为安全手段。在安全检测方面:系统、设备、流量、链路、威胁、攻击、审计。态势感知:海量数据采集、精准检测能力、全局可视能力、协同响应能力。《信息安全技术 网络安全等级保护测评要求》中,首次提出了对“流量回溯分析系统”和“流量存储”的要求。我们将分别从产品功能和技术要求的角度,介绍等级保护制度2.0中的流量回溯分析系统。



    流量数据回溯分析系统是一类网络安全基础设施,一个合理且完备的流量数据回溯分析应该包括数据调查、追溯、取证三个阶段。对网络流量进行实时监控、分析,人工智能学习,流量数据存储。发现隐藏在海量流量中的可疑活动与安全威胁,帮助企业安全团队精准检测失陷(被控)主机 ,定位攻击,追溯攻击链,防止攻击者进一步破坏系统或窃取数据。


    从系统架构上讲,流量回溯分析系统至少需要具备如下模块:



  1. 全流量文件提取与pcap存储:对网络全流量进行协议还原,提取网络流量信息,对所有报警和可疑网络行为保存pcap以供后续分析,并提供可视化能力对网络行为进行深度分析;
  1. 流量回溯分析模块:通过检测设备的摘要信息,通过实时流量数据检测和离线流量数据检测,在原始流量数据基础上快速分析各种不同维度的信息;
  1. 人工智能机器学习模型检测模块:应用人工智能机器学习算法对传统统计规则无法发现的网络威胁进行检测,如数据窃取行为、隧道通信行为等;
  1. 自定义阈值告警模块:支持提供自定义阈值告警功能,并应用于实时流量检测;
  1. 攻击链回溯分析模块:对所有发现的各类威胁告警可以按照攻击链进行关联,完整回溯攻击过程;
  1. 流量数据存储模块:对海量流量数据进行存储,应对流量数据追溯取证。


    从功能角度讲,流量回溯分析系统需要具有如下特点:



一、 快速检测威胁,精准定位被控主机


    流量回溯分析系统的首要作用,就是基于告警,补足传统边界防护设备在防御上缺失的环节,在关键的“命令与控制”、“横向移动”和“行动数据窃取”等环节中发挥作用,快速检测出正在进行的威胁,并结合流量分析和网络监控,迅速、精准定位被控主机。


二、 追踪攻击链全过程,及时发现窃取数据与破坏系统行为


    流量回溯分析系统的核心能力是应用多种检测机制在网络流量中发现异常流量信息。检测机制包括应用访问关系分析、回溯流量趋分析、回溯流量统计分析、回溯包长分布分析、回溯地理位置分布统计、回溯会话分析、回溯会话统计分析、回溯数据包分析、回溯TCP会话质量分析、回溯TCP会话异常分布分析等多种方法。利用以上分析方法,不仅定位内部机器被控情况,也能够上下关联全阶段追踪网络威胁,及时发现网络内部的恶意行为,并检测出数据窃取、破坏系统和业务连续性等恶意行为。


三、 提供丰富的报警上下文,清晰展现网络关联信息,指导安全分析团队快速分析和响应


    流量回溯分析系统能够清晰地归类威胁事件,并根据威胁情报提供丰富的威胁事件上下文信息,从而以攻击链的角度绘制出主机的行为,并通过可视化的方式将发现的失陷告警、关联主机、威胁类型、等进行关联展示,呈现当前组织内的所有失陷情况及关联威胁。


回溯分析解决之道-MATRIX-NetInsight


    流量数据作为用户IT业务行为的直接体现,流量数据回溯分析可以依据流量数据提供用户IT行为,结论,依据和凭证。网络异常访问行为或者攻击事件产生的流量可能转瞬即逝,通过抓取网络流量,提取需要关注的部分和进行事后的多维度分析;对于用户关键业务系统、应用和网络行为异常,实现实时发现、分析和回溯,具有现实意义。



    MATRIX-NetInsight网络回溯分析系统组件,包括:


  1. 数据存储具备长期的、可横向扩展的数据存储能力;提供五元组分析以及数据摘要信息;
  1. 行为取证,实现对存储的数据进行回溯的能力,可对已发生的网络行为进行回溯分析,为用户提供网络问题的追踪和取证;
  1. 流量数据下载,同时提供将流量数据推送至其它安全/行为分析系统;
  1. 数据流量与数据内容的可视化;
  1. 基于大数据的故障行为分析。


    MATRIX-NetInsight支持网络流量全量采集、存储和回溯分析,广泛应用于审计取证、应对未知威胁等领域。



    回溯流量趋分析,总流量、指定业务、指定IP地址、指定网络协议、指定应用协议的流量趋势展现;数据传输率/包传输率/并发连接数/连接频度的展现;折线图/堆积面积图等方式的展现。

    回溯流量统计分析,业务、IP地址、网络协议、应用协议的流量Top10展现;字节总数、发送字节数、接收字节数、包总数、发送包数、接收包数、连接总数、最高并发连接数、最高连接频度的统计展现;柱形图/环形图等方式的展现。

    回溯包长分布分析,指定网络协议、应用协议的数据包包长分布的分析展现;柱形图/环形图加列表方式的展现。

    回溯地理位置分布统计,统计对象为字节数/包数/连接数/连接频度的地理位置Top10统计展现;柱形图/环形图加列表方式的展现。

    回溯会话分析,TCP及UDP网络会话的分析展现;展现建立时间、结束时间、时长、服务器IP、客户端IP、服务器端口、客户端端口、传输层协议、应用层协议、总字节数、服务器字节数、客户端字节数、服务器包数、客户端包数、平均包长及会话状态;上述数据的模糊查询功能。

    回溯会话统计分析,针对指定业务或IP的会话统计功能,统计对象为访问该业务或IP的客户端的流量或连接数;柱形图/环形图加列表方式的展现。

    回溯数据包分析,数据包原始内容的展现;数据包的分层解析和展现,包括以太网帧、IP报文、TCP/UDP报文的结构和偏移解析等。
    针对业务和IP的访问关系分析,图形化展现特定业务或IP的访问关系;关键业务名称,IP地址,传输层协议,应用层协议,端口模糊查询。

    回溯TCP会话质量分析,TCP会话质量分析功能,包括尝试建链、建链成功、建链成功率、建链无响应、连接重置、连接重置率、重传数、重传率、零窗口、平均建链时长、最低建链时长、最高建链时长及RTT等。

    回溯TCP会话异常分布分析,包括重置、重传、零窗口各指标时间分布的图形化展现。



    根据等保2.0要求,事后审计、回溯、取证是网络安全分析的重要内容。等保2.0中涉及的系统网络和通信安全部分,可通过部署流量回溯分析系统,实现对网络攻击的检测和分析能力,特别是未知的新型网络攻击。现有安全分析工具,因为功能设计和数据通用性的考虑,通常自身不具备原始流量数据存储功能,用户在进行攻击溯源时,要求发现、追踪、取证,会遇到极大的障碍。基于以上原因,用户迫切需要流量回溯分析能力,用于解决网络事件溯源取证需求,同时可以应对新型网络攻击。流量回溯分析系统在网络安全中的应用和普及已经成为必需,对企业网络安全、社会网络安全和国家网络安全都有着重要意义。


流量数据管理发展背景


    随着中国社会及经济的发展,企业信息化程度的不断提升,网络的架构已经发生翻天覆地的变化。基于信息化程度的提升使得信息化系统、应用的架构不断演进,从而对企业网络架构、企业IT资产运维、企业信息安全管理手段提出了更高的要求。基于“流量数据”本身的丰富数据内涵,决定了“流量数据”的分析价值。在信息化/网络化不断发展的过程中,围绕流量数据的“信息安全分析”、“业务健康分析”、“IT运维大数据分析”等不胜枚举的多维度分析已经在各行各业的IT信息化中得到广泛应用,强有力的保障了企业信息安全及IT系统正常运行。


    本文首先简要回顾了迄今为止流量数据管理的三个阶段。然后,将介绍第三阶段流量数据管理架构创新:即流量数据可视化管理(Matrix-SDN),以及推动大型企业采用它的技术力量和运营挑战。


流量数据管理发展历程


    流量数据管理是专门建造的一种基础架构,将业务网络的流量数据输出给安全\运维分析工具。它是连接业务网络和安全\运维工具的桥梁。流量数据管理技术到现在有十几年的发展历史,大概经历了几个发展阶段。第一个阶段是流量数据获取阶段,为解决网络设备端口镜像不足;第二个阶段是流量数据预处理阶段,对流量数据进行预处理,提高流量数据的安全性和优化安全\运维分析工具的效率;第三阶段由于现代IT架构下业务场景的需要,流量数据管控阶段。对流量数据整体的梳理,以数据为核心管理。 在过去二十年里,一波又一波迅猛涌现的技术创新浪潮极大地提高了流量数据管理的技术水平。



第一阶段-流量数据获取(2008-2012)


    需求:流量数据无法获取、端口镜像不足、安全监控工具的增长、运维工具的发展。
    特征:流量复制、流量汇聚、流量分流、流量过滤。

    描述:TAP交换机通过串接或并接在网络中,采集网络镜像或者分光的流量数据,可复制到多个端口、或把多条数据汇聚到个别端口,再给后端需要对流量进行分析、监控的系统应用,还可以根据一定规则过滤出分析平台想要的镜像流量数据。



第二阶段-流量数据预处理(2012-2016)


    需求:流量数据特殊要求、动态流量数据获取,支撑运维排障。
    特征:去重、脱敏、截短、时间戳、封装/解封装、隧道内层识别与匹配、DPI数据分类识别。
    描述: TAP交换机,不只是对镜像数据进行“汇聚、分流、过滤”,还可以更高功能比如“去重、脱敏、截短、时间戳、封装/解封装、隧道内层识别与匹配、DPI数据分类识别”等处理,再将处理过的镜像数据给后端分析工具。满足流量数据特殊要求,支撑运维。



第三阶段-流量数据管理(2016-至今)


    需求:围绕流量数据的管理,满足流量需求基础上的管控、国家安全战略的提出和贯彻。
    特征:数据为核心的管理(数据分发、数据处理、数据监控)、智能,灵活的流量数据管理、大数据展示,节点流量多维度AI分析、异常监控,分析一体化。
    描述:随着流量数据需求增加。流量数据的集中采集、自由组网、统一分发,实现流量数据内容的识别、基于内容的分类管控和分发,最终形成一套“面向流量数据”的流量数据管控实现流量数据大数据展示,节点流量多维度AI分析、异常监控,分析一体化平台。



Matrix-SDN架构的第三阶段


    得益于先进的SDN技术理念,创新性将SDN技术应用于流量数据的集中采集、自由组网、统一分发,并结合先进的NP+ASIC的芯片解决方案,实现流量数据内容的识别、基于内容的分类管控和分发;实现” “采集平面” “网络平面” “分析平面”的三平面架构。最终形成一套“面向流量数据”的Matrix-SDN流量数据管控平台,为企业的流量数据管理提供完美的解决方案,为未来的流量数据需求管理铺平道路,如“流量数据中台”“流量数据安全管控” “快速流量交付”等方面。


流量数据组网


    以SDN技术为核心,以“控制面”、“数据面”分离的先进架构为指导思想,将传统的流量采集硬件设备SDN化,为流量数据统一采集与分发提供了灵活的组网能力。


数据源/目标可视化


    MATRIX-SDN管理平台实现了面向用户网络平面拓扑、采集平面拓扑、分析平面拓扑的一体化拓扑视图,并对三平面拓扑之间的互联关系实现了互联集中一体化展现。管理人员面对复杂纷繁的流量采集来源、流量输出逻辑关系可以在平台中实现完美的可视化视图展现与管理,极大的减轻了管理人员的工作量。


面向数据管控


    MATRIX-SDN平台引领行业趋势,摒弃“面向设备管控”的传统思路,实现“面向数据管控”的流量数据集中管控。用户可以基于网络流量数据的不同内容分类对流量数据实现更精细化、更为灵活的数据交付,为网络信息安全分析/IT运维分析构建坚实基础;减小流量数据泄密风险,提升数据安全性。


动态流量数据获取


    MATRIX-SDN为您提供随心所欲的数据探查功能,通过MATRIX-SDN平台上对任意已覆盖的采集点位置执行动态数据探测,直接探测是否存在故障通信端点是否有通信行为,排除客户端配置不正确问题。多节点同时探测指定通信端点双向通信行为,进一步定位网络/安全设备策略配置问题。基于多元组的数据过滤功能,基于MATRIX-SDN提供的灵活的数据探测之手,让运维人员随时随地获取想要分析的原始数据。直接最有效、最高效率的手段定位和解决故障。


虚实结合,一体化云采集


    结合MATRIX-SDN流量数据采集网,在VmwareOpenStackHyper-V环境下虚拟机之间东西向报文采集部署Vtap流量采集软件,通过Vtap软件,可以实现对传统方式无法采集的虚机之间的报文的采集,解决虚拟化/云网络流量数据获取困难,实现“东西向流量全面覆盖”的流量数据集中管控。为业务分析/安全检测分析构建全面覆盖的东西向流量数据。从而实现完全意义上的流量数据全面覆盖采集、统一集中管控,流量数据可视化。


AI智能感知网络/业务异常


    通过全网多节点流量数据采集、实时报文/业务统计,产生基于不同网络位置节点、不同业务数据流、不同报文特征(单/组/多播、包长、标记)等多个维度的周期性网络/业务表征数据,并将表征数据输入AI模型进行训练,经历数个训练之后,多层神经网络算法将自动在内部形成正常状态下的各个表征数据的内在函数关系模型,并以此模型对异常网络/业务状态下数据表征作出准确的判断和预警;基于AI的预警能够有效的感知企业网络内的业务或网络异常表征,在第一时间作出有效预警,为IT运维支撑人员争取提前反应时间,同时触发系统的流量快照现场数据捕获,有效提升故障解决效率。



Matrix-SDN方案推动第三阶段的创新

    融合先进的SDN技术及先进的NP+ASIC的芯片构建科学的流量数据采集网,应对日益增长的流量数据需求,日益复杂的流量数据位置、内容的管理需要,采用“面向流量数据”的设计方式,一切从“流量数据”本身出发,对企业网络内物理网络和云网络的流量数据做全方面的采集,实现流量数据全面覆盖,消除监控盲点。并且基于业务数据类型梳理流量数据,以不同的业务交互数据流具有的数据敏感特性、业务交互特征、协议特征具有良好的聚合性。以于不同的业务系统建立不同的分类流数据,并以不同的分类进行流量数据的分发管理控制,以“最小化数据权限”原则向不同的流量数据分析工具提供流量数据,从而降低流量数据安全风险,提升流量数据安全性。实现统一展现现网逻辑拓扑架构,清晰展现流量数据采集点所在现网逻辑位置和采集方式,统一展现流量采集网本身拓扑架构,对采集单元的工作状态、流量分发状态进行实时监控和管理。从而做到流量来源、处理过程、去向可视化三位一体的逻辑拓扑。清晰展现流量采集位置,处理策略,输入输出信息,使流量数据的管控策略从复杂转变为简单。实现流量数据动态获取,提供的灵活的数据探测之手,方便的数据探查功能,对任意已覆盖的采集点位置执行动态数据探测,直接探测通信端点的流量数据信息,让运维人员随时随地获取想要分析的原始数据,是有力的安全运维支撑工具,直接最有效、最高效的手段定位和解决故障。夯实流量数据基石,真正支撑IT系统的运维/安全业务需求。

    随着云计算技术的不断发展,传统网络架构已经无法满足现有的业务需求,网络数据中心越来越多应用系统从原来的物理机迁移至云平台,数据中心的云环境东西流量呈显著增长。网络流量采集分析已经成为数据中心基础设施不可缺少的分析手段,通过网络流量深度分析,我们能够更直观地加快故障定位、分析应用数据、协助优化定位,加快故障定位。网络流量采集也是一门学问,做得好会在关键时刻起作用,流量采集可不是简单地将几个网络设备端口的流量镜像一份发给分析服务器就了事,要建立一个覆盖全面、合理有效的流量采集网络,这样的流量采集才能有助于优化网络和业务性能指标,减少故障发生概率。


云计算环境网络流量采集需求


    传统物理流量采集网络无法对云计算环境东西向流量进行直接采集,导致云计算环境中的业务流量成为盲区:

    (1)云计算环境东西向流量无法直接采集使在云计算环境的应用系统无法部署基于实时业务数据流的监控探测,我们不能及时发现云计算环境中的应用系统的业务真实运行情况,给云计算环境中的应用系统的健康稳定运行带来一定隐患;
    (2)云计算环境东西向流量无法直接采集使虚拟环境中的业务应用发生问题时无法直接提取数据包进行分析,给故障定位带来一定困难;
    (3)随着网络安全和各类审计要求越来越严格,如BPC应用交易监控、IDS入侵检测系统、邮件以及客服录音审计等系统,对云计算环境东西流量的采集需求也越来越迫切。

    基于以上情况,实现对云计算环境东西流量数据提取成为必然趋势,我们必须与时俱进引入新的云计算环境东西向流量采集技术以使部署在云计算环境的应用系统同样可以拥有完善的监控支持,在发生问题和故障时可以采用抓包的手段进行问题的分析和数据流的跟踪。实现云计算环境东西向流量可提取可分析,是保障云计算环境部署的应用系统稳定运行的有力法宝。


传统云计算环境流量采集模式的选择


    云计算环境中流量未被物理网络的监测探针捕获使监测虚拟化系统带来难点,而目前能够实现云计算环境内流量监测的解决方案根据计算节点上可部署采集点的位置,云计算环境下的虚拟机流量采集模式可分为网元采集模式、Agent模式、虚拟机模式,对比说明如下:

  1. 网元采集模式:由虚拟网元(一般是虚拟交换机)直接提供虚拟流量镜像能力。用户可通过调用对应的API实现虚拟流量的采集能力。与策略采集不同,网元采集的粒度及灵活度多受限于网元接口API开放出来的能力。无法自行实现细粒度控制影响虚拟网元性能;
  1. Agent模式:在云计算环境中的每一台需采集流量的虚机上安装Agent,通过Agent代理提取云计算环境东西向流量分发给各个分析平台。需管理的Agent过多,故障时无法排除Agent自身的影响,需共用现有生产网卡吐流量,可能会对业务交互产生影响,新建虚拟机需同步部署Agent;
  1. 虚拟机模式:在云计算环境每台物理宿主机上安装统一的采集虚机(采集软探针),通过虚拟交换机上镜像流量的方式将该宿主机上的流量镜像给采集探针虚机,再分发至各监控分析平台。采集虚拟机被动接收流量,可镜像的流量大小由虚拟交换机性能决定,对虚拟交换机稳定性有一定影响,管理维护特别复杂,每个宿主机安装多个监测系统的方式系统资源开销太大,试想如果有7套流量分析系统,就需要在宿主机上安装7个监测采集虚拟机,这种资源开销是很难接受的,而且不是所有流量分析系统都有采集虚拟机版本。


Matrix-SDN实现云计算环境流量采集


虚拟化环境采集:


    在虚拟环境下部署vTAP流量采集软件,资源占用低并且具备完整的流量预处理能力。vTAP流量采集软件部署实施时无需对现有系统进行改造,对生产系统的依赖和影响降到了最低。



  1. vTAP用于采集同一物理宿主机中的虚拟机之间交互的东西流量,通过vTAP流量采集软件配置采集规则,实现精细采集和引流控制。vTAP流量采集软件可以镜像全部网络流量转发给后端系统进行分析处理;另外vTAP支持基于七元组(源IP、目的IP、源端口、目的端口、协议号、物理端口、VLAN)、报文特征、报文内容深层标识、IP网段等方式的过滤。vTAP可根据细粒度ACL策略(去重、脱敏、截短、封装等)对流量进行预处理,减低虚拟化环境流量输出性能。提升后端分析工具的效率。
  1.  vTAP支持端口/策略级的流量实时监控、告警监控、历史流量统计查询、提供基于图形化的、可探测某条链路流量类型、流量大小、流量应用分布的工具。流量可视化处理器支持流量可视化探测功能,对已捕获的目标流量进行基本分析、DPI深度分析、精准故障分析等。

    通过帮助用户构建高性能采集器,提高了虚拟化资源的利用率和虚拟化服务的安全性,实现精细化地管理客户服务,降低虚拟网络运维的复杂度,让企业更专注于业务的发展。


云计算环境采集:


    在云计算环境流量采集网络主要由流量采集管理平台和部署在虚拟化平台物理宿主机上的采集虚拟机(vTAP)两部分组成,结合MATRIX-SDN流量数据采集网,在虚拟化环境下虚拟机之间东西向报文采集部署vTAP流量采集软件,通过vTAP软件,实现“东西向流量全面覆盖”的流量数据集中管控。vTAP软件部署实施时无需对现有系统进行改造,满足虚拟化网络环境中部署零依赖、策略零干扰、资源消耗低等特性。



    MATRIX-SDN平台面向云端业务,支持用户根据应用和服务自定义精细的过滤策略,减少不必要的采集消耗。支持VMware、OpenStack、Hyper-v虚拟化环境的部署。基于逻辑网络对象、业务对象的流量分发,与其他功能组件完全解耦,采集的数据可与任意流量分析工具对接,进一步降低用户的运营成本。通过网络拓扑、虚拟网络流量统计,以360度视角呈现虚拟网络的全景视图,帮助用户梳理东西向流量与虚拟机的对应关系。其创新点及应用价值有以下几点:

  1. 通过vTAP流量采集软件配置采集规则,实现精细采集和引流控制。vTAP流量采集软件也可以镜像全部网络流量转发给后端系统进行分析处理;另外vTAP支持基于七元组(源IP、目的IP、源端口、目的端口、协议号、物理端口、VLAN)、报文特征、报文内容深层标识、IP网段等方式的过滤。vTAP可根据细粒度ACL策略(去重、脱敏、截短、封装等)对流量进行预处理,减低虚拟化环境流量输出性能。提升后端分析工具的效率;
  1. MATRIX-SDN平台统一管控,SDN控制器统一管控vTAP,SDN控制器负责vTAP的部署、虚拟化环境vTAP软件策略的配置下发以及vTAP软件到物理采集网络中的物理TAP 设备的隧道(GRE\VxLAN\ERSPAN等)建立等管理工作,SDN控制器统一管理vTAP设备,无需维护每一台vTAP。设备可以执行来自于控制器下发的多种不同类型的流量处理策略过对虚拟网络流量和基础设施信息的一体化采集、处理、输出,实现业务网络的全链路监控,量化业务网络的性能,更利于企业实现在线业务的全局优化;
  1. MATRIX-SDN平台的灵活的策略探测功能,对特定时段的流量进行实时的捕获和监控。基于流量趋势探测功能可以实现:基于特定的一个或多个流量数据虚拟采集点向其下发特定的仅用于监测和计数的流量统计策略。在下发动态的流量统计策略之后,可以通过MATRIX-SDN平台实时监测命中下发策略的流量趋势,也可以持续监测一段时间之后进行历史流量查询和展现。同时通过可视化分析系统与流量采集网络的协同工作,一旦网络出现异常时,通过“流量快照技术”将任意采集点的任意类型流量进行“拍照/录像”处理,准确保存网络多个位置的异常现场数据。


Matrix-SDN虚实结合一体化流量管理


    融合先进的SDN技术及先进的NP+ASIC的芯片构建科学的流量数据采集网,基于“虚实结合,一体化云采集”的能力,全面解决数据中心虚拟化/云网络的大量应用,虚拟服务器间的数据交互可能仅体现于同一服务器内部的内存数据交换,虚拟化/云网络流量数据获取困难,为业务分析/安全检测分析构建全面覆盖的东西向流量数据。从而实现完全意义上的流量数据全面覆盖采集,消除监控盲点。并且基于业务数据类型梳理流量数据,以不同的业务系统建立不同的分类流数据,并以不同的分类进行流量数据的分发管理控制,以“最小化数据权限”原则向不同的流量数据分析工具提供流量数据,从而降低流量数据安全风险,提升流量数据安全性。统一展现现网逻辑拓扑架构,清晰展现流量数据采集点所在现网逻辑位置和采集方式,统一展现流量采集网本身拓扑架构,对采集单元的工作状态、流量分发状态进行实时监控和管理。从而做到流量来源、处理过程、去向可视化三位一体的逻辑拓扑。清晰展现流量采集位置,处理策略,输入输出信息,使流量数据的管控策略从复杂转变为简单。流量数据动态获取能力,提供的灵活的数据探测之手,方便的数据探查功能,对任意已覆盖的采集点位置执行动态数据探测,直接探测通信端点的流量数据信息,让运维人员随时随地获取想要分析的原始数据,是有力的安全运维支撑工具,直接最有效、最高效的手段定位和解决故障。实现流量数据可视化,统一集中管控。




NT-VTAP组件:

  VTAP虚拟采集模块(软件化) - 运行于云平台实现机上,以虚拟化软件形式展现,实际上它是一个虚拟机,负责从VSWITCH收取数据包,进行二次隧道封装后发送给物理汇聚分流设备或者外部其它分析设备。主要实现功能要点:
a) 接收来自于vswitch/OVS层的镜像流量,实现流量数据的收取及二次隧道封装,并引流至VPP系列可视化管控设备单元进行统一流量管理。
b) 实现收取流量的数据包解码,基于用户控制策略实现特定报文的七元组过滤,执行流表跟踪,基于不同的数据流表实现不同的数据包动作处理。
c) 实现数据流的压缩处理功能,包括基于不同的数据报文类型的数据包去重、截断等处理。

    随着IT信息化的发展,信息安全领域和IT运维领域的网络流量数据分析成为不可或缺。进行“网络流量分析”的底层基础是对网络中实时传输的数据报文进行采集,根据对原始数据包中的相关信息的解析进行进一步的统计分析,如网络性能分析(NPM)和业务性能分析(APM),前者是针对网络性能指标,诸如:带宽、时延、抖动、丢包、重传、拥塞、网络攻击等进行分析统计和故障定位,后者主要根据数据报文所承载业务的具体特性,分析业务质量。“报文去重”的含义就是去掉采集到的重复报文,而在数据采集的过程中,“报文去重”有着重要的应用价值。


为什么会采集重复报文:


    现有的业务环境涉及众多网元、主机、服务器、数据库、中间件等。客户端对业务系统的访问,涉及客户端发起、服务器响应、建立连接、数据传输、上下文关联、经过安全策略、途经网元节点等诸多环节。为了实现对交易的综合管控、安全、优化与运维需求,需要进行逐个节点的流量数据采集与完整性分析。本示意图采集现场的部署方式是:交换设备通过端口镜像输出,防火墙通过分光器输出,经过流量采集系统采集与汇总,将流量数据发送至分析系统。



    从客户端发往服务端的数据报文packet,经过网络的传递,对于网络分析系统来说,通常会在全网布设多个数据采集点,于是在各个采集点分别会捕获到报文P1、P2、P3、P4、P5,这些报文都是与原始报文packet相关的报文,称同源报文。因为处的网络位置不同,所以报文的封装以及一些特征字节存在差异。报文 P1 和报文 P2 是在同一条链路上的两个采集点通过镜像方式采集,这两个报文完全相同。报文P3与报文P1和P2相比较,报文承载的Payload 相同,P1 和P2数据包存在 VLAN tag,P3没有VLAN tag。报文P4与报文P3相比较,因为经过了一台路由设备转发,数据包IP地址、MAC地址、IP_TTL、IP_Checksum 等的值不同。报文P5的数据带有 GRE、MPLS、VxLAN 等隧道协议的封装, Payload 部分与报文 P4 相同。报文p6与报文P5相比较,因为经过了一台防火墙设备转发,数据包TCP seq、TCP ack等的值不同。上述各个同源报文根据实际应用中的需求定义均可称为“重复报文”,根据后端分析系统的需要,去除冗余报文。保留1份数据报文输出给后端的网络分析系统。


重复报文对于后端分析的影响:


  1. 多点流量数据的采集与汇总,会产生重复流量数据,常规情况分析系统难于区分重复流量数据,多次获取相同的报文会让分析系统理解为网络重传行为或者是多次业务交易行为。造成分析系统性能下降,分析失真。


    图A环境的端口镜像因为进行了双向流量采集,进\出交换机端口的两次流量,会让分析系统接收到2份重复数据。

    图B环境的流量采集与汇总,发送到分析系统的数据,会让分析系统接收到6份重复数据。

  1. 多点流量数据采集与流量汇聚场景,相同流量数据按照既定队列通过流量采集系统输出给后端分析系统,造成分析系统无法识别乱序的报文,造成分析失真。


    汇聚流量数据时,如果经过第1台设备的会话队列信息还没有结束,第2台设备又开始发送相同的会话队列信息,则两条队列的流量数据可能交织在一起,单独看每条队列的报文信息是完整无误的。然而分析系统无法区分两条队列的报文差异,导致分析系统认为网络通信中存在TCP乱序。


NETTAP实现去除重复报文:


    NETTAP流量采集系统去重功能,根据报文重复的特点,以及分析系统的去重需求,将采集到的报文逐个比较,如果发现有重复现象,后进入的重复报文将被丢弃。只输出第一份数据,确保分析系统能正确处理流量数据,同时也为分析系统卸载。



    TAP流量采集系统将报文的Sip、Dip、Sport、Dport、TCP seq、TCP ack、Payload等参数的原始信息作为去重标识,将报文去重标识计算出一个特定的指纹信息,首先比较报文标识所计算的特定指纹信息,如果指纹信息相同,然后再比较报文去重标识的原始信息,如全部相同,则判断为重复报文,只转发首个报文,去除后续重复报文。同时给去重标识所计算出的特定的指纹信息加一个收敛时间,如果在一个收敛时间段内没有进行报文比对,表示去重标识老化,则清空该去重标识。如果在收敛时间快要结束时有报文进行比对的话,将重置该去重标识的收敛时间。
    隧道报文的去重(GRE/MPLS/VxLAN)等:隧道协议封装内部报文的去重,需要首先对报文进行去封装操作,然后再按照上述去重方法进行去重。


报文去重在网络流量分析中的应用场景:


    在IT网络中,通常出于业务运维和监管需要,会部署应用分析系统,这些系统往往从前端流量采集设备中获取指定的业务数据流进行多维度指标分析,如:业务响应率、业务连接成功率、交易量等信息。为覆盖不同的应用分析场景,需要业务流量在进入应用分析系统之前,对其基于采集节点部署现状、分析节点位置、分析目标等要求,进行不同手段的去重预处理:


1、基于全局的去重


    网络流量应用分析的时候,要保证数据的全面性、完整性,势必要在业务环境涉及网元节点部署多个采集节点。肯定难以避免的造成部分流量被重复采集,最后又会因为这些重复的、冗余的数据导致分析系统出现接收的流量超过分析能力,数据丢包,性能浪费。分析的结果失准、误判等问题。



    如上图所示,NETTAP流量采集系统将所有采集节点流量统一收敛,并进行有效的去重后,再输出到后端应用分析系统。可确保应用分析系统获取到的报文与原网络传输的报文数量一致、结构完整,从而使指标分析结果与现网业务实际运行情况保持一致,实现准确有效的应用分析价值体现。


2、基于防火墙报文变化的去重


    在应用分析的时候,当业务流量经防火墙转发时,出于业务流的安全考虑,会将报文的SEQ、ACK字段进行随机变更,按照常规的去重机制进行去重后输出,则会使(请求报文A,SEQ)、(响应报文B,ACK=SEQ’+1)这2种报文被输出。按照基于tcp_seq/ tcp_ack变化的去重机制进行去重后输出,则会使(请求报文A,SEQ)、(请求报文A,SEQ’)、(响应报文B,ACK=SEQ+1)、(响应报文B,ACK=SEQ’+1)这4种报文被输出,从而使得应用分析系统无法对其进行有效关联重组,造成指标分析偏差,分析的结果失准、误判等。



    如上图所示,NETTAP流量采集系统将流表信息关联去重机制,将墙前的采集端口分组绑定的去重、墙后的采集端口分组绑定,由于墙前墙后的数据属实同一个流表,只是数据经过防火墙后报文SEQ、ACK字段不同,所以只保留首先进来的端口组(墙前)报文,后进来端口组(墙后)的报文由于与墙前端口组报文流表一致,则判定为重复报文,直接丢弃。从而满足应用分析系统对同一业务经过防火墙的报文有效关联分析。


3、基于端口的去重


    在应用分析的时候,业务流量经防火墙转发时,防火墙不会将报文的SEQ、ACK字段进行变更,同时要对防火墙墙前墙后的数据分别分析时,需要将墙前和墙后的数据分类输出给后端不同的应用分析系统。此时按照常规的去重机制进行去重后输出,则无法实现数据分类输出。



    如上图所示,NETTAP流量采集系统基于不同流量输入端口分组绑定的去重,可对不同网络位置区、不同应用业务监控节点、防火墙前后的流量进行细分处理,从而满足应用分析控系统对不同数据来源对象在同一业务路径上的分层监控分析。


4、基于策略的去重


    对网络流量进行应用分析和网络分析的时候,需要对部分流量数据去重处理,部分流量数据切片处理,此时按照常规的全局去重机制进行去重后输出,则无法实现需求流量数据分类输出。



    如上图所示,NETTAP流量采集系统基于不同流量匹配策略,可将不同特征/类型的报文分别独立进行预处理动作后,按需输出到后端不同数据需求的分析系统,从而实现将流量分类预处理深度下沉至策略级。

LOGO
TAP汇聚分流器(也称为:网络分流器、在线TAP、镜像TAP)可以实现流量数据的多点采集、复制、汇聚、灵活组合输出。可以解决交换机端口镜像不足、扩大分析探针覆盖范围、各类旁路分析设备争抢镜像资源的问题。提供流量采集、流量复制、流量汇聚等流量管控功能,可选的可视化、路径分析、数据分析、流量去重流量脱敏、时间戳、切片、数据包截短、流量过滤等流量数据功能。
数维通信提供多种系统平台方案,包括:回溯分析、交易分析、VTAP、虚拟化采集、云采集等功能。
Inline Bypass流量牵引保护器(也称为:bypass交换机)用于在部署各类串接安全设备的同时,提供极高的网络可靠性,满足多种链路流量的安全保护需求。