事件处理引擎概念（事件关联分析引擎）

本篇文章给大家谈谈事件处理引擎概念，以及事件关联分析引擎对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。 今天给各位分享事件处理引擎概念的知识，其中也会对事件关联分析引擎进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、决策引擎与规则引擎有什么区别？
• 2、本地管理主机可通过什么对入侵检测设备进行配置管理
• 3、Flink——Exactly-Once

决策引擎与规则引擎有什么区别？

区别：

1、运行方式不同
规则引擎是需要电子商城的实际业务的运用人员进行相关的调整和设置；

决策引擎虽然能够根据实际的业务进行相关的人工干预，但是其实现是系统自动化的。

2、用户不同

规则引擎是针对的是电子商城的某一个或者多个客户群；

决策引擎则是精准到单个用户的偏好。

3、意义不同

规则引擎是一个工具，本身是不带规则的，规则需要人为输入，可单独将规则从系统剥离出来放到规则引擎平台单独进行执行管理。具有一定智能化的使用价值，可以按照需求来进行规则的配置、执行、管理，不同的行业都可以配置出属于自己不同的规则平台。

决策引擎，就是已经包含了很多的规则、决策条件，具备了对规则的决策能力，如风控决策引擎，就是在金融行业的风险控制环节进行决策的。

本地管理主机可通过什么对入侵检测设备进行配置管理

1．每秒数据流量（Mbps或Gbps）
每秒数据流量是指网络上每秒通过某节点事件处理引擎概念的数据量。这个指标是反应网络入侵检测系统性能的重要指标事件处理引擎概念，一般涌Mbps来衡量。例如10Mbps, 100Mbps和1Gbps。
网络入侵检测系统的基本工作原理是嗅探（Sniffer），它通过将网卡设置为混杂模式，使得网卡可以接收网络接口上的所有数据。
如果每秒数据流量超过网络传感器的处理能力，NIDS就可能会丢包，从而不能正常检测攻击。但是NIDS是否会丢包，不主要取决于每秒数据流量，而是主要取决于每秒抓包数。
2．每秒抓包数（pps）
每秒抓包数是反映网络入侵检测系统性能的最重要的指标。因为系统不停地从网络上抓包，对数据包作分析和处理，查找其中的入侵和误用模式。所以，每秒所能处理的数据包的多少，反映事件处理引擎概念了系统的性能。业界不熟悉入侵检测系统的往往把每秒网络流量作为判断网络入侵检测系统的决定性指标，这种想法是错误的。每秒网络流量等于每秒抓包数乘以网络数据包的平均大小。由于网络数据包的平均大小差异很大时，在相同抓包率的情况下，每秒网络流量的差异也会很大。例如，网络数据包的平均大小为1024字节左右，系统的性能能够支持10,000pps的每秒抓包数，那么系统每秒能够处理的数据流量可达到78Mbps，当数据流量超过78Mbps时，会因为系统处理不过来而出现丢包现象；如果网络数据包的平均大小为512字节左右，在10,000pps的每秒抓包数的性能情况下，系统每秒能够处理的数据流量可达到40Mbps，当数据流量超过40Mbps时，就会因为系统处理不过来而出现丢包现象。

在相同的流量情况下，数据包越小，处理的难度越大。小包处理能力，也是反映防火墙
1/6
性能的主要指标。
3．每秒能监控的网络连接数
网络入侵检测系统不仅要对单个的数据包作检测，还要将相同网络连接的数据包组合起来作分析。网络连接的跟踪能力和数据包的重组能力是网络入侵检测系统进行协议分析、应用层入侵分析的基础。这种分析延伸出很多网络入侵检测系统的功能，例如：检测利用HTTP协议的攻击、敏感内容检测、邮件检测、Telnet会话的记录与回放、硬盘共享的监控等。
4．每秒能够处理的事件数
网络入侵检测系统检测到网络攻击和可疑事件后，会生成安全事件或称报警事件，并将事件记录在事件日志中。每秒能够处理的事件数，反映了检测分析引擎的处理能力和事件日志记录的后端处理能力。有的厂商将反映这两种处理能力的指标分开，称为事件处理引擎的性能参数和报警事件记录的性能参数。大多数网络入侵检测系统报警事件记录的性能参数小于事件处理引擎的性能参数，主要是Client/Server结构的网络入侵检测系统，因为引入了网络通信的性能瓶颈。这种情况将导致事件的丢失，或者控制台响应不过来了。

Flink——Exactly-Once

Apache Flink是目前市场最受关注的流计算处理引擎事件处理引擎概念，相较于Spark Streaming的依托Spark Core实现的微批处理模型，Flink是一个纯粹的流处理引擎，其基于操作符的连续流模型，可以达到微秒级别的延迟。

Flink实现了流批一体化模式，实现按照事件处理和无序处理两种形式，基于内存计算。强大高效的反压机制和内存管理，基于轻量级分布式快照checkpoint机制，从而自动实现了Exactly-Once一致性语义。

1. 数据源端

支持可靠的数据源(如kafka), 数据可重读

Apache Flink内置FlinkKafkaConsumer010类，不依赖于 kafka 内置的消费组offset管理，在内部自行记录和维护 consumer 的offset。

2. Flink消费端

轻量级快照机制: 一致性checkpoint检查点

Flink采用了一种轻量级快照机制(检查点checkpoint)来保障Exactly-Once的一致性语义。所谓的一致检查点，即在某个时间点上所有任务状态的一份拷贝(快照)。该时间点是所有任务刚好处理完一个相同数据的时间。

间隔时间自动执行分布式一致性检查点(Checkpoints)程序，异步插入barrier检查点分界线，内存状态自动存储为cp进程文件。保证数据Exactly Oncey精确一次处理。

(1) 从source(Input)端开始，JobManager会向每个source(Input)发送检查点barrier消息，启动检查点。在保证所有的source(Input)数据都处理完成后，Flink开始保存具体的一致性检查点checkpoints，并在过程中启用barrier检查点分界线。
(2) 接收数据和barrier消息，两个过程异步进行。在所有的source(Input)数据都处理完成后，开始将自己的检查点(checkpoints)保存到状态后(StateBackend)中，并通知JobManager将Barrier分发到下游
(3) barrier向下游传递时，会进行barrier对齐确认。待barrier都到齐后才进行checkpoints检查点保存。
(4) 重复以上操作，直到整个流程完成。

3. 输出端

与上文Spark的输出端Exactly-Once一致性上实现类似，除了目标源需要满足一定条件以外，Flink内置的二阶段提交机制也变相实现了事务一致性。**支持幂等写入、事务写入机制(二阶段提交) **

这一块和上文Spark的幂写入特性内容一致，即相同Key/ID 更新写入，数据不变。借助支持主键唯一性约束的存储系统，实现幂等性写入数据，此处将不再继续赘述。

Flink在处理完source端数据接收和operator算子计算过程，待过程中所有的checkpoint都完成后，准备发送数据到sink端，此时启动事务。其中存在两种方式事件处理引擎概念： (1) WAL预写日志: 将计算结果先写入到日志缓存(状态后端/WAL)中，等checkpoint确认完成后一次性写入到sink。(2) 二阶段提交: 对于每个checkpoint创建事务，先预提交数据到sink中，然后等所有的checkpoint全部完成后再真正提交请求到sink, 并把状态改为已确认。
整体思想: 为checkpoint创建事务，等到所有的checkpoint全部真正的完成后，才把计算结果写入到sink中。

关于事件处理引擎概念和事件关联分析引擎的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。 事件处理引擎概念的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于事件关联分析引擎、事件处理引擎概念的信息别忘了在本站进行查找喔。