Strom,大数据计算平台框架

Strom主要用于实时的流式数据处理,它与Spark最大的区别在于【实时性】😀:Spark先收集一段时间的数据再进行统一处理,好比看网页统计票数,每隔一段时间刷新一次;而Strom则是完全实时的,来一条数据就立刻处理一条。但Strom的缺点在于无论是离线批处理、高延迟处理、交互式查询,都不如Spark框架。不同的机制决定了二者使用的场景不同,比如炒股中股价的变化是秒级的,因此适合采用计算延迟度为妙级的Spark框架;但在高频交易中,高频获利与否往往就在1ms之间,就比较适合采用实时计算延迟度的Strom。

Strom的6个特点:

1、 整合性:Strom可方便地与消息队列系统(如Kafka)和数据库系统进行整合;

2、 可扩展性:Strom的并行特性使其可以运行在分布式集群中;

3、 简易的API:Strom的API在使用上既简单又方便;

4、 可靠的消息处理:Strom保证每个消息都能完整处理;

5、 容错性:Strom可以自动进行故障节点的重启,以及几点故障时任务的重新分配;

6、 支持多种编程语言:Strom支持使用各种编程语言来定义任务。