Day 24 物联网大数据的数据捕手Kinesis

看完了高并发架构的系列介绍後，今天开始来研究大数据相关的服务吧!我们先从数据串流相关的服务做起-Kinesis。

1. Kinesis的应用价值

Kinesis可以实现实时的大数据串流，并且具备可扩充性，让我们可以随时因应数据的规模，做效能的调控。Kinesis通常会应用在物联网相关的感测器上，因为这些感测器会即时产制大量的资料进行汇集，後台的系统也需要根据所接收的资料，即时做出回应。

2. Kinesis的组成与运作机制

Kinesis由4个部分组成:Kinesis Producers、Data Record、Kinesis Data Streams、Kinesis Consumers。
从资料产制方(例如各种感应器)产生的数据，称作Data Record。这些Data Record会经由Kinesis Producer这一支应用程序，被汇入Kinesis Data Streams。Kinesis Data Streams具备接收大量资料的能力，并可将资料提供给多个Kinesis Consumers；Kinesis Data Stream之所以具备处理大量资料的能力，主要来自於Shard数量的设置，设置越多的Shard，读写能力越大；每一个Shard每秒最多可写入不超过1MB资料，读取的话，则是每秒不超过2MB资料。Kinesis Consumers则是会接收来自Kinesis Data Streams的资料後，进行後续所需的加值应用服务。