DAY 22 Big Data 5Vs – Variety(速度) Kinesis (2)

接续介绍Kinesis家族中其它更实用的资料分析服务：

进入Kinesis服务首页可以看到这三个常常整合在一起的服务

Kinesis Data Stream(KDS)：
KDS是扩展性高且可靠的「即时real-time」资料串流服务，每秒可以持续从数以千计的资料源接收高达GB等级的资料。资料预设存24小时，可以调高累积至7天，7天以上可另外申请至365天。
(图片来源*)
KDS重要的三个部分：Producer → Data Stream → Consumer

首先建立的是资料串流，可以从左边工具栏或直接点选首页中按钮建立

Data Stream资料串流中的元件：

• Record：KDS中储存资料的基本单位。
  -Shard：是一连串的Record，每个Stream中有一个以上的Shard，建立时设定以stream为单位的累积容量。串流的总容量就是其中每个Shard容量的总和。
  -Partition Key : 可以将Stream中的Shard分组，有利於提高流量(throughput)。Producer在设计资料要传送到哪个Stream时需要指定Partition Key。是利用Hash 函数来分散Record到Shard。
  -Sequence Number : 每个Record都有Sequence Number

建立完成後就会有ARN供其它服务来订阅

Producer生产者：
产生Record并传送至指定的Shard
依建立方式分三类型：Kinesis Agent、AWS SDK、AWS KPL

Consumer消费者，也称为 Kinesis Data Streams 应用程序：
从指定Shard中读取Record
依建立方式分三类型：KDA、KDF、AWS KCL

*图片来源 ( https://docs.aws.amazon.com/zh_tw/streams/latest/dev/images/architecture.png )