Day19 NiFi - 与 AWS SNS & AWS SQS 对接设定

今天要来介绍如何从 NiFi 将 FlowFiles 送到 SNS 和 SQS，一样就有原生的 Processor 就可做操作了，所以也不会到非常复杂。

SNS & SQS

一样在操作前，仍先来简单介绍一下这两个服务，若有不熟悉的读者可看一下我如下整理好的表格：

我们都能想像成两个服务都是类似一个 Queue 的概念，只是其中 SNS 中间并不会保留资料与讯息，所以若接受的服务坏掉了，则资料或讯息就会不见了; 反之，SQS 很明确就是一个 Queue，会保留资料14天，若 Consumer 服务坏掉时，後续启动仍可以取得近期14天内的资料。

How to use?

SQS

在 Nifi 这边有三种关於 SQS 的 Processor，分别是 GetSQS、PutSQS、DeleteSQS，这些的设定都差不多，所以我们可看到如下要注意的设定：

• Queue URL
  填入 AWS SQS url，可以在 AWS SQS Console 上取得，直接复制贴过来即可。
• AWS Credentials Provider service
  一样指定好原先建立的 AWS Controller Service。
• Region
  设定好对应的 region。
• Batch Size
  该参数代表一次要拉多少笔 Record，预设为 10 笔。

SNS

NiFi 对於 SNS 的 Processor 目前只有 PutSNS 可以做使用，来让我们可以将 FlowFile 传送到 SNS 对应的 topic 下：

• Amazone Resource Name
  一样可以到 AWS SNS 的 topic Console 取得 ARN，直接复制贴过来即可。
• ARN Type
  预设为 Topic ARN，来让我们可将 FlowFile 指定到上一个设定的 SNS topic。
• Region
  设定好对应的 region。
• AWS Credentials Provider service
  一样指定好原先建立的 AWS Controller Service。

如上述设定完之後，就可以轻松与 SNS 和 SQS 做整合了。

小总结

今天这篇的篇幅相对比较简单，一方面是目前 NiFi 所支援的 Processor 就前面所列出这些，而大致上的设定都与前面的 AWS 服务相同，只有一两个参数要特别留意。

所以读者们应该会发现，只要我建立好 AWS Controller Service 之後，剩下的都是个别服务的调整，甚至有些可以在 AWS Console 贴过来即可，或是设定成 Parameters 也可以。所以整体在对 AWS 服务的操作都十分简单，接下来就会带读者们操作 GCP 的服务了。

Reference

• Apache NiFi Document