Day29:Azure小白想早下班--之--使用Azure Synapse Analytics汇入数PB资料

在昨天我们讲过Azure小白如何使用Azure Cache for Redis来存取常用资料後

今天我们来聊聊Azure Synapse Analytics,我们会谈到PolyBase的运作方式

将文字资料上传至Azure Blob存放区,收集Azure Blob存放区的安全性金钥

建立Azure Synapse Analytics服务器,将资料从Blob储存体汇入Azure

Synapse Analytics

PolyBase 简介

Azure Synapse Analytics服务的资料仓储元件是一种使用大量平行处理(MPP)

架构的关联式巨量资料存放区。 其会利用 Azure 计算和储存资源的随选弹性

调整，以载入和处理数 PB 的资料,而不需花费数个小时。 透过SQL资料仓储，

你可以更快速地存取制订正确商务决策所需的重要资讯。

Azure Synapse Analytics的主要特色是，你只需支付所需的处理费用。

你可以决定你的工作需要多少平行处理原则。也可以在计算节点不在使用中时

暂停这些节点。 如此一来，你只需支付所使用 CPU 时间的费用。

下列架构图说明如何在连线到Azure Blob 储存体这类外部资源的每个计算节点

上，透过资料移动服务 (DMS) 的每个 HDFS 桥接器来完成载入作业。 接着

PolyBase 即可在 SQL 资料仓储和外部资源之间双向传输资料，以提供快速

的载入效能。

使用 PolyBase 撷取、载入和转换资料

请遵循下列步骤，为 SQL 资料仓储实作 PolyBase 撷取、载入和转换程序：

1.将来源资料撷取至文字档。

2.将资料载入 Azure Blob 储存体、Hadoop 或 Azure Data Lake Store。

3.使用 PolyBase 将资料汇入 SQL 资料仓储的暂存表格。

4.转换资料 (选择性)。

5.将资料插入生产资料表。

以下为 Azure Synapse Analytics(前身为Azure SQL Data Warehouse)进行sql查询画面

手把手在Azure Synapse Analytics建立资料仓储步骤

https://docs.microsoft.com/zh-tw/learn/modules/design-azure-sql-data-warehouse/7-create-azure-dw-using-portal

手把手建立空白的 Azure Synapse Analyticsy步骤

https://docs.microsoft.com/zh-tw/learn/modules/import-data-into-asdw-with-polybase/3-create-azure-dw-using-portal

手把手建立来源资料的Blob 容器步骤

https://docs.microsoft.com/zh-tw/learn/modules/import-data-into-asdw-with-polybase/4-exercise-create-blob-storage

手把手将资料上传至Azure Blob储存体容器步骤

https://docs.microsoft.com/zh-tw/learn/modules/import-data-into-asdw-with-polybase/5-upload-text-data

手把手撷取储存体帐户的 URL 和存取金钥步骤

https://docs.microsoft.com/zh-tw/learn/modules/import-data-into-asdw-with-polybase/6-get-url-and-key

手把手使用PolyBase将资料从Blob储存体汇入Azure Synapse Analytics步骤

https://docs.microsoft.com/zh-tw/learn/modules/import-data-into-asdw-with-polybase/7-import-data-from-blob-to-dw

Day29讲义:

https://docs.microsoft.com/zh-tw/learn/modules/import-data-into-asdw-with-polybase/