DAY 29 Big Data 5Vs – Value(价值) - AWS SageMaker & ML Family

资料要产生出价值就不得不提AI与机器学习，各种AI的应用已成为各大平台服务的必争之地，透过演算法从不同的视角理解出数据资料中不同的逻辑已是近年来的趋势。甚至因为各种深度学习的技术支持，让原本像语音、图片这类不能被传统分析工具消化的资料可以被分析，丰富了整个分析生态，常听到的影像辨识就是其中一种应用。

传统资料分析与机器学习分析的差别有点像是统计学中 归纳法与演绎法 的差别，前面二十几天的所建立的资料架构是透过蒐集资料後对这些历史资料作清洗、筛选後归纳出已发生事实的可能因素，统整各个面向的归因後提出分析报告，基本上这样的分析结果已经具有一定的价值了。

但机器学习的技术让我们可以从历史资料中推导出不同的预测，清洗完的资料如果有了演算法的助力，就可以从被转换成数字後的商业事实中找中不同的发现，有点像不只是归纳过去也用演算法的逻辑预测未来，监往知来，让分析结果的附加价值大大增加。

Amazon SageMaker是AWS上提供了让开发人员可以轻松建立、训练与部署机器学习模型的托管服务。将ML运算任务搬上云的好处除了更容易取得更多的算力之外，在云端上建立模型可以更容易的部属或再串接其他服务并将它转化为行动。
进入帐号後点选下拉选单进入SageMaker服务页面

右边的SageMaker Studio是整合了资料准备与模型建置、训练、调参到部属的IDE服务(对应下图)
左边的工具栏可以按照自已需求建立SageMaker Notebook开发环境(对应下下图)


Ground Truth 是可以建立前期处理贴标labeling任务

点选Create Notebook Instance就是在EC2上建立Jupyter Notebook的开发环境



按照开发需求设定组态
Notebook和Studio的差别是Studio可以选的硬体比较少但他开启的时间更快


先建立的Instance都会有很多内建的范例可以点选来尝试，步骤也都很详细，使用上就是Jupyter Notebook ，在开发环境中的要用的资料或是建立好的模型都可以储存在S3 bucket

Amazon SageMaker算是PaaS服务所以是提供给有技术背景的分析人员使用，而近来低程序码服务的流行，AWS上提供很多AI/ML的SaaS服务让更广泛的使用者可以感受AI的魅力。

以Lookout for Vision为例，这是个可以指需要少量资料集就能快速建立图片异常侦测模型的服务

进入服务画面後点选建立专案

建立专案会需要指定对应的S3 bucket存放资料
之後进在S3 服务建立另一个bucket 其中分别建立好 异常与正常的资料夹存放对应的图片

按照规定分别上传照片後就可以回到Lookout for Vision导入照片

确认照片与下方标签有正确标示就可以开始训练模型

建模完成後可以点进去看模型结果，如果不理想可以调参或提供更多图片後重新训练

结果就存在S3，可以被後续inference或投入生产

*AI/ML的SaaS服务 ( https://aws.amazon.com/tw/machine-learning/ai-services/ )
*低程序码 ( https://zh.wikipedia.org/wiki/%E4%BD%8E%E7%A8%8B%E5%BC%8F%E7%A2%BC%E9%96%8B%E7%99%BC%E5%B9%B3%E5%8F%B0 )