Chap.O 基础 & 简介:
Prat1. Azure Machine Learning
什麽是 Azure Machine Learning?
Azure Machine Learning 是建立在云端上,专门用於负载机器学习庞大计算量的一个平台。
其图中流程大为以下:
- Compute:在云端上建立一个计算用虚拟机。
- Data Storage & connectivity: 资料存储与连结虚拟机。
- ML workflow orchestration:就是先前提过的机器学习 10 步骤。
- Model registration & management:将开发完成的模型注册以便从开发端连接到上线机台。
- Metrics & Monitoring:模型上线後的运行流量、效能评估与监控...等。
- Model deployment:将注册完成後的模型部属到上线机台。
1-1. Machine Learning Context
1. Data
A. Storage 资料存储
- Storage:存储服务。
- Data Lake Store:对特定行业(网购、监控等)大数据,提供「待分析的原始资料」的暂存服务。
- SQL Database:提供存储 SQL 资料服务。
- Cosmos DB:提供存储 no-SQL(半结构性)资料服务。
B. Transfer and Transform 转移与转换
将原始数据 ETL 到储存体的服务。
- Azure Data Factory:提供完全受控的无服务器资料整合服务。
- Azure HDInsight:提供开放原始码分析服务,如 Hadoop、Apache Spark、R 等。
- Azure Databricks:提供资料进行最佳化的分析平台。
2. Azure Machine Learning
- Data Scientist:对数据做初期分析、删减、递补、训练模型。
- App Developer:建立模型、开发应用程序。
- Software Engineer/Operator:依照服务部属模型、编排 ML 的执行及整合其排程。
3. ML-Powered Apps
A. Apps services
将开发完成的应用程序部属到服务器的服务。
B. Container Deployment
部属并控管容器的服务。
1-2. Machine Learning Operationalizatoin (ML Ops)
基於 DevOps 将 ML 的流程(资料分析到产出模型)产线化,从而加快开发速度。
- Infrastructure-as-code 和配置管理
- 版本控制与追踪
- 持续集成 (Continuous integration, CI) 和持续交付 (Continuous delivery, CD)
- 持续监控
1-3. Access Control Permissions
- 用户登录 Azure Active Directory (AAD) 并获取 token.
- Token 会授予 Azure ML workspace 的访问权限.
- 用 RBAC 来管控访问资源的权限
- 透过 SSH ,可对计算资源权限做选择性的开放
- 部署服务端点的访问权限,可使用密钥 (key) 或 token-based
1-4. Machine Learning Designer