机器学习:建模方法

机器学习的核心流程包括了业务洞察(Business Insight)、资料处里(Data Curation)、模型训练(Modeling)、布署上线(Deployment)、A/B 实验(Testing)、即时监控(Feedback)、持续优化(Improvement)。

在众多的机器学习主流框架当中,TensorFlowPyTorch 仍是主流,都有广泛的应用。

  1. 业务分析:
    理解业务场景(销售、商品、渠道、竞品、会员)及资料关联性,以选择适当的演算法及学习框架、确认建模方式和学习工具,
  2. 资料收集:
    确保业务资料的真实性与一致性。
  3. 资料整合:
    资料标记(Lable)和特徵提取(Feature Extraction)。
  4. 资料清理:
    格式化和杂讯(Noise)消除。
  5. 资料规约:
    • 维度规约:
      删除不必要的特徵値来压缩资料量:决策树、随机森林、主成分分析
    • 数值规约:
      将特徵值划离散化减少连续尺度的资料个数:线性回归、分群、采样
  6. 资料变换:
    归一化(Normalization)、标准化(Standardization)和零均值化(Zero-centered)等资料激活方法。
  7. 资料探索:
    透过资料可视化、拟合(Fitting)函式、特徵向量和特徵值计算探索资料的规律和关联性。
  8. 特徵工程(Feature Engineering):
    结合:专家经验"及"先验知识"持续进行 资料清理 → 资料规约 → 资料变换 以控制资料质量。
  9. 模型训练:
    在模型训练过程,持续对 模型框架、目标函式、停止条件 对"超参数"进行优化调整。
  10. 模型评估:
    使用留出法、交叉验证法、自助法,对精准度、召回率、AUC、损失(Loss)等指标进行评估。
  11. 布署上线:
    将模型布署於线上服务,提供即时决策功能。
  12. A/B实验:
    持续验证及优化模型。
  13. 即时监控:
    监控特徵値分布作为模型优化依据。
  14. 资料回归:
    将请求讯息、预估结果、特徵快照、用户行为等资料回归到"资料收集"步骤。

<<:  [重构倒数第16天] - 选择套件给我好好选啊!

>>:  DAY03 - 找到自学程序の入门砖

[Day 01] - 前言-在开始之前

前言 大家好,我是rei1997 想趁着这次的铁人赛督促自己学一些新东西, 虽然天天都在加班,只能趁...

Day 5 - Flex Panels Image Gallery

前言 JS 30 是由加拿大的全端工程师 Wes Bos 免费提供的 JavaScript 简单应用...

Android学习笔记25

Android TV 首先要先在gradle中加入 implementation 'androidx...

【Day 29】情境模拟:如何沟通让工程师在乎设计细节 !? 设计师需要学前端技术面吗 !?

工程师不在乎设计细节怎麽办!? 设计师需要学前端技术面吗!? 专案中如果碰到不在意间格距离、颜色色码...

更新网格交易机器人

1.新增ENABLE_PREMARKET选项,打开的话可以机器人在收盘的时候会挂单(没实质作用,就是...