[DAY 24] Dataset 的处理

前言


我们在 Training 的过程的中,一个很重要的 Part 就是如何出一个 Powerful、Useful 以及 Effcient 的 Model,但另一个很重要的 Part 就是我们对 dataset 的处理。举个例子来说,如果我们的 dtaset不够多,我们可以透过一些技巧来增加我们的 dataset 数量,像是一些 argumentation 的方法,而这一部份延伸出去又可以探讨这些argumentation 的方法是要在 CPU 上执行还是在 GPU 上执行更有效率等等议题;又或者说,如果我们今天的 dataset 真的很大怎麽办QQQ,可能全部 dataset 取出来的时候就已经超过 GPU 记忆体大小了QQQQQQQ 那我们可能可以考虑用 CPU 的 RAM 或者用 PICKLE 的方式去存取这个资料等等。
另外,除了如何使用 data argumentation 的技巧来增加我们 Training dataset,以及比较了一些常见的 data argumentation 在 CPU 上以及 GPU 上执行的效率差别,另一个问题是大型的 Dataset,这类的 Dataset 不是小小的像是 MNIST,而是向 ImageNet 这样的大型 Dataset,我们也要来记须说明一些大型Dataset可以使用的处理方法


<<:  [Day29] CSS display复习

>>:  Day28 - HTML 与 CSS (10) - 网页设计

Day6 Director & Match Function

首先我们会介绍 Director 是如何实作的,并介绍 Director 跟 Open-Match ...

Swift纯Code之旅 Day4.「画面分身术 - TableView & AutoLayout」

没错!到现在我们已经有了管理画面的TabbarController了, 今天呢,就要来将闹钟页面的画...

[Angular] Day28. Control Value Accessor (CVA)

前几篇介绍了 Form 的基本操作与概念,也介绍了如何在表单中加入验证,最後要来介绍 Angular...

无线网路安全-邪恶的双胞胎(Evil Twin) & 流氓接入点(Rogue Access Point)

作为安全专家,我们应该尽最大努力做出风险意识,明智的决策。窃听,仅密文攻击,流氓接入点和邪恶双胞胎...

Azure DNS 手把手基础教学

葛瑞部落格欢迎光顾 目的应用 Azure DNS 顾名思义就是做为名称解析的托管服务,主要用途如下:...