[Day1] 何谓自然语言处理

其实google的话就会有很多相关自然语言处理的定义与文章,自然语言处理英文为Natural Language Processing,通常称作NLP,是人工智慧的一个应用领域,意思就是让电脑拥有理解人类语言的能力,但人的话语有时候是非常难理解的,连人与人之间都会产生误会了XD,要让电脑理解人的意思更是难上加难啊。
那为何要有这个技术的产生啊,其实就是希望可以透过电脑来帮助人们整理各式各样的资讯,例如国外的IMDB影评网站,今天我想去看一部电影,但我不知道这部评价如何,但我可以透过自然语言处理的方式来帮我计算正负评的个数,来作为我到底是否要花钱观看的依据,这样若是真的很难看的话是不是就是帮我省了一笔钱呢~又例如今天想去买手机,但却不知道哪个手机口碑好,若可以透过自然语言处理的部分将每个评论做个摘要,这样也就减轻自己上网看评论的负担了XD,如下图所示,整理出正负向的评论
sent_analysis


上述说明的其实只是其中一个例子而已,生活中其实有很多事情是可以透过NLP来改善的,那目前几乎都是利用机率模型、机器学习与深度学习的方式来了解文字的结构与意义,分析文字、撷取人物、地点和事件等相关资讯,藉由这些资讯可以达成需多应用,NLP其实又可以再分为NLU与NLG两部分:

  1. NLU(自然语言理解,Natural Language Understanding)就是理解文本、语言并提取资讯,例如现在的聊天机器人几乎都是藉由NLU的方式去找出使用者留言的Entity与intent,藉此来决定聊天机器人的response。
  2. NLG(自然语言生成,Natural Language Generation)的部分是经过NLU的处理之後,电脑理解了文本/句子的意义,来进行文字的生成,例如摘要提取、机器翻译等任务。

当然了~各位一定都听过当前最有名的模型,非google 的 BERT莫属吧,刷新了一堆自然语言的纪录,但虽然BERT非常有名,但我打算从一些基本简单的自然语言处理任务开始说明,再慢慢带到BERT的部分,第一天主要就是概略一下为何要NLP这个技术,下一篇会介绍断词!!

後续实作相关的篇章会尽量以繁体中文为主~~


<<:  Day1 风生水起,观元辰宫-1

>>:  Day01-认识环境

第4天~点餐系统

2022/1/19再练习一次: 改最上面标题的地方: 使用按钮ToggleButton和Switch...

倒数第4天

最近有银行在更新 似乎有灾情 来看看C#是否可以写出 定义银行帐户类型 您可以从建立能定义该行为之类...

谁温暖了资安部-赛後感想

谢谢iT邦帮忙,今年又办了iT邦帮忙铁人赛! 今年,比较特别,在看到官方的开赛日期、最後发文日期後,...

企划实现(11)

FB登入 以上功能都完成後就要开始环境的建置了 第一步:下载android studio sdk(如...

DAY28 - EDM切版

还有一种类型的切版,是EDM切版, EDM切版是什麽呢? 指的就是信里面看到的版面,像是下面这个就是...