前言

使用pyspark函式库实作 word count程序。

程序实作

安装 pyspark函式库

pip install pyspark

import sys
 
from pyspark import SparkContext, SparkConf
 
if __name__ == "__main__":	
	# 建立 Spark context
	sc = SparkContext("local","PySpark Word Count")	
	# 自 imput.txt 读出
	words = sc.textFile("/Users/allen/Dropbox/Code_Section/CodeWS/30/input.txt").flatMap(lambda line: line.split(" "))
	# 计算每个字的次数
	wordCounts = words.map(lambda word: (word, 1)).reduceByKey(lambda a,b:a +b)
	# 将计数输出
	wordCounts.saveAsTextFile("/Users/allen/Dropbox/Code_Section/CodeWS/30/output/")

程序执行成果