要让python程序具有spark的功能，能够编写出在spark上运行的程序，需要先导入pyspark的包
frompyspark import SparkContext
然后假设要从一个文本文件中读取数据，进行词频统计，那么就要先读取文本文件
textFile= sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt")
textFile是一个方法，可以用来加载文本数据，如果要加载本地文件，就必须使用file:///加路径的形式
从文本中读取数据后就要开始进行词频统计了
wordCount= textFile.flatMap(lambda line: line.split(" ")).map(lambda word:(word,1)).reduceByKey(lambda a, b : a + b)
flatMap会逐行遍历文本内容，然后对每行内容进行flatMap函数括号内的操作，即lambda line:line.split(" ")，该操作会把每一行内容赋值给line,然后对每一个line进行split(" ")操作，即对每一行用空格分隔成单独的单词，这样每一行都是一个由单词组成的集合，因为有很多行，所以就有很多个这样的单词集合，执行完textFile.flatMap(lambda line: line.split(" "))后会把这些单词集合组成一个大的单词集合
map(lambdaword: (word,1))中的map会对这个所有单词的集合进行遍历，对于每一个单词进行map函数内的操作，即lambda word: (word,1)，该操作会把每个单词赋值给word，然后组成一个键值对，这个键值对的key是这个单词，而value是1，这样就把每一个单词变成了这个单词的键值对形式（此时word是会有重复的，键值对也是相应重复的，只是把单词变成了键值对），执行完map之后已经获得了一个RDD,RDD中的每一个元素是很多个键值对
reduceByKey(lambdaa, b : a + b)会对RDD中的每个元素根据key进行分组，然后对该分组进行括号内的操作，即lambda a, b : a + b，通过对具有相同key的元素进行该操作进行reduce操作，reduce操作会把具有相同key的元素的value进行相加，然后每一个相同key的键值对，最后变成一个键值对，key是一样的key，而value是具有相同key的键值对的个数，这样，词频统计的过程就完成了输出每一个统计后的键值对即可
【转载】原文地址：https://blog.csdn.net/superce/article/details/80921125
| 欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) | 黑马程序员IT技术论坛 X3.2 |