黑马程序员技术交流社区

标题: 【上海校区】spark创建DF的两种方式 [打印本页]

---

作者: 梦缠绕的时候    时间: 2019-1-25 10:10
标题: 【上海校区】spark创建DF的两种方式
方式一：反射：(使用这种方式来创建DF是在你知道字段具体有哪些)
1.创建一个SparkContext，然后再创建SQLContext
2.先创建RDD，对数据进行整理，然后关联case class，将非结构化的数据转换成结构化数据
3.显示的调用toDF方法，将RDD转换成DF（需要隐私转换）
4.注册临时表
5.执行SQL(Transformation,lazy)
6.zhixAction

val conf = new SparkConf().setAppName("df").setMaster("local")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    //创建一个普通RDD
    val rdd = sc.textFile("G:\\qf大数据\\spark\\day06_sql\\students.txt")
    val student: RDD[Student] = rdd.map(x => {
      val sp = x.split(" ")
      Student(sp(0).toInt, sp(1), sp(2).toInt)
    })
    import sqlContext.implicits._
    val df: DataFrame = student.toDF()
    df.registerTempTable("student")
    val df1 = sqlContext.sql("select * from student where age<18")
    df1.show()
    //将数据使用json的格式保存，并且这里使用的追加的操作。
    df1.write.mode(SaveMode.Append).json("")

方式二：接口方式：（不知道数据的具体字段有哪些，一般开发中都会使用这种方式）
1.创建sparkContext，然后创建SQLContext
2.想创建RDD对数据进行整理，然后关联Row，将非结构化数据转换成结构化数据
3.定义schema（StructType(Array(StructField()）
4.注册临时表
5.执行SQL
6.执行Action

val conf = new SparkConf().setAppName("df02").setMaster("local")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    val rdd = sc.textFile("G:\\qf大数据\\spark\\day06_sql\\students.txt")
    rdd.map(x=>{
      val str = x.split(",")
      Row(str(0).toInt,str(1),str(2).toInt)
    })
    val structType = StructType(Array(StructField("id",IntegerType,true),StructField("name",StringType,true),StructField("age",IntegerType,true)))
    val df = sqlContext.createDataFrame(structType)
    df.registerTempTable("student")
    sqlContext.sql("select * from student")

---

作者: 不二晨    时间: 2019-2-14 14:47
奈斯

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2