|
【郑州校区】spark笔记之DataFrame常用操作
3.1. DSL风格语法DataFrame提供了一个领域特定语言(DSL)来操作结构化数据。 下面是一些使用示例 （1）查看DataFrame中的内容，通过调用show方法 personDF.show （2）查看DataFrame部分列中的内容 查看name字段的数据 personDF.select(personDF.col("name")).show 查看name字段的另一种写法 personDF.select("name").show 查看 name 和age字段数据 personDF.select(col("name"), col("age")).show （3）打印DataFrame的Schema信息 personDF.printSchema （4）查询所有的name和age，并将age+1 personDF.select(col("id"), col("name"), col("age") + 1).show 也可以这样： personDF.select(personDF("id"), personDF("name"), personDF("age") + 1).show （5）过滤age大于等于25的，使用filter方法过滤 personDF.filter(col("age") >= 25).show （6）统计年龄大于30的人数 personDF.filter(col("age")>30).count() （7）按年龄进行分组并统计相同年龄的人数 personDF.groupBy("age").count().show 3.2. SQL风格语法 DataFrame的一个强大之处就是我们可以将它看作是一个关系型数据表，然后可以通过在程序中使用spark.sql() 来执行SQL语句查询，结果返回一个DataFrame。 如果想使用SQL风格的语法，需要将DataFrame注册成表,采用如下的方式： personDF.registerTempTable("t_person") （1）查询年龄最大的前两名 spark.sql("select * from t_person order by age desc limit 2").show （2）显示表的Schema信息 spark.sql("desc t_person").show （3）查询年龄大于30的人的信息 spark.sql("select * from t_person where age > 30 ").show 传智播客·黑马程序员郑州校区地址 河南省郑州市 高新区长椿路11号大学科技园（西区）东门8号楼三层
| 
收藏
淘帖
踩
