黑马程序员技术交流社区

标题: 【郑州校区】spark笔记之数据源之JDBC [打印本页]

作者: 我是楠楠 时间: 2018-8-9 16:15
标题: 【郑州校区】spark笔记之数据源之JDBC

【郑州校区】spark笔记之数据源之JDBC

1． JDBC

Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。

1.1． SparkSql从MySQL中加载数据
1.1.1 通过IDEA编写SparkSql代码

执行查看效果：

1.1.2 通过spark-shell运行

（1）、启动spark-shell(必须指定mysql的连接驱动包)

[AppleScript] 纯文本查看 复制代码

spark-shell \



--master spark://hdp-node-01:7077 \



--executor-memory 1g \



--total-executor-cores  2 \



--jars /opt/bigdata/hive/lib/mysql-connector-java-5.1.35.jar \



--driver-class-path /opt/bigdata/hive/lib/mysql-connector-java-5.1.35.jar

（2）、从mysql中加载数据

[AppleScript] 纯文本查看 复制代码

val mysqlDF = spark.read.format("jdbc").options(Map("url" -> "jdbc:mysql://192.168.200.150:3306/spark", "driver" -> "com.mysql.jdbc.Driver", "dbtable" -> "iplocation", "user" -> "root", "password" -> "123456")).load()

（3）、执行查询

1.2． SparkSql将数据写入到MySQL中1.2.1 通过IDEA编写SparkSql代码

（1）编写代码

（2）用maven将程序打包

通过IDEA工具打包即可

（3）将Jar包提交到spark集群

[AppleScript] 纯文本查看 复制代码

spark-submit \



--class itcast.sql.SparkSqlToMysql \



--master spark://hdp-node-01:7077 \



--executor-memory 1g \



--total-executor-cores 2 \



--jars /opt/bigdata/hive/lib/mysql-connector-java-5.1.35.jar  \



--driver-class-path /opt/bigdata/hive/lib/mysql-connector-java-5.1.35.jar \



/root/original-spark-2.0.2.jar  /person.txt

（4）查看mysql中表的数据

传智播客·黑马程序员郑州校区地址

河南省郑州市高新区长椿路11号大学科技园（西区）东门8号楼三层

联系电话 0371-56061160/61/62

来校路线地铁一号线梧桐街站A口出

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2