1.CSV数据源 package cn.ysjh0014.SparkSql import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession} object SparkSqlCsv { def main(args: Array[String]): Unit = { val session: SparkSession = SparkSession.builder().appName(“JsonSource”).master(“local[4]”).getOrCreate() import session.implicits._ //读取csv类型的数据 val csv: DataFrame = session.read.csv(“D:\测试数据\test2\part-00000-f967e149-5ac3-4f9b-ba2a-16f22c6c3496.csv”) csv.show() session.stop() } }

运行结果：

可以看出CSV类型的文件只能读出有几列，并不能读出每列的列名信息，只能默认用_c0等代替，并且每列的数据类型也只能用识别为String

2.Parquet数据源(更加智能，可以提高程序的执行效率) package cn.ysjh0014.SparkSql import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession} object SparkSqlCsv { def main(args: Array[String]): Unit = { val session: SparkSession = SparkSession.builder().appName(“JsonSource”).master(“local[4]”).getOrCreate() import session.implicits._ //读取csv类型的数据 val parquet: DataFrame = session.read.parquet(“D:\测试数据\test3\part-00000-d1028b5e-9ca5-41ba-b221-ffc982712763.snappy.parquet”) // val parquet: DataFrame = session.read.format(“parquet”).load(“D:\测试数据\test3\part-00000-d1028b5e-9ca5-41ba-b221-ffc982712763.snappy.parquet”) // parquet.printSchema() parquet.show() session.stop() } }

Parquet文件在文件中直接打开你会发现全是数字，不是你原来保存的内容，这是他独特的保存方式，既保存了数据，又保存了Schema信息，保存了有哪些列，列的类型，偏移量信息，将相同的列的数据保存到l一起

最后修改于 2018-10-25