Spark2.0版本以后，官方重新更新了API: type DataFrame = Dataset， 即DataFrame是存放了Row类型的Dataset， 其中的Row是Spark中定义的一个特质特性trait， 实现Row的子类中封装了schema信息。
另一方面，随着嵌套格式数据的需求日益增加，目前Hadoop生态圈中主流的OLAP都支持丰富的数据类型，例如Hive， SparkSQL， Impala等都支持诸如array， map， struct这样的复合数据类型，这也使得像Parquet这种原生支持嵌套数据的存储格式变得至关重要，由于它是列式存储，所以在性能方面会很高。
Spark SQL与Presto之间的区别简单来说 Presto 就是“SQL查询引擎”，最初是为Apache Hadoop开发的。它是一个开源的分布式SQL查询引擎，用于对各种大小的数据集运行交互式分析查询。
由于前期的文件已经多次介绍了Big SQL的特点和工作机制，如《BigInsights金刚钻之首：BigSQL - SQL on Hadoop》，《BigSQL发动机的结构和工作原理》和《BigSQL让HBase更易用》等，而Spark SQL在网上也有很多相关文章，所以，这两个
在目前的大数据架构中hive是用来做离线数据分析的，而在Spark1.4版本中 spark 加入了spark sql ， 我们知道spark的优势是速度快，那么到底spark sql 会比hive 快多少呢。 Spark 1.
