前言 本章将对Spark做一个简单的介绍，更多教程请参考：Spark教程本章知识点概括Apache Spark简介Spark的四种运行模式Spark基于Standlone的运行流程Spark基于YARN的运行流程Apache Spark是什么？
Spark拥有Hadoop MapReduce所具有的优点，但不同于Hadoop MapReduce的是，Hadoop每次经过Job执行的中间结果都存储到HDFS等磁盘上，而Spark的Job中间输出结果可以保存在内存中，而不再需要读写HDFS。
INSERT INTO。“insert into”是向Iceberg表中插入数据，有两种语法形式:“INSERT INTO tbl VALUES ，”、“INSERT INTO tbl SELECT ...”，以上两种方式比较简单，这里不再详细记录。
首先通过WinSCP将下载的scala压缩文件上传至master用户主目录下Downloads目录下，使用命令 tar –zxvf scala2.11.12.tgz 解压scala2.11.12.tgz至用户主目录下，解压后的文件夹名为scala-2.11.12。scp -r .
版权声明:本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。
1.Spark广播变量与累加器概述Spark有两种共享变量：广播变量(Broadcast variable)与累加器(Accumulator)累加器用来对信息进行聚合，而广播变量用来高效分发Driver端的对象。1.1.
Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教程（共四部分）的第一部分。
市面上大多都是Scala的教程，这里专门介绍如何使用Java编写相关Spark程序。本文需要熟悉Java，Maven工具。下载开发工具IDEA进入idea官网 https://www.jetbrains.com/idea 下载社区版即可。
4.task放到work节点的executor进程中的线程池中运行spark资源调度的方式粗粒度的资源调度在任务执行前申请到所需的所有资源，当所有task 执行完毕后再释放资源优点：task 直接使用已经申请好的资源，执行效率高缺点：所有的 task 执行完毕才释放资源，可能导致
