以下是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration。
Spark提供三个位置用来配置系统:
- Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置;
- 环境变量:可以通过每个节点的 conf/spark-env.sh脚本设置。例如IP地址、端口等信息;
- 日志配置:可以通过log4j.properties配置;
Spark属性
Spark属性控制大部分的应用程序设置,并且为每个应用程序分别配置它。这些属性可以直接在SparkConf上配置,然后传递给SparkContext
。SparkConf
允许你配置一些通用的属性(如master URL、应用程序名称等等)以及通过set()
方法设置的任意键值对。例如,我们可以用如下方式创建一个拥有两个线程的应用程序。
val conf = new SparkConf()
.setMaster("local[2]")
.setAppName("CountingSheep")
.set("spark.executor.memory", "1g")
.set("spark.cores.max","6")
val sc = new SparkContext(conf)
文章参考:http://blog.javachen.com/2015/06/07/spark-configuration.html ;
最新评论
换域名了
您好,我按照您的步骤设置完以后仍然无法使用。我能用邮件把截图发您可以吗
麻烦您可以给一个联系方式,指点指点,谢谢了
请问第四步开始的命令是在哪里输入的呀(SS小白,望能详细解答,目前第四步开始就卡住了)
感谢分享!