Spark-2-性能监控方式

1 Spark Web UI

Spark提供了一些基本的Web监控页面，对于日常监控十分有用。

通 Server。配置方法如下：

（1）$SPARK_HOME/conf/spark-env.sh

export SPARK_HISTORY_OPTS="-Dspark.history.retainedApplications=50

Dspark.history.fs.logDirectory=hdfs://master01:9000/directory"

说明：spark.history.retainedApplica-tions仅显示最近50个应用spark.history.fs.logDirectory：Spark History Server页面只展示该路径下的信息。

（2）$SPARK_HOME/conf/spark-defaults.conf

spark.eventLog.enabled true

spark.eventLog.dir hdfs://hadoop000:8020/directory #应用在运行过程中所有的信息均记录在该属性指定的路径下

spark.eventLog.compress true

（3）HistoryServer启动

$SPARK_HOMR/bin/start-histrory-server.sh

（4）HistoryServer停止

$SPARK_HOMR/bin/stop-histrory-server.sh

同时Executor的logs也是查看的一个出处：

Standalone模式：$SPARK_HOME/logs

YARN模式：在yarn-site.

同时通过配置ganglia，可以分析集群的使用状况和资源瓶颈，但是默认情况下ganglia是未被打包的，需要在mvn编译时添加-Pspark-ganglia-lgpl，并修改配置文件$SPARK_HOME/conf/metrics.properties。

原文转载：http://www.shaoqun.com/a/490693.html

stylenanda官网：https://www.ikjzd.com/w/1675.html

blibli：https://www.ikjzd.com/w/1676

usps国际快递查询：https://www.ikjzd.com/w/513

1SparkWebUISpark提供了一些基本的Web监控页面，对于日常监控十分有用。通Server。配置方法如下：（1）$SPARK_HOME/conf/spark-env.shexportSPARK_HISTORY_OPTS="-Dspark.history.retainedApplications=50Dspark.history.fs.logDirectory=hdfs://ma
extra：extra
auditor：auditor
惠州清明节去哪赏花？2020罗浮山哪里花开清明节赏花最佳路：惠州清明节去哪赏花？2020罗浮山哪里花开清明节赏花最佳路
西冲cs野战拯救重要人物怎么玩？：西冲cs野战拯救重要人物怎么玩？
福建梵天寺好玩吗？怎样？：福建梵天寺好玩吗？怎样？