spark 集群监控-spark 集群监控文档介绍内容-阿里云

MaxCompute

本文介绍如何使用Databricks 读写MaxCompute数据。前提条件已创建 MaxCompute实例，具体参见快速体验MaxCompute 通过主账号登录阿里云 Databricks控制台。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。...

查询作业信息

返回数据名称类型示例值描述 Type String SPARK 作业的类型，可能的取值有：SPARK，SPARK_STREAMING，ZEPPELIN LastInstanceId String FJI-0BA97D0BB8F3*最后一次执行的实例ID。EnvConf String {"key":"value"} 环境变量设置。...

通过缓存优化性能

配置磁盘使用率要配置Delta缓存如何使用工作节点的本地存储，请在集群创建期间指定以下Spark配置设置：spark.databricks.io.cache.maxDiskUsage-每个节点为缓存的数据保留的磁盘空间（以字节为单位）spark.databricks.io.cache....

OSS

本文介绍如何使用Databricks 读写 OSS文件系统数据。前提条件通过主账号登录阿里云 Databricks控制台。已创建集群，具体请参见创建集群。已使用OSS管理控制台创建非系统目录存储空间，详情请参见创建存储空间。警告首次使用DDI产品...

表版本控制

您还可以通过设置SQL配置来设置默认协议版本：spark.databricks.delta.protocol.minWriterVersion=2(default)spark.databricks.delta.protocol.minReaderVersion=1(default)要将表升级到较新的协议版本，请使用以下DeltaTable....

Java库管理

在执行Spark任务的过程中，会引入第三方依赖，在 Python库管理里介绍了...数据展示通过管理员在NoteBook解释器配置页面进行全局配置警告在解析器页面配置的是全局配置作用于整个集群在开发中推荐上面案例中使用spark.conf命令行形式配置

spark.sql("DROP DATABASE IF EXISTS {} CASCADE".format(database))spark.sql("CREATE DATABASE {} location 'oss:/dome-test/case6/'".format(database))spark.sql("USE {}".format(database))说明您可以在 Databricks数据洞察控制台中...

查询工作流列表

返回数据名称类型示例值描述 RequestId String 7DDFF4C7-3AE3-485F-BFA1-BAE0AA3689DD 请求ID。PageNumber Integer 1 页码。PageSize Integer 20 每页数量。Total Integer 1 总数。Flow Array of Flow 工作流列表 Flow Status String ...

JindoFS

本文介绍如何使用Databricks 读写JindoFS数据源数据。前提条件通过主账号登录阿里云 Databricks控制台。已创建 EMR集群，具体参见 EMR集群创建已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。重要版本...

Notebook-航空公司数据分析示例

读取OSS数据、打印schema，创建TempView Load OSS data%spark val sparkDF=spark.read.format("csv").option("header","true").option("inferSchema","true").load("oss:/databricks-demo-hangzhou/airline_statistic_usa.csv")Print ...

动态文件剪枝

DFP主要由如下几个Spark配置项控制：spark.databricks.optimizer.dynamicFilePruning（默认值为true）：表示是否使用DFP，如果为true，则启动DFP，下沉DFP的过滤器，减少扫描的数据量。如果设置为false，则不启用DFP。spark.databricks....

Delta Lake 快速开始一

步骤二：创建Notebook、导入数据、进行数据分析定义Notebook中使用的路径path%pyspark#注意需要将数据文件events.json上传至您的OSS对应bucket下，events.json数据来源Databricks站点的open/close数据 inputPath="oss:/databricks-...

Parquet（推荐）

读取Parquet数据%spark val inputPath="oss:/databricks-data-source/datas/parquet_data"val dtDF=spark.read.format("parquet").option("mode","FAILFAST").load(inputPath)dtDF.show(3)dtDF.printSchema()SQL 方式%sql CREATE TABLE ...

文本文件

1,a,10000,11-03-2019,pune 2,b,10020,14-03-2019,pune 3,a,34567,15-03-2019,pune tyui,a,fgh-03-2019,pune 4,b,10020,14-03-2019,pune%spark val path="oss:/databricks-data-source/datas/dataTest.csv"val dtDF=spark.read.textFile...

ORC文件

读取orc数据%spark val inputPath="oss:/databricks-data-source/datas/orc_data"val dataDF=spark.read.format("orc").option("header","true").option("inferSchema","true").option("mode","FAILFAST").load(inputPath)dataDF.show(3)...

CSV文件

spark spark.read.format("csv")1.hearder 选项默认header=false%spark val path="oss:/databricks-data-source/datas/input.csv"val dtDF=spark.read.format("csv").option("mode","FAILFAST").load(path)dtDF.show(5)数据展示 header=...

JSON文件

{"key":"value3","extra_key":"extra_value3"}} 数据读取%spark val path="oss:/databricks-data-source/datas/example.json"val data_json=spark.read.format("json").load(path)data_json.show()data_json.printSchema()2.添加mode，...

迁移指南

说明详情可参考Databricks官网文章：迁移指南将工作负载迁移到Delta Lake 当您将工作负载迁移到Delta-Lake时，您应该注意到以下简化和与apachespark和apachehive提供的数据源相比的区别。Delta Lake自动处理以下操作，您永远不要手动执行...

表批读写

有关Delta Lake SQL命令的信息，请参见 Databricks Runtime 7.0及更高版本：Databricks Runtime 7.x SQL参考 Databricks Runtime 6.x及以下版本：Databricks Runtime 5.5 LTS和6.x SQL参考建立表格 Delta Lake支持使用DataFrameWriter...

表流读写

说明详细内容请参考Databricks官网文章：表流读写有关演示这些功能的Databricks笔记本，请参阅入门笔记本二。Delta Lake通过readStream和writeStream与Spark结构化流式处理深度集成。Delta Lake克服了许多流式处理系统和文件相关的常见...

API概览

查询数据开发中可用的集群列表调用ListFlowClusterAll接口，查询数据开发可用的集群列表。查询工作流列表调用ListFlow接口，查询工作流列表。查询项目用户信息调用ListFlowProjectUser接口，查询项目用户列表。删除项目用户调用...

Delta Lake 快速入门

读一个表在这个部分：显示表格历史记录查询表的早期版本（时间行程）您可以通过在DBFS（"/mnt/delta/events"）或表名（"event"）上指定路径来访问Delta表中的数据：Scala%spark SELECT*FROM delta.`/mnt/delta/events` 或%spark val ...

表删除，更新和合并

要在使用updateAll和insertAll（至少其中一个）执行merge操作期间自动更新表架构，可以在运行merge操作之前设置Spark会话配置spark.databricks.delta.schema.autoMerge.enabled为true。说明架构演变仅在同时存在一个updateAll或一个...

查看弹性伸缩记录

操作步骤登录阿里云Databricks控制台。在顶部菜单栏处，根据实际情况选择地域（Region）和资源组。单击上方的集群管理页签。在集群管理页面，单击相应集群所在行的详情。在详情页面上部页签栏，单击弹性伸缩。右上角单击弹性...

使用OPTIMIZE和Z-ORDER优化商品库存查询性能

步骤二：创建Notebook、导入数据、进行数据分析%pyspark#将csv文件转化为parquet格式#注意文件读取和保存的路径请按照您的oss路径进行配置 spark.read.option("header","true")\.csv("oss:/databricks-demo/online_retail.csv")\.select(...

重启集群

调用RestartCluster接口，重启集群。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

ReleaseCluster

调用 ReleaseCluster 接口释放集群所有节点。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

Bloom过滤器索引

布隆过滤器是一项非常有用的Data-skipping技术。...禁用布隆过滤器索引 Databricks默认启用布隆过滤器索引，如果需要禁用布隆过滤器索引，可以通过设置配置项spark.databricks.io.skipping.bloomFilter.enabled 为false实现。

创建数据开发作业

[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic","consumer.group":"kafka_consumer_group"}],"outputs":[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic"}]} 监控配置，仅SPARK_STREAMING类型的作业...

通过文件管理优化性能

可以通过将 Spark 会话配置 spark.databricks.delta.stalenessLimit 设置为时间字符串值（例如 1h、15m、1d 分别为 1 小时、15 分钟和 1 天）来配置表数据的过时程度。此配置是特定session，因此不会影响其他用户从其他笔记本、作业或BI...

自动优化

手动执行Optimize命令时默认合并的文件大小为1GB，而自动压缩默认产生的文件大小为128MB（最大），可以使用spark conf：spark.databricks.delta.autoCompact.maxFileSize 进行控制；自动压缩会使用贪心算法，选择收益最大的一些partition来...

提交运行作业

返回数据名称类型示例值描述 Id String FJI-9DDAAA3ADA5F*运行的作业实例ID。RequestId String B46F8A2A-B46B-415C-8A9C-B01B99B775A2 请求ID。示例请求示例 http(s):/[Endpoint]/?Action=SubmitFlowJob&RegionId=...

ListClusters

调用ListClusters分页查询集群列表。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

创建工作流

CreateCluster Boolean 否 false 是否通过集群模板创建集群，true表示通过集群模板创建集群，ClusterId应设置为集群模板 ID(CT-xxx)，否则为已有集群 ID（C-xxx）。ClusterId String 否 C-A23BD131A862*集群ID。您可以调用ListClusters查看...

修改数据开发作业

KAFKA","clusterId":"C-1234567","topics":"kafka_topic","consumer.group":"kafka_consumer_group"}],"outputs":[{"type":"KAFKA","clusterId":"C-1234567","topics":"kafka_topic"}]} 监控配置，仅SPARK_STREAMING类型作业支持监控配置...

表实用程序命令

如果您确定在此表上执行的操作没有超过计划指定的保留时间间隔，你可以通过设置ApacheSpark属性spark.databricks.delta.retentionDurationCheck.enabled设置为false来关闭此安全检查。选择的时间间隔，必须比最长的并发事务长，也必须比...

DescribeClusterV2

调用 DescribeClusterV2接口，查询集群的基本信息，包括：付费、ECS机器概况和DDI服务列表等。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 ...

并发控制

说明详情请参考Databricks官网文章：并发控制。Delta Lake在读取和写入之间提供ACID事务保证。这意味着：跨多个集群的多个编写器可以同时修改表分区，并查看表的一致性快照视图，并且这些写入操作将具有序列顺序。即使在作业过程中修改了...

查询作业运行实例列表

JobType String 否 SPARK 作业的类型，可能的取值有：SPARK，SPARK_STREAMING，ZEPPELIN InstanceId String 否 FJI-BCCAE48B90CC*作业实例ID。您可以调用DescribeFlowJob查看作业实例ID。TimeRange String 否 {"type":"range","from":...

查询工作流实例列表

StatusList.N String 否 RUNNING 工作流状态：PREP：准备中 RUNNING：运行中 SUCCEEDED：成功 FAILED：失败 KILLED：已终止 SUSPENDED：暂停中返回数据名称类型示例值描述 RequestId String EDF99BA3-F7AF-49B2-ABA1-36430A31F482 ...

spark 集群监控

新品推荐