优化链接性能
Delta Lake on Databricks可优化范围和skew连接。Range连接优化需要根据您的查询模式进行调整，Skew连接可以通过skew提示变得高效。请参阅以下文章以了解如何充分利用这些连接优化：Range Join optimization Skew Join optimization 说明 ...
JindoFS
本文介绍如何使用Databricks 读写JindoFS数据源数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 EMR集群，具体参见 EMR集群创建 已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。重要 版本...
CSV文件
spark spark.read.format("csv")1.hearder 选项 默认header=false%spark val path="oss:/databricks-data-source/datas/input.csv"val dtDF=spark.read.format("csv").option("mode","FAILFAST").load(path)dtDF.show(5)数据展示 header=...
ORC文件
读取orc数据%spark val inputPath="oss:/databricks-data-source/datas/orc_data"val dataDF=spark.read.format("orc").option("header","true").option("inferSchema","true").option("mode","FAILFAST").load(inputPath)dataDF.show(3)...
Notebook-航空公司数据分析示例
本文针对Notebook的使用，做一个具体的场景示例——航空公司数据导入及分析。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间...
CreateClusterV2
调用CreateClusterV2，创建一个Databricks 数据洞察集群。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action...
JSON文件
在Spark中，我们提及的JSON文件是换行符分隔的JSON，每行必须包含一个单独的，独立有效的JSON对象。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，...
使用OPTIMIZE和Z-ORDER优化商品库存查询性能
步骤二：创建Notebook、导入数据、进行数据分析%pyspark#将csv文件转化为parquet格式#注意文件读取和保存的路径请按照您的oss路径进行配置 spark.read.option("header","true")\.csv("oss:/databricks-demo/online_retail.csv")\.select(...
通过文件管理优化性能
可以通过将 Spark 会话配置 spark.databricks.delta.stalenessLimit 设置为时间字符串值（例如 1h、15m、1d 分别为 1 小时、15 分钟和 1 天）来配置表数据的过时程度。此配置是特定session，因此不会影响其他用户从其他笔记本、作业或BI...
表批读写
有关Delta Lake SQL命令的信息，请参见 Databricks Runtime 7.0及更高版本：Databricks Runtime 7.x SQL参考 Databricks Runtime 6.x及以下版本：Databricks Runtime 5.5 LTS和6.x SQL参考 建立表格 Delta Lake支持使用DataFrameWriter...
文本文件
1,a,10000,11-03-2019,pune 2,b,10020,14-03-2019,pune 3,a,34567,15-03-2019,pune tyui,a,fgh-03-2019,pune 4,b,10020,14-03-2019,pune%spark val path="oss:/databricks-data-source/datas/dataTest.csv"val dtDF=spark.read.textFile...
机器学习开发示例
本文介绍如何使用阿里云 Databricks 数据洞察的Notebook进行机器学习开发。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 控制台创建存储...
自动优化
自动优化是Delta Engine一组可选特性，当开启该组特性后，Delta Engine会自动合并对Delta表的多次写入产生的小文件，以牺牲部分写性能为代价，大幅提升查询性能。自动优化在这些场景下尤其有用：1）能接受分钟级时延的流式数据入湖；2）常...
约束条件
说明 详细内容请参考Databricks官网文章：约束条件 注意 在Databricks Runtime 7.4及更高版本中可用。Delta表支持标准的SQL约束管理子句，以确保自动验证添加到表中的数据的质量和完整性。当违反约束时，Delta Lake会抛出一个...
关闭弹性伸缩
操作步骤 登录 阿里云Databricks控制台。在顶部菜单栏处，选择地域（Region）。单击左侧 集群 页签。在 集群管理 页面，单击相应集群所在行的 详情。在 详情 页面上部页签栏，单击 弹性伸缩。在 弹性伸缩 页面，单击 关闭弹性伸缩 划窗。在...
查询作业列表
Job Type String SPARK 作业的类型，可能的取值有：SPARK，SPARK_STREAMING，ZEPPELIN FailAct String STOP 失败策略，可能的取值：CONTINUE（提过本次作业），STOP（停止作业）CustomVariables String {"scope":"project"} 自定义变量。...
工作流使用案例
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 Databricks控制台...
表实用程序命令
如果您确定在此表上执行的操作没有超过计划指定的保留时间间隔，你可以通过设置ApacheSpark属性spark.databricks.delta.retentionDurationCheck.enabled设置为false来关闭此安全检查。选择的时间间隔，必须比最长的并发事务长，也必须比...
迁移指南
说明 详情可参考Databricks官网文章：迁移指南 将工作负载迁移到Delta Lake 当您将工作负载迁移到Delta-Lake时，您应该注意到以下简化和与apachespark和apachehive提供的数据源相比的区别。Delta Lake自动处理以下操作，您永远不要手动执行...
表删除，更新和合并
要在使用updateAll和insertAll（至少其中一个）执行merge操作期间自动更新表架构，可以在运行merge操作之前设置Spark会话配置spark.databricks.delta.schema.autoMerge.enabled为true。说明 架构演变仅在同时存在一个updateAll或一个...
解绑标签
调用UntagResources接口可以为指定的Databricks集群解绑标签。解绑后，如果该标签没有绑定其他任何资源，会被自动删除。请求参数 名称 类型 是否必选 示例值 描述 Action String 否 TagResource 系统规定参数。对于您自行拼凑HTTP或...
表流读写
说明 详细内容请参考Databricks官网文章：表流读写 有关演示这些功能的Databricks笔记本，请参阅 入门笔记本二。Delta Lake通过readStream和writeStream与Spark结构化流式处理深度集成。Delta Lake克服了许多流式处理系统和文件相关的常见...
请求结构
ddi.[RegionId].aliyuncs.com 通信协议 为了获得更高的安全性，仅支持使用 HTTPS 通道发送API请求。请求方法 支持 HTTP GET 方法发送请求，这种方式下请求参数需要包含在请求的 URL 中。请求参数 每个请求都需要指定要执行的操作，即 ...
创建数据开发作业
Type String 是 SPARK 作业类型，取值如下：SPARK：spark作业，使用spark-submit提交 ZEPPELIN：提交zeppelin notebook，使用该作业类型，作业的params参数为notebook id SPARK_STREAMING：提交spark流处理作业 FailAct String 否 STOP ...
Delta Lake 快速入门
读一个表 在这个部分：显示表格历史记录 查询表的早期版本（时间行程）您可以通过在DBFS（"/mnt/delta/events"）或表名（"event"）上指定路径来访问Delta表中的数据：Scala%spark SELECT*FROM delta.`/mnt/delta/events` 或%spark val ...
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的 Zeppelin 作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 ...
返回结果
调用成功返回的数据格式主要有 XML 和 JSON 两种，外部系统可以在请求时传入参数来制定返回的数据格式，默认为 XML 格式。成功结果 JSON示例：{"Data":"true","RequestId":"2670BCFB-925D-4C3E-9994-8D12F7A9F538"} 错误结果 调用接口出错...
查询作业信息
返回数据 名称 类型 示例值 描述 Type String SPARK 作业的类型，可能的取值有：SPARK，SPARK_STREAMING，ZEPPELIN LastInstanceId String FJI-0BA97D0BB8F3*最后一次执行的实例ID。EnvConf String {"key":"value"} 环境变量设置。...
修改数据开发作业
调用ModifyFlowJob接口，修改数据开发作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
Bloom过滤器索引
布隆过滤器是一项非常有用的Data-skipping技术。...禁用布隆过滤器索引 Databricks默认启用布隆过滤器索引，如果需要禁用布隆过滤器索引，可以通过设置配置项spark.databricks.io.skipping.bloomFilter.enabled 为false实现。
查询资源标签
调用ListTagResources，查询一个或多个Databricks集群已绑定的标签列表，或者根据一组标签查询被改组标签绑定的资源。调用该接口时注意以下信息：请求中至少指定一个参数：ResourceId.N、Tag.N（Tag.N.Key与Tag.N.Value），以确定查询对象...
API概览
本文为您介绍阿里云DDI提供的API接口及说明。API 描述 克隆工作流 调用CloneFlow接口，克隆工作流。克隆作业 调用CloneFlowJob接口，克隆作业。创建数据开发作业 调用 CreateFlowJob接口，创建数据开发作业。创建项目空间 调用...
创建并绑定标签
调用TagResources接口，为指定的Databricks集群列表统一创建并绑定标签。调用该接口时，有如下使用限制：最多可以给集群绑定20个标签（包括集群已有标签）标签键和值均不能以“acs:”或者“aliyun”开头，且标签键和值均不能包含“http://...
公共参数
公共请求参数是指每个接口都需要使用到的请求参数。...返回结果数据->接口名称+Response>JSON示例：{"RequestId":"4C467B38-3910-447D-87BC-AC049166F216",/*返回结果数据*/}$icmsDocProps={'productMethod':'created','language':'zh-CN',};
暂停工作流
您可以调用DescribeRegions查看最新的阿里云地域列表。ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用ListFlowProject查看项目的ID。FlowInstanceId String 是 FI-9DDAAA3ADA5F*工作流实例ID。您可以调用ListFlowInstance查看...
恢复工作流
您可以调用DescribeRegions查看最新的阿里云地域列表。ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用ListFlowProject查看项目的ID。FlowInstanceId String 是 FI-9DDAAA3ADA5F*工作流实例ID。您可以调用ListFlowInstance查看...
结束工作流
您可以调用DescribeRegions查看最新的阿里云地域列表。ProjectId String 是 FP-257A173659F5*项目ID。您可以调用ListFlowProject查看项目的ID。FlowInstanceId String 是 FI-9DDAAA3ADA5F*工作流实例ID。您可以调用ListFlowInstance查看...
入门笔记本
这些笔记本显示了如何将JSON数据转换为Delta Lake格式，创建Delta表，追加到表，优化结果表，最后使用Delta Lake元数据命令显示表的历史记录，格式和详细信息。Delta Lake Quickstart Python笔记本 Note 链接地址：Databricks Delta ...
删除工作流目录
返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果，包含如下：true：删除成功。false：删除失败。RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...
重命名目录
您可以调用DescribeRegions查看最新的阿里云地域列表。Id String 是 FC-ABCDEFGHI*目录ID。您可以调用DescribeFlowCategory查看。Name String 否 Test 目录名称。您可以调用DescribeFlowCategory查看。ParentId String 否 FC-ABCDEFGHI*...
- 产品推荐
- 这些文档可能帮助您