工作流使用案例
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 Databricks控制台...
表实用程序命令
如果您确定在此表上执行的操作没有超过计划指定的保留时间间隔，你可以通过设置ApacheSpark属性spark.databricks.delta.retentionDurationCheck.enabled设置为false来关闭此安全检查。选择的时间间隔，必须比最长的并发事务长，也必须比...
关闭弹性伸缩
背景信息 关闭弹性伸缩后，当前已经通过弹性伸缩功能扩充的Task节点将会全部释放，但HDFS存储的位于Core节点的数据不会受影响。如果关闭弹性伸缩后，集群计算资源不足，则建议您通过扩容来增加集群计算资源，详情请参见 集群扩容。操作步骤...
解绑标签
调用UntagResources接口可以为指定的Databricks集群解绑标签。解绑后，如果该标签没有绑定其他任何资源，会被自动删除。请求参数 名称 类型 是否必选 示例值 描述 Action String 否 TagResource 系统规定参数。对于您自行拼凑HTTP或...
通过缓存优化性能
每个节点为缓存的元数据保留的磁盘空间（以字节为单位）spark.databricks.io.cache.compression.enabled-缓存的数据是否应以压缩格式存储 INI spark.databricks.io.cache.maxDiskUsage 50g spark.databricks.io.cache.maxMetaDataCache 1g ...
Bloom过滤器索引
布隆过滤器是一项非常有用的Data-skipping技术。...禁用布隆过滤器索引 Databricks默认启用布隆过滤器索引，如果需要禁用布隆过滤器索引，可以通过设置配置项spark.databricks.io.skipping.bloomFilter.enabled 为false实现。
返回结果
调用成功返回的数据格式主要有 XML 和 JSON 两种，外部系统可以在请求时传入参数来制定返回的数据格式，默认为 XML 格式。成功结果 JSON示例：{"Data":"true","RequestId":"2670BCFB-925D-4C3E-9994-8D12F7A9F538"} 错误结果 调用接口出错...
并发控制
说明 详情请参考Databricks官网文章：并发控制。Delta Lake在读取和写入之间提供ACID事务保证。这意味着：跨多个集群的多个编写器可以同时修改表分区，并查看表的一致性快照视图，并且这些写入操作将具有序列顺序。即使在作业过程中修改了...
查询资源标签
调用ListTagResources，查询一个或多个Databricks集群已绑定的标签列表，或者根据一组标签查询被改组标签绑定的资源。调用该接口时注意以下信息：请求中至少指定一个参数：ResourceId.N、Tag.N（Tag.N.Key与Tag.N.Value），以确定查询对象...
创建并绑定标签
调用TagResources接口，为指定的Databricks集群列表统一创建并绑定标签。调用该接口时，有如下使用限制：最多可以给集群绑定20个标签（包括集群已有标签）标签键和值均不能以“acs:”或者“aliyun”开头，且标签键和值均不能包含“http://...
公共参数
公共请求参数是指每个接口都需要使用到的请求参数。...返回结果数据->接口名称+Response>JSON示例：{"RequestId":"4C467B38-3910-447D-87BC-AC049166F216",/*返回结果数据*/}$icmsDocProps={'productMethod':'created','language':'zh-CN',};
克隆工作流
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CloneFlow 系统规定参数。取值：CloneFlow。ProjectId String 是 FP-A1BE52DDXXXXX3 项目ID。您可以调用ListFlowProjects查看项目ID。Id String 是 FJ-3FC8XXXXXDBB00C0 流程的...
删除数据开发项目
调用 DeleteFlowProject 接口删除数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
删除工作流
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlow 系统规定参数。取值：DeleteFlow。Id String 是 F-7A39731FE719*工作流ID。您可以调用ListFlowInstance查看工作流ID。ProjectId String 是 FP-257A173659F5*项目ID。...
删除项目用户
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlowProjectUser 系统规定参数。取值：DeleteFlowProjectUser。RegionId String 是 cn-hangzhou 地域ID。ProjectId String 是 FP-257A173659F5*项目ID。UserName String ...
修改数据开发项目
调用 ModifyFlowProject 接口，修改数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String...
克隆作业
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CloneFlowJob 系统规定参数。取值：CloneFlowJob。ProjectId String 是 FP-C62EEC30F773*克隆的目标作业所属项目。您可以调用ListFlowProjects查看项目的ID。Id String 是 FJ-...
最佳实践
说明 详情请参考Databricks官网文章：最佳实践 本文介绍了使用Delta Lake时的最佳做法。提供数据位置提示 如果您通常希望在查询谓词中使用一个列，并且该列具有较高的基数（即，大量不同的值），则使用Z-ORDER-BY。Delta-Lake根据列值自动...
暂停工作流
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 SuspendFlow 系统规定参数。取值：SuspendFlow。RegionId String 是 cn-hangzhou 区域ID。您可以调用DescribeRegions查看最新的阿里云地域列表。ProjectId String 是 FP-3535FE0...
恢复工作流
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ResumeFlow 系统规定参数。取值：ResumeFlow。RegionId String 是 cn-hangzhou 区域ID。您可以调用DescribeRegions查看最新的阿里云地域列表。ProjectId String 是 FP-3535FE0BE...
结束工作流
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 KillFlow 系统规定参数。取值：KillFlow。RegionId String 是 cn-hangzhou 地域ID。您可以调用DescribeRegions查看最新的阿里云地域列表。ProjectId String 是 FP-257A173659F5*...
重命名目录
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ModifyFlowCategory 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：ModifyFlowCategory。ProjectId String 是 FP-ABCDEFGHI*目录ID。您...
停止作业实例
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 KillFlowJob 系统规定参数。取值：KillFlowJob。RegionId String 是 cn-beijing 地域ID。您可以调用DescribeRegions查看最新的阿里云地域列表。ProjectId String 是 FP-3535FE0...
重试工作流
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 RerunFlow 系统规定参数。取值：RerunFlow。RegionId String 是 cn-hangzhou 地域ID。ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用ListFlowProjects查看项目的ID。...
重启集群
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 RestartCluster 系统规定参数。取值：RestartCluster。RegionId String 是 cn-hangzhou 区域ID ClusterId String 是 C-D7958B72E59B*集群ID RestartWithRollingMode Boolean 是 ...
删除工作流目录
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlowCategory 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：DeleteFlowCategory。Id String 是 FC-075AB9477DAE*目录ID。您可以...
列出项目空间中项目
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListFlowProjects 系统规定参数。取值：ListFlowProjects。ProductType String 否 DATABRICKS_DATAINSIGHT 产品类型。固定值DATABIRCKS_DATAINSIGHT RegionId String 是 ...
添加项目用户
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CreateFlowProjectUser 系统规定参数。取值：CreateFlowProjectUser。RegionId String 是 cn-hangzhou 地域ID。ProjectId String 是 FP-257A173659F5*项目ID。ClientToken ...
查询项目详情
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DescribeFlowProject 系统规定参数。取值：DescribeFlowProject。ProjectId String 是 FP-5D55DA9DEDF2*项目ID。RegionId String 是 cn-hangzhou 地域ID。返回数据 名称 类型 ...
创建项目空间
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CreateFlowProject 系统规定参数。取值：CreateFlowProject。ProductType String 否 这是一个项目描述 项目描述。RegionId String 是 cn-hangzhou 地域ID。Name String 是 my_...
ReleaseCluster
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ReleaseCluster 系统规定参数。取值：ReleaseCluster。RegionId String 是 cn-hangzhou 区域ID。Id String 是 C-D7958B72E59B*集群ID。ForceRelease Boolean 否 true 正常释放时...
查询数据开发中可用的集群列表
调用ListFlowClusterAll接口，查询数据开发可用的集群列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
提交运行作业
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 SubmitFlowJob 系统规定参数。取值：SubmitFlowJob。RegionId String 是 cn-beijing 地域ID。您可以调用DescribeRegions查看最新的阿里云地域列表。ProjectId String 是 FP-3535...
Databricks Runtime
有关顶级库和其他提供的库的完整列表，请参见以下有关每个可用Runtime的文章：Databricksr Runtime 7.4 ML（测试版）Databricks Runtime 7.3 LTS ML Databricks Runtime 7.2 ML Databricks Runtime 7.1 ML Databricks Runtime 7.0 ML ...
提交运行工作流
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 SubmitFlow 系统规定参数。取值：SubmitFlow。RegionId String 是 cn-hangzhou 地域ID。ProjectId String 是 FP-AC84F265C8E4*项目ID。您可以调用ListFlowProjects查看项目的ID...
机器学习开发示例
本文介绍如何使用阿里云 Databricks 数据洞察的Notebook进行机器学习开发。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 控制台创建存储...
创建工作流目录文件夹
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CreateFlowCategory 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：CreateFlowCategory。RegionId String 是 cn-hangzhou 地域ID。...
查询项目用户信息
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListFlowProjectUser 系统规定参数。取值：ListFlowProjectUser。RegionId String 是 cn-hangzhou 地域ID。ProjectId String 是 FP-3535FE0BE522*项目ID。PageNumber Integer 否...
查询项目中可用的集群列表
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListFlowCluster 系统规定参数。取值：ListFlowCluster。RegionId String 是 cn-hangzhou 地域ID。您可以调用DescribeRegions查看最新的阿里云地域列表。ProjectId String 是 FP...
CreateClusterV2
调用CreateClusterV2，创建一个Databricks 数据洞察集群。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action...
- 产品推荐
- 这些文档可能帮助您