JindoFS

本文介绍如何使用Databricks 读写JindoFS数据数据。前提条件 通过主账号登录 阿里 Databricks控制台。已创建 EMR集群,具体参见 EMR集群创建 已创建DDI集群,具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。重要 版本...

CreateClusterV2

调用CreateClusterV2,创建一个Databricks 数据洞察集群。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action...

CSV文件

spark spark.read.format("csv")1.hearder 选项 默认header=false%spark val path="oss:/databricks-data-source/datas/input.csv"val dtDF=spark.read.format("csv").option("mode","FAILFAST").load(path)dtDF.show(5)数据展示 header=...

Parquet(推荐)

Parquet是一种开源的面向列的数据存储格式,它提供了各种存储优化,尤其适合数据分析。Parquet提供列压缩从而可以节省空间,而且它支持按列读取而非整个文件的读取。作为一种文件格式,Parquet与Apache Spark配合的很好,而且实际上也是...

ORC文件

读取orc数据%spark val inputPath="oss:/databricks-data-source/datas/orc_data"val dataDF=spark.read.format("orc").option("header","true").option("inferSchema","true").option("mode","FAILFAST").load(inputPath)dataDF.show(3)...

关闭弹性伸缩

操作步骤 登录 阿里云Databricks控制台。在顶部菜单栏处,选择地域(Region)。单击左侧 集群 页签。在 集群管理 页面,单击相应集群所在行的 详情。在 详情 页面上部页签栏,单击 弹性伸缩。在 弹性伸缩 页面,单击 关闭弹性伸缩 划窗。在...

Delta Lake 快速入门

Delta Lake快速入门概述了使用Delta Lake的基础知识。此快速入门演示如何生成管道,以便将JSON数据读入Delta表、修改表、读取表、显示表历史记录,以及优化表。有关演示这些功能的Databricks笔记本,请参阅 入门笔记本。创建表 若要创建...

JSON文件

Spark中,我们提及的JSON文件是换行符分隔的JSON,每行必须包含一个单独的,独立有效的JSON对象。前提条件 通过主账号登录 阿里 Databricks控制台。已创建集群,具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间,...

工作流使用案例

Databricks数据开发中,您可以在项目空间的作业编辑中创建一组有依赖的作业,然后创建工作流,按照依赖次序定义执行顺序,Databricks工作流支持基于有向无环(DAG)并行执行大数据作业。前提条件 通过主账号登录 阿里 Databricks控制台...

文本文件

1,a,10000,11-03-2019,pune 2,b,10020,14-03-2019,pune 3,a,34567,15-03-2019,pune tyui,a,fgh-03-2019,pune 4,b,10020,14-03-2019,pune%spark val path="oss:/databricks-data-source/datas/dataTest.csv"val dtDF=spark.read.textFile...

解绑标签

调用UntagResources接口可以为指定的Databricks集群解绑标签。解绑后,如果该标签没有绑定其他任何资源,会被自动删除。请求参数 名称 类型 是否必选 示例值 描述 Action String 否 TagResource 系统规定参数。对于您自行拼凑HTTP或...

表流读写

说明 详细内容请参考Databricks官网文章:表流读写 有关演示这些功能的Databricks笔记本,请参阅 入门笔记本二。Delta Lake通过readStream和writeStream与Spark结构化流式处理深度集成。Delta Lake克服了许多流式处理系统和文件相关的常见...

自动优化

自动优化在这些场景下尤其有用:1)能接受分钟时延的流式数据入湖;2)常使用Merge Into,Insert Into和Create table as select的场景。说明 详细内容可参考Databricks官网文章:自动优化 自动优化的工作原理 自动优化包含两个重要特性:...

返回结果

调用成功返回的数据格式主要有 XML 和 JSON 两种,外部系统可以在请求时传入参数来制定返回的数据格式,默认为 XML 格式。成功结果 JSON示例:{"Data":"true","RequestId":"2670BCFB-925D-4C3E-9994-8D12F7A9F538"} 错误结果 调用接口出错...

工作流调度Zeppelin Notebook

Databricks数据开发中,您可以在项目空间的作业编辑中创建一组有依赖的 Zeppelin 作业,然后创建工作流,按照依赖次序定义执行顺序,Databricks工作流支持基于有向无环(DAG)并行执行大数据作业。前提条件 通过主账号登录 阿里 ...

并发控制

说明 详情请参考Databricks官网文章:并发控制。Delta Lake在读取和写入之间提供ACID事务保证。这意味着:跨多个集群的多个编写器可以同时修改表分区,并查看表的一致性快照视图,并且这些写入操作将具有序列顺序。即使在作业过程中修改了...

查询资源标签

调用ListTagResources,查询一个或多个Databricks集群已绑定的标签列表,或者根据一组标签查询被改组标签绑定的资源。调用该接口时注意以下信息:请求中至少指定一个参数:ResourceId.N、Tag.N(Tag.N.Key与Tag.N.Value),以确定查询对象...

表批读写

说明 详细内容可参考Databricks官网文章:表批读写 有关演示这些功能的Databricks笔记本,请参阅 入门笔记本二。有关Delta Lake SQL命令的信息,请参见 Databricks Runtime 7.0及更高版本:Databricks Runtime 7.x SQL参考 Databricks ...

使用OPTIMIZE和Z-ORDER优化商品库存查询性能

步骤二:创建Notebook、导入数据、进行数据分析%pyspark#将csv文件转化为parquet格式#注意文件读取和保存的路径请按照您的oss路径进行配置 spark.read.option("header","true")\.csv("oss:/databricks-demo/online_retail.csv")\.select(...

迁移指南

说明 详情可参考Databricks官网文章:迁移指南 将工作负载迁移到Delta Lake 当您将工作负载迁移到Delta-Lake时,您应该注意到以下简化和与apachespark和apachehive提供的数据源相比的区别。Delta Lake自动处理以下操作,您永远不要手动执行...

创建并绑定标签

调用TagResources接口,为指定的Databricks集群列表统一创建并绑定标签。调用该接口时,有如下使用限制:最多可以给集群绑定20个标签(包括集群已有标签)标签键和值均不能以“acs:”或者“aliyun”开头,且标签键和值均不能包含“http://...

公共参数

公共请求参数是指每个接口都需要使用到的请求参数。...返回结果数据->接口名称+Response>JSON示例:{"RequestId":"4C467B38-3910-447D-87BC-AC049166F216",/*返回结果数据*/}$icmsDocProps={'productMethod':'created','language':'zh-CN',};

API概览

本文为您介绍阿里DDI提供的API接口及说明。API 描述 克隆工作流 调用CloneFlow接口,克隆工作流。克隆作业 调用CloneFlowJob接口,克隆作业。创建数据开发作业 调用 CreateFlowJob接口,创建数据开发作业。创建项目空间 调用...

表删除,更新和合并

说明 详细内容请参考Databricks官网文章:表删除,更新和合并 有关演示这些功能的Databricks笔记本,请参阅 入门笔记本二。Delta Lake支持多个语句,以方便从Delta表中删除数据和更新数据。从表中删除 从最新版本的Delta表中删除数据,但...

API参考

对于Delta表上最常见的读写操作,可以使用Apache Spark读取器和编写器API(请参阅 表批读写 和 表流读写)。但是,有一些特定于Delta Lake的操作,您必须使用Delta Lake编程API。本文介绍了这些编程API。Databricks确保Delta Lake项目和...

暂停工作流

您可以调用DescribeRegions查看最新的阿里地域列表。ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用ListFlowProject查看项目的ID。FlowInstanceId String 是 FI-9DDAAA3ADA5F*工作流实例ID。您可以调用ListFlowInstance查看...

恢复工作流

您可以调用DescribeRegions查看最新的阿里地域列表。ProjectId String 是 FP-3535FE0BE522*项目ID。您可以调用ListFlowProject查看项目的ID。FlowInstanceId String 是 FI-9DDAAA3ADA5F*工作流实例ID。您可以调用ListFlowInstance查看...

删除工作流目录

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true:删除成功。false:删除失败。RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

结束工作流

您可以调用DescribeRegions查看最新的阿里地域列表。ProjectId String 是 FP-257A173659F5*项目ID。您可以调用ListFlowProject查看项目的ID。FlowInstanceId String 是 FI-9DDAAA3ADA5F*工作流实例ID。您可以调用ListFlowInstance查看...

重命名目录

您可以调用DescribeRegions查看最新的阿里地域列表。Id String 是 FC-ABCDEFGHI*目录ID。您可以调用DescribeFlowCategory查看。Name String 否 Test 目录名称。您可以调用DescribeFlowCategory查看。ParentId String 否 FC-ABCDEFGHI*...

停止作业实例

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true(执行成功),false(执行失败)RequestId String B46F8A2A-B46B-415C-8A9C-B01B99B775A2 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

通过文件管理优化性能

可以通过将 Spark 会话配置 spark.databricks.delta.stalenessLimit 设置为时间字符串值(例如 1h、15m、1d 分别为 1 小时、15 分钟和 1 天)来配置表数据的过时程度。此配置是特定session,因此不会影响其他用户从其他笔记本、作业或BI...

添加项目用户

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true:添加成功。false:添加失败。RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

创建数据开发作业

Type String 是 SPARK 作业类型,取值如下:SPARKspark作业,使用spark-submit提交 ZEPPELIN:提交zeppelin notebook,使用该作业类型,作业的params参数为notebook id SPARK_STREAMING:提交spark流处理作业 FailAct String 否 STOP ...

查询数据开发中可用的集群列表

调用ListFlowClusterAll接口,查询数据开发可用的集群列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...

提交运行作业

您可以调用DescribeRegions查看最新的阿里地域列表。ProjectId String 是 FP-3535FE0BE5228*项目ID。您可以调用ListFlowProject查看项目的ID。JobId String 是 FJ-1A2FB31D8295*作业ID。您可以调用ListFlowJob查看作业ID。ClusterId ...

表实用程序命令

如果您确定在此表上执行的操作没有超过计划指定的保留时间间隔,你可以通过设置ApacheSpark属性spark.databricks.delta.retentionDurationCheck.enabled设置为false来关闭此安全检查。选择的时间间隔,必须比最长的并发事务长,也必须比...

查询项目用户信息

返回数据 名称 类型 示例值 描述 RequestId String 80F270E8-27BD-4F24-BB2A-CD3FBCC450DA 请求ID。PageNumber Integer 1 页码。PageSize Integer 10 每页数量。Total Integer 20 总数。Users Array of User User ProjectId String FP-3535...

Bloom过滤器索引

布隆过滤器是一项非常有用的Data-skipping技术。...禁用布隆过滤器索引 Databricks默认启用布隆过滤器索引,如果需要禁用布隆过滤器索引,可以通过设置配置项spark.databricks.io.skipping.bloomFilter.enabled 为false实现。

查询作业列表

Job Type String SPARK 作业的类型,可能的取值有:SPARKSPARK_STREAMING,ZEPPELIN FailAct String STOP 失败策略,可能的取值:CONTINUE(提过本次作业),STOP(停止作业)CustomVariables String {"scope":"project"} 自定义变量。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云虚拟主机 弹性公网IP 负载均衡 轻量应用服务器 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用