ORC文件

ORC是为Hadoop作业而设计的自描述,类型感知的列存储文件格式。它针对大型流式数据读取进行了优化,但集成了对快速查询所需要行的相关支持。ORC和Parquet文件格式的区别:本质上Parquet针对Spark进行了优化,而ORC针对Hive进行的优化。前提...

迁移指南

说明 详情可参考Databricks官网文章:迁移指南 将工作负载迁移到Delta Lake 当您将工作负载迁移到Delta-Lake时,您应该注意到以下简化和与apachespark和apachehive提供的数据源相比的区别。Delta Lake自动处理以下操作,您永远不要手动执行...

Notebook-航空公司数据分析示例

本文针对Notebook的使用,做一个具体的场景示例——航空公司数据导入及分析。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群,具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间,详情请参见 创建存储空间...

表流读写

说明 详细内容请参考Databricks官网文章:表流读写 有关演示这些功能的Databricks笔记本,请参阅 入门笔记本二。Delta Lake通过readStream和writeStream与Spark结构化流式处理深度集成。Delta Lake克服了许多流式处理系统和文件相关的常见...

自动优化

手动执行Optimize命令时默认合并的文件大小为1GB,而自动压缩默认产生的文件大小为128MB(最大),可以使用spark conf:spark.databricks.delta.autoCompact.maxFileSize 进行控制;自动压缩会使用贪心算法,选择收益最大的一些partition来...

解绑标签

调用UntagResources接口可以为指定的Databricks集群解绑标签。解绑后,如果该标签没有绑定其他任何资源,会被自动删除。请求参数 名称 类型 是否必选 示例值 描述 Action String 否 TagResource 系统规定参数。对于您自行拼凑HTTP或...

Delta Lake 快速入门

Python%pyspark events=spark.read.json("/databricks-datasets/structured-streaming/events/")events.write.partitionBy("date").format("delta").save("/mnt/delta/events")spark.sql("CREATE TABLE events USING DELTA LOCATION '/mnt/...

表实用程序命令

Delta 表支持许多实用程序命令。说明 详细文章请参考Databricks官网文章:表实用程序命令。有关演示这些功能的Databricks笔记本,请参阅 入门笔记本二。删除Delta表不再引用的文件 您可以通过在表上运行vacuum命令来删除Delta表不再引用且...

创建并绑定标签

调用TagResources接口,为指定的Databricks集群列表统一创建并绑定标签。调用该接口时,有如下使用限制:最多可以给集群绑定20个标签(包括集群已有标签)标签键和值均不能以“acs:”或者“aliyun”开头,且标签键和值均不能包含“http://...

列出项目空间中项目

列出项目空间中项目 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListFlowProjects 系统...

通过JDBC连接Spark Thrift Server提交Spark作业

确保您已安装Java环境和Java编程工具,并且已配置环境变量 Java代码连接Spark Thrift Server需要下载Databricks提供的依赖包,下载路径:Databricks JDBC Driver 将项目依赖SparkJDBC42.jar添加到编程工具的Lib下,如图:编写代码,连接...

查询数据开发中可用的集群列表

调用ListFlowClusterAll接口,查询数据开发可用的集群列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...

查询项目中可用的集群列表

调用ListFlowCluster接口,查询项目中可用的集群列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...

并发控制

说明 详情请参考Databricks官网文章:并发控制。Delta Lake在读取和写入之间提供ACID事务保证。这意味着:跨多个集群的多个编写器可以同时修改表分区,并查看表的一致性快照视图,并且这些写入操作将具有序列顺序。即使在作业过程中修改了...

Bloom过滤器索引

布隆过滤器是一项非常有用的Data-skipping技术。...禁用布隆过滤器索引 Databricks默认启用布隆过滤器索引,如果需要禁用布隆过滤器索引,可以通过设置配置项spark.databricks.io.skipping.bloomFilter.enabled 为false实现。

JSON文件

Spark中,我们提及的JSON文件是换行符分隔的JSON,每行必须包含一个单独的,独立有效的JSON对象。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群,具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间,...

文本文件

读取纯文本文件,文件中的每一行将被解析为DataFrame中的一条记录,然后根据要求进行转换,由于文本文件能够充分利用原生类型(native type)的灵活性,因此很适合作为DataSetAPI的输入。前提条件 通过主账号登录 阿里云 Databricks控制台...

MaxCompute

本文介绍如何使用Databricks 读写MaxCompute数据。前提条件 已创建 MaxCompute实例,具体参见 快速体验MaxCompute 通过主账号登录 阿里云 Databricks控制台。已创建DDI集群,具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。...

创建数据开发作业

Type String 是 SPARK 作业类型,取值如下:SPARKspark作业,使用spark-submit提交 ZEPPELIN:提交zeppelin notebook,使用该作业类型,作业的params参数为notebook id SPARK_STREAMING:提交spark流处理作业 FailAct String 否 STOP ...

表删除,更新和合并

要在使用updateAll和insertAll(至少其中一个)执行merge操作期间自动更新表架构,可以在运行merge操作之前设置Spark会话配置spark.databricks.delta.schema.autoMerge.enabled为true。说明 架构演变仅在同时存在一个updateAll或一个...

查询作业列表

调用ListFlowJobs接口查询作业列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...

Java库管理

使用NoteBook引入Java依赖的三种方式 spark.jars spark.jars.packages spark.files 说明 用户做好配置之后,在启动spark任务之前(即第一次运行spark、pyspark、sparkR或者sparkSQL相关代码之前)运行spark.conf段落即可对将要启动的spark...

修改数据开发作业

调用ModifyFlowJob接口,修改数据开发作业。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...

查询作业运行实例列表

调用ListFlowJobHistory接口,查询作业的运行实例列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...

查询作业信息

调用DescribeFlowJob接口,查询作业信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...

查询工作流实例列表

调用ListFlowInstance接口,查询工作流实例列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...

修改工作流

调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ModifyFlowForWeb 系统规定参数。取值:...

签名机制

参数排序 按照参数名称的字典顺序对请求中所有的请求参数(包括“公共请求参数”和接口的自定义参数,但不能包括“公共请求参数”中提到的 Signature 参数本身)进行排序。重要 当使用 GET 方法提交请求时,这些参数就是请求 URI 中的参数...

CSV文件

spark spark.read.format("csv")1.hearder 选项 默认header=false%spark val path="oss:/databricks-data-source/datas/input.csv"val dtDF=spark.read.format("csv").option("mode","FAILFAST").load(path)dtDF.show(5)数据展示 header=...

查询节点实例详情

调用DescribeFlowNodeInstance接口,查询节点实例(工作流节点实例和作业运行节点实例)详情。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 ...

通过文件管理优化性能

可以通过将 Spark 会话配置 spark.databricks.delta.stalenessLimit 设置为时间字符串值(例如 1h、15m、1d 分别为 1 小时、15 分钟和 1 天)来配置表数据的过时程度。此配置是特定session,因此不会影响其他用户从其他笔记本、作业或BI...

工作流调度Zeppelin Notebook

Databricks数据开发中,您可以在项目空间的作业编辑中创建一组有依赖的 Zeppelin 作业,然后创建工作流,按照依赖次序定义执行顺序,Databricks工作流支持基于有向无环(DAG)并行执行大数据作业。前提条件 通过主账号登录 阿里云 ...

工作流使用案例

Databricks数据开发中,您可以在项目空间的作业编辑中创建一组有依赖的作业,然后创建工作流,按照依赖次序定义执行顺序,Databricks工作流支持基于有向无环(DAG)并行执行大数据作业。前提条件 通过主账号登录 阿里云 Databricks控制台...

返回结果

调用成功返回的数据格式主要有 XML 和 JSON 两种,外部系统可以在请求时传入参数来制定返回的数据格式,默认为 XML 格式。成功结果 JSON示例:{"Data":"true","RequestId":"2670BCFB-925D-4C3E-9994-8D12F7A9F538"} 错误结果 调用接口出错...

API概览

本文为您介绍阿里云DDI提供的API接口及说明。API 描述 克隆工作流 调用CloneFlow接口,克隆工作流。克隆作业 调用CloneFlowJob接口,克隆作业。创建数据开发作业 调用 CreateFlowJob接口,创建数据开发作业。创建项目空间 调用...

查询资源标签

调用ListTagResources,查询一个或多个Databricks集群已绑定的标签列表,或者根据一组标签查询被改组标签绑定的资源。调用该接口时注意以下信息:请求中至少指定一个参数:ResourceId.N、Tag.N(Tag.N.Key与Tag.N.Value),以确定查询对象...

公共参数

公共请求参数是指每个接口都需要使用到的请求参数。公共请求参数 参数列表 名称 类型 是否必须 描述 Format String 否 返回值的类型,支持 JSON 与 XML,默认为XML。Version String 是 API 版本号,为日期形式:YYYY-MM-DD,本版本对应为...

克隆工作流

调用CloneFlow接口克隆工作流。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CloneFlow 系统...

删除工作流

调用DeleteFlow接口,删除工作流。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteFlow ...

删除数据开发项目

调用 DeleteFlowProject 接口删除数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生数据湖分析 (文档停止维护) 开源大数据平台 E-MapReduce 弹性公网IP 短信服务 人工智能平台 PAI 物联网平台
新人特惠 爆款特惠 最新活动 免费试用