作业日期设置
在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏，单击 项目空间。在项目空间页面，单击待操作项目所在行的 作业编辑。进行作业设置。在作业编辑页面，选择...
Delta Lake 快速入门
读一个表 在这个部分：显示表格历史记录 查询表的早期版本（时间行程）您可以通过在DBFS（"/mnt/delta/events"）或表名（"event"）上指定路径来访问Delta表中的数据：Scala%spark SELECT*FROM delta.`/mnt/delta/events` 或%spark val ...
JindoFS
本文介绍如何使用Databricks 读写JindoFS数据源数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 EMR集群，具体参见 EMR集群创建 已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。重要 版本...
表实用程序命令
如果您确定在此表上执行的操作没有超过计划指定的保留时间间隔，你可以通过设置ApacheSpark属性spark.databricks.delta.retentionDurationCheck.enabled设置为false来关闭此安全检查。选择的时间间隔，必须比最长的并发事务长，也必须比...
开启并配置弹性伸缩
当您的业务量需求不断波动时，建议您开启弹性伸缩功能并配置相应的伸缩规则，以使Databricks数据洞察可按业务量波动来增加和减少Task节点。操作步骤 登录 阿里云Databricks控制台。在顶部菜单栏处，根据实际情况选择地域（Region）和资源组...
项目空间运维与监控
本文主要介绍Databricks数据洞察中项目空间具有的运维与监控能力。背景信息 项目空间的运维能力主要辅助作业开发和工作流生产，前者提供作业开发过程中的日志监控、版本监控和操作审计监控；后者兼容前者的功能，更提供针对调度场景下的...
按时间伸缩规则配置
配置伸缩规则 在Databricks数据洞察中开启弹性伸缩时，如果选择按时间配置伸缩规则，则根据以下说明配置相关参数即可 伸缩规则分为扩容规则和缩容规则。集群关闭弹性伸缩功能后，所有规则会被清空，再次开启弹性伸缩功能时，需要重新配置...
Parquet（推荐）
读取Parquet数据%spark val inputPath="oss:/databricks-data-source/datas/parquet_data"val dtDF=spark.read.format("parquet").option("mode","FAILFAST").load(inputPath)dtDF.show(3)dtDF.printSchema()SQL 方式%sql CREATE TABLE ...
Delta Lake 快速开始一
该Notebook展示了如何将JSON数据转换为Delta Lake格式，创建Delta表，在Delta表中Append数据，最后使用Delta Lake元数据命令来显示表的历史记录、格式和详细信息。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请...
约束条件
说明 详细内容请参考Databricks官网文章：约束条件 注意 在Databricks Runtime 7.4及更高版本中可用。Delta表支持标准的SQL约束管理子句，以确保自动验证添加到表中的数据的质量和完整性。当违反约束时，Delta Lake会抛出一个...
JSON文件
在Spark中，我们提及的JSON文件是换行符分隔的JSON，每行必须包含一个单独的，独立有效的JSON对象。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，...
MaxCompute
本文介绍如何使用Databricks 读写MaxCompute数据。前提条件 已创建 MaxCompute实例，具体参见 快速体验MaxCompute 通过主账号登录 阿里云 Databricks控制台。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。...
表版本控制
您还可以通过设置SQL配置来设置默认协议版本：spark.databricks.delta.protocol.minWriterVersion=2(default)spark.databricks.delta.protocol.minReaderVersion=1(default)要将表升级到较新的协议版本，请使用以下DeltaTable....
Java库管理
使用NoteBook引入Java依赖的三种方式 spark.jars spark.jars.packages spark.files 说明 用户做好配置之后，在启动spark任务之前（即第一次运行spark、pyspark、sparkR或者sparkSQL相关代码之前）运行spark.conf段落即可对将要启动的spark...
EMR HDFS
本文介绍如何使用Databricks 读写EMR HDFS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 EMR集群，具体参见 EMR集群创建 已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问Notebook。接入EMR ...
OSS
本文介绍如何使用Databricks 读写 OSS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品...
查询作业列表
Job Type String SPARK 作业的类型，可能的取值有：SPARK，SPARK_STREAMING，ZEPPELIN FailAct String STOP 失败策略，可能的取值：CONTINUE（提过本次作业），STOP（停止作业）CustomVariables String {"scope":"project"} 自定义变量。...
最佳实践
说明 详情请参考Databricks官网文章：最佳实践 本文介绍了使用Delta Lake时的最佳做法。提供数据位置提示 如果您通常希望在查询谓词中使用一个列，并且该列具有较高的基数（即，大量不同的值），则使用Z-ORDER-BY。Delta-Lake根据列值自动...
查询作业运行实例列表
JobType String 否 SPARK 作业的类型，可能的取值有：SPARK，SPARK_STREAMING，ZEPPELIN InstanceId String 否 FJI-BCCAE48B90CC*作业实例ID。您可以调用DescribeFlowJob查看作业实例ID。TimeRange String 否 {"type":"range","from":...
查询作业信息
返回数据 名称 类型 示例值 描述 Type String SPARK 作业的类型，可能的取值有：SPARK，SPARK_STREAMING，ZEPPELIN LastInstanceId String FJI-0BA97D0BB8F3*最后一次执行的实例ID。EnvConf String {"key":"value"} 环境变量设置。...
Notebook-航空公司数据分析示例
本文针对Notebook的使用，做一个具体的场景示例——航空公司数据导入及分析。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间...
文本文件
1,a,10000,11-03-2019,pune 2,b,10020,14-03-2019,pune 3,a,34567,15-03-2019,pune tyui,a,fgh-03-2019,pune 4,b,10020,14-03-2019,pune%spark val path="oss:/databricks-data-source/datas/dataTest.csv"val dtDF=spark.read.textFile...
通过JDBC连接Spark Thrift Server提交Spark作业
本文介绍通过JDBC连接Spark Thrift Servert并成功提交Spark作业。前提条件 连接Spark Thrift Server需要校验用户名和密码，请进行用户认证配置，请参见：用户管理 DDI集群Spark Thrift Server默认端口号为10001，请确认成功添加安全组白...
查询节点实例详情
返回数据 名称 类型 示例值 描述 Status String OK 实例的执行状态，取值如下：PREP（等待启动）SUBMITTING（提交中）RUNNING（运行中）DONE（已完成）OK（执行成功）FAILED（执行失败）KILLED（已终止）KILL_FAILED（终止失败）START_...
DescribeClusterV2
返回数据 名称 类型 示例值 描述 ClusterInfo Struct 集群详情。AccessInfo Struct 集群连接信息。ZKLinks Array of ZKLink ZooKeeper连接信息。ZKLink Link String ddi-worker-1,ddi-header-2,ddi-header-1 ZooKeeper连接地址。Port ...
优化数据转换
Databricks使用嵌套类型优化高阶函数和 DataFrame 操作的...请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型：Higher-order functions Transform complex data types 说明 详细内容可参考Databricks官网文章：优化数据转换
创建数据开发作业
Type String 是 SPARK 作业类型，取值如下：SPARK：spark作业，使用spark-submit提交 ZEPPELIN：提交zeppelin notebook，使用该作业类型，作业的params参数为notebook id SPARK_STREAMING：提交spark流处理作业 FailAct String 否 STOP ...
入门笔记本
这些笔记本显示了如何将JSON数据转换为Delta Lake格式，创建Delta表，追加到表，优化结果表，最后使用Delta Lake元数据命令显示表的历史记录，格式和详细信息。Delta Lake Quickstart Python笔记本 Note 链接地址：Databricks Delta ...
解绑标签
调用UntagResources接口可以为指定的Databricks集群解绑标签。解绑后，如果该标签没有绑定其他任何资源，会被自动删除。请求参数 名称 类型 是否必选 示例值 描述 Action String 否 TagResource 系统规定参数。对于您自行拼凑HTTP或...
关闭弹性伸缩
背景信息 关闭弹性伸缩后，当前已经通过弹性伸缩功能扩充的Task节点将会全部释放，但HDFS存储的位于Core节点的数据不会受影响。如果关闭弹性伸缩后，集群计算资源不足，则建议您通过扩容来增加集群计算资源，详情请参见 集群扩容。操作步骤...
隔离等级
Databricks上的Delta Lake支持两种隔离级别：Serializable和WriteSerializable。说明 详细内容可参考Databricks官网文章：隔离等级 Serializable：最强的隔离级别。它确保提交的写入操作和所有读取都是可序列化。只要有一个串行序列一次...
修改数据开发作业
调用ModifyFlowJob接口，修改数据开发作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
创建并绑定标签
调用TagResources接口，为指定的Databricks集群列表统一创建并绑定标签。调用该接口时，有如下使用限制：最多可以给集群绑定20个标签（包括集群已有标签）标签键和值均不能以“acs:”或者“aliyun”开头，且标签键和值均不能包含“http://...
查询工作流实例列表
StatusList.N String 否 RUNNING 工作流状态：PREP：准备中 RUNNING：运行中 SUCCEEDED：成功 FAILED：失败 KILLED：已终止 SUSPENDED：暂停中 返回数据 名称 类型 示例值 描述 RequestId String EDF99BA3-F7AF-49B2-ABA1-36430A31F482 ...
ListClusters
返回数据 名称 类型 示例值 描述 PageSize Integer 10 分页大小。RequestId String BF4FBAC6-B03E-4BFB-B6DB-EB53C34F2E22 请求ID。PageNumber Integer 1 分页页数。TotalCount Integer 12 查询总数。Clusters Array of ClusterInfo 集群...
列出项目空间中项目
您可以调用ListFlowProjects查看项目的ID Name String 否 my_project 项目名称，用于过滤项目 PageNumber Integer 否 1 页码，用于分页 PageSize Integer 否 20 每页数量 ResourceGroupId String 否 rg-axndjccbxdj 资源组ID 返回数据 名称...
查询数据开发中可用的集群列表
调用ListFlowClusterAll接口，查询数据开发可用的集群列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
修改工作流
返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果，包含如下：true：成功 false：失败 RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=ModifyFlowForWeb&...
获取目录树
Type String 是 FLOW 目录类型，取值如下：FLOW（工作流）JOB（作业）ADHOC（临时查询）Mode String 否 FULL 模型模式，支持如下取值：FULL：默认模式,可以不填,获取完整的目录树。STEP：获取下一级目录列表,需要设置父目录id。LOCATION：...
查询项目中可用的集群列表
返回数据 名称 类型 示例值 描述 PageSize Integer 20 分页查询时每页行数。RequestId String 0d18b019-00ab-455f-b60c-2891bf02f538 请求ID。PageNumber Integer 1 当前页码，从1开始。TotalCount Integer 2 总数。Clusters Array of ...
- 产品推荐
- 这些文档可能帮助您