文本文件
1,a,10000,11-03-2019,pune 2,b,10020,14-03-2019,pune 3,a,34567,15-03-2019,pune tyui,a,fgh-03-2019,pune 4,b,10020,14-03-2019,pune%spark val path="oss:/databricks-data-source/datas/dataTest.csv"val dtDF=spark.read.textFile...
查看集群列表信息
在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏中，单击 集群。集群管理 页面展示您所拥有的所有集群的基本信息，以及各集群支持的操作。参数 说明 集群ID/...
Notebook-航空公司数据分析示例
读取OSS数据、打印schema，创建TempView Load OSS data%spark val sparkDF=spark.read.format("csv").option("header","true").option("inferSchema","true").load("oss:/databricks-demo-hangzhou/airline_statistic_usa.csv")Print ...
API参考
对于Delta表上最常见的读写操作，可以使用Apache Spark读取器和编写器API（请参阅 表批读写 和 表流读写）。但是，有一些特定于Delta Lake的操作，您必须使用Delta Lake编程API。本文介绍了这些编程API。Databricks确保Delta Lake项目和...
JindoFS
本文介绍如何使用Databricks 读写JindoFS数据源数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 EMR集群，具体参见 EMR集群创建 已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。重要 版本...
使用OPTIMIZE和Z-ORDER优化商品库存查询性能
步骤二：创建Notebook、导入数据、进行数据分析%pyspark#将csv文件转化为parquet格式#注意文件读取和保存的路径请按照您的oss路径进行配置 spark.read.option("header","true")\.csv("oss:/databricks-demo/online_retail.csv")\.select(...
表流读写
说明 详细内容请参考Databricks官网文章：表流读写 有关演示这些功能的Databricks笔记本，请参阅 入门笔记本二。Delta Lake通过readStream和writeStream与Spark结构化流式处理深度集成。Delta Lake克服了许多流式处理系统和文件相关的常见...
Delta Lake 快速入门
读一个表 在这个部分：显示表格历史记录 查询表的早期版本（时间行程）您可以通过在DBFS（"/mnt/delta/events"）或表名（"event"）上指定路径来访问Delta表中的数据：Scala%spark SELECT*FROM delta.`/mnt/delta/events` 或%spark val ...
创建数据开发作业
Type String 是 SPARK 作业类型，取值如下：SPARK：spark作业，使用spark-submit提交 ZEPPELIN：提交zeppelin notebook，使用该作业类型，作业的params参数为notebook id SPARK_STREAMING：提交spark流处理作业 FailAct String 否 STOP ...
关闭弹性伸缩
背景信息 关闭弹性伸缩后，当前已经通过弹性伸缩功能扩充的Task节点将会全部释放，但HDFS存储的位于Core节点的数据不会受影响。如果关闭弹性伸缩后，集群计算资源不足，则建议您通过扩容来增加集群计算资源，详情请参见 集群扩容。操作步骤...
查询作业列表
Job Type String SPARK 作业的类型，可能的取值有：SPARK，SPARK_STREAMING，ZEPPELIN FailAct String STOP 失败策略，可能的取值：CONTINUE（提过本次作业），STOP（停止作业）CustomVariables String {"scope":"project"} 自定义变量。...
Bloom过滤器索引
布隆过滤器是一项非常有用的Data-skipping技术。...禁用布隆过滤器索引 Databricks默认启用布隆过滤器索引，如果需要禁用布隆过滤器索引，可以通过设置配置项spark.databricks.io.skipping.bloomFilter.enabled 为false实现。
查询作业运行实例列表
JobType String 否 SPARK 作业的类型，可能的取值有：SPARK，SPARK_STREAMING，ZEPPELIN InstanceId String 否 FJI-BCCAE48B90CC*作业实例ID。您可以调用DescribeFlowJob查看作业实例ID。TimeRange String 否 {"type":"range","from":...
查询作业信息
返回数据 名称 类型 示例值 描述 Type String SPARK 作业的类型，可能的取值有：SPARK，SPARK_STREAMING，ZEPPELIN LastInstanceId String FJI-0BA97D0BB8F3*最后一次执行的实例ID。EnvConf String {"key":"value"} 环境变量设置。...
修改数据开发作业
调用ModifyFlowJob接口，修改数据开发作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
查询工作流实例列表
StatusList.N String 否 RUNNING 工作流状态：PREP：准备中 RUNNING：运行中 SUCCEEDED：成功 FAILED：失败 KILLED：已终止 SUSPENDED：暂停中 返回数据 名称 类型 示例值 描述 RequestId String EDF99BA3-F7AF-49B2-ABA1-36430A31F482 ...
通过缓存优化性能
每个节点为缓存的元数据保留的磁盘空间（以字节为单位）spark.databricks.io.cache.compression.enabled-缓存的数据是否应以压缩格式存储 INI spark.databricks.io.cache.maxDiskUsage 50g spark.databricks.io.cache.maxMetaDataCache 1g ...
最佳实践
说明 详情请参考Databricks官网文章：最佳实践 本文介绍了使用Delta Lake时的最佳做法。提供数据位置提示 如果您通常希望在查询谓词中使用一个列，并且该列具有较高的基数（即，大量不同的值），则使用Z-ORDER-BY。Delta-Lake根据列值自动...
修改工作流
返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果，包含如下：true：成功 false：失败 RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=ModifyFlowForWeb&...
工作流使用案例
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 Databricks控制台...
Databricks Runtime
有关顶级库和其他提供的库的完整列表，请参见以下有关每个可用Runtime的文章：Databricksr Runtime 7.4 ML（测试版）Databricks Runtime 7.3 LTS ML Databricks Runtime 7.2 ML Databricks Runtime 7.1 ML Databricks Runtime 7.0 ML ...
查询节点实例详情
返回数据 名称 类型 示例值 描述 Status String OK 实例的执行状态，取值如下：PREP（等待启动）SUBMITTING（提交中）RUNNING（运行中）DONE（已完成）OK（执行成功）FAILED（执行失败）KILLED（已终止）KILL_FAILED（终止失败）START_...
DescribeClusterV2
返回数据 名称 类型 示例值 描述 ClusterInfo Struct 集群详情。AccessInfo Struct 集群连接信息。ZKLinks Array of ZKLink ZooKeeper连接信息。ZKLink Link String ddi-worker-1,ddi-header-2,ddi-header-1 ZooKeeper连接地址。Port ...
签名机制
将得到的签名值作为 Signature 参数添加到请求参数中，即完成对请求签名的过程。重要 得到的签名值在作为最后的请求参数值提交给 ECS 服务器的时候，要和其他参数一样，按照 RFC3986 的规则进行 URL 编码。示例 以 DescribeRegions 为例，...
通过JDBC连接Spark Thrift Server提交Spark作业
确保您已安装Java环境和Java编程工具，并且已配置环境变量 Java代码连接Spark Thrift Server需要下载Databricks提供的依赖包，下载路径：Databricks JDBC Driver 将项目依赖SparkJDBC42.jar添加到编程工具的Lib下，如图：编写代码，连接...
表批读写
有关Delta Lake SQL命令的信息，请参见 Databricks Runtime 7.0及更高版本：Databricks Runtime 7.x SQL参考 Databricks Runtime 6.x及以下版本：Databricks Runtime 5.5 LTS和6.x SQL参考 建立表格 Delta Lake支持使用DataFrameWriter...
通过文件管理优化性能
可以通过将 Spark 会话配置 spark.databricks.delta.stalenessLimit 设置为时间字符串值（例如 1h、15m、1d 分别为 1 小时、15 分钟和 1 天）来配置表数据的过时程度。此配置是特定session，因此不会影响其他用户从其他笔记本、作业或BI...
表删除，更新和合并
要在使用updateAll和insertAll（至少其中一个）执行merge操作期间自动更新表架构，可以在运行merge操作之前设置Spark会话配置spark.databricks.delta.schema.autoMerge.enabled为true。说明 架构演变仅在同时存在一个updateAll或一个...
自动优化
手动执行Optimize命令时默认合并的文件大小为1GB，而自动压缩默认产生的文件大小为128MB（最大），可以使用spark conf：spark.databricks.delta.autoCompact.maxFileSize 进行控制；自动压缩会使用贪心算法，选择收益最大的一些partition来...
表实用程序命令
如果您确定在此表上执行的操作没有超过计划指定的保留时间间隔，你可以通过设置ApacheSpark属性spark.databricks.delta.retentionDurationCheck.enabled设置为false来关闭此安全检查。选择的时间间隔，必须比最长的并发事务长，也必须比...
并发控制
即使在作业过程中修改了某个表，读取器仍会继续查看Databricks 作业开始使用的表的一致快照视图。乐观并发控制 Delta Lake使用乐观并发控制来提供两次写入之间的事务保证。在这种机制下，写操作分为三个阶段：读取：读取（如果需要）表的...
优化数据转换
Databricks使用嵌套类型优化高阶函数和 DataFrame 操作的...请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型：Higher-order functions Transform complex data types 说明 详细内容可参考Databricks官网文章：优化数据转换
入门笔记本
这些笔记本显示了如何将JSON数据转换为Delta Lake格式，创建Delta表，追加到表，优化结果表，最后使用Delta Lake元数据命令显示表的历史记录，格式和详细信息。Delta Lake Quickstart Python笔记本 Note 链接地址：Databricks Delta ...
约束条件
说明 详细内容请参考Databricks官网文章：约束条件 注意 在Databricks Runtime 7.4及更高版本中可用。Delta表支持标准的SQL约束管理子句，以确保自动验证添加到表中的数据的质量和完整性。当违反约束时，Delta Lake会抛出一个...
解绑标签
调用UntagResources接口可以为指定的Databricks集群解绑标签。解绑后，如果该标签没有绑定其他任何资源，会被自动删除。请求参数 名称 类型 是否必选 示例值 描述 Action String 否 TagResource 系统规定参数。对于您自行拼凑HTTP或...
隔离等级
WriteSerializable是默认的隔离级别，因为对大多数常见操作而言，它使数据一致性和可用性之间达到良好的平衡。在此模式下，Delta 表的内容可能与表历史记录中所示的操作序列不同。这是因为此模式允许某些并发写入对继续进行（例如，操作X和...
创建并绑定标签
调用TagResources接口，为指定的Databricks集群列表统一创建并绑定标签。调用该接口时，有如下使用限制：最多可以给集群绑定20个标签（包括集群已有标签）标签键和值均不能以“acs:”或者“aliyun”开头，且标签键和值均不能包含“http://...
列出项目空间中项目
您可以调用ListFlowProjects查看项目的ID Name String 否 my_project 项目名称，用于过滤项目 PageNumber Integer 否 1 页码，用于分页 PageSize Integer 否 20 每页数量 ResourceGroupId String 否 rg-axndjccbxdj 资源组ID 返回数据 名称...
查询数据开发中可用的集群列表
调用ListFlowClusterAll接口，查询数据开发可用的集群列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
查询项目中可用的集群列表
返回数据 名称 类型 示例值 描述 PageSize Integer 20 分页查询时每页行数。RequestId String 0d18b019-00ab-455f-b60c-2891bf02f538 请求ID。PageNumber Integer 1 当前页码，从1开始。TotalCount Integer 2 总数。Clusters Array of ...
- 产品推荐
- 这些文档可能帮助您