Spark作业原生运维与监控
背景信息 Databricks数据洞察提供了原生的监控运维UI，例如Spark UI和YARN UI，用户可根据自己的需求进行查询。本文主要介绍原生UI透露出来的日志监控和指标查询，配合平台侧的运维与监控能力，更好的服务于用户，运维Spark作业。集群Web ...
Notebook概述
相关操作 有关Notebook的更多操作，请参见：管理Notebook 使用Notebook 说明 每个Databricks数据洞察集群都会部署独立DataInsight Notebook服务。用户在使用Notebook时，需要先选择一个可用的集群。icmsDocProps={'productMethod':'created...
Notebook
Python package 需要通过Databricks数据洞察控制页面选择相应的python包。Q：如何配置Spark Application 资源 通过以下属性配置driver的资源：spark.driver.memory spark.driver.cores 通过以下属性配置executor的资源：spark.executor....
应用场景
Databricks数据洞察（简称DDI）的核心引擎是Databricks Runtime和Databricks Delta Lake。商业版引擎的加持下，为您提供了新一代云数仓的解决方案。本文为您介绍Databricks数据洞察适用的典型应用场景。数据湖分析 Databricks数据洞察支持...
Databricks Runtime版本说明
Databricks数据洞察的内核引擎是Databricks Runtime，Databricks Runtime包括Apache Spark，并在此基础上进行了大量的功能和性能优化，可以显著提高大数据分析的可用性、性能和安全性。Databricks Runtime版本与Databricks官方保持一致，...
服务关联角色
本文介绍Databricks数据洞察服务关联角色AliyunServiceRoleForDDI以及如何删除该角色。背景信息 Databricks数据洞察服务关联角色AliyunServiceRoleForDDI是Databricks数据洞察在某些情况下，为了完成自身的某个功能，需要获取其他云服务的...
ElasticSearch
本文介绍如何使用Databricks数据洞察访问ElasticSearch数据源。前提条件 通过主账号登录 阿里云Databricks控制台。已创建 ElasticSearch实例，具体参见 创建阿里云Elasticsearch实例。已创建DDI集群，具体请参见 创建集群。创建集群并通过...
Databricks数据洞察快速使用
本文指引您快速完成一次完整的Databricks数据洞察的使用操作。前提条件 已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品创建的Bucket为系统目录Bucket，不建议存放数据，您需要再创建一个...
CreateClusterV2
调用CreateClusterV2，创建一个Databricks 数据洞察集群。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action...
为RAM用户授权
为确保RAM用户能正常使用Databricks 数据洞察控制台的功能，您需要使用云账号登录访问控制RAM（Resource Access Management），授予RAM用户相应的权限。背景信息 访问控制RAM是阿里云提供的资源访问控制服务，更多详情请参见 什么是访问...
机器学习开发示例
本文介绍如何使用阿里云 Databricks 数据洞察的Notebook进行机器学习开发。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 控制台创建存储...
作业日期设置
在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏，单击 项目空间。在项目空间页面，单击待操作项目所在行的 作业编辑。进行作业设置。在作业编辑页面，选择...
数据源
本文将解答与数据源相关的问题。Q：Databricks数据洞察的支持哪些数据源？目前支持读写阿里云对象存储（OSS）的数据。Q：是否支持当前的DDI集群访问其他集群的HDFS数据？支持访问同账号下的EMR Hadoop集群上的HDFS数据。
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的 Zeppelin 作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 ...
到期与欠费
本文介绍Databricks数据洞察的停服欠费策略。停服欠费说明 计费方式 停服或欠费说明 包年包月 购买的集群资源到期后立即停机。停机后168小时（7天），集群资源会被释放。按量计费 暂不支持
通过文件管理优化性能
可以通过将 Spark 会话配置 spark.databricks.delta.stalenessLimit 设置为时间字符串值（例如 1h、15m、1d 分别为 1 小时、15 分钟和 1 天）来配置表数据的过时程度。此配置是特定session，因此不会影响其他用户从其他笔记本、作业或BI...
表实用程序命令
如果您确定在此表上执行的操作没有超过计划指定的保留时间间隔，你可以通过设置ApacheSpark属性spark.databricks.delta.retentionDurationCheck.enabled设置为false来关闭此安全检查。选择的时间间隔，必须比最长的并发事务长，也必须比...
表批读写
说明 详细内容可参考Databricks官网文章：表批读写 有关演示这些功能的Databricks笔记本，请参阅 入门笔记本二。有关Delta Lake SQL命令的信息，请参见 Databricks Runtime 7.0及更高版本：Databricks Runtime 7.x SQL参考 Databricks ...
表删除，更新和合并
说明 详细内容请参考Databricks官网文章：表删除，更新和合并 有关演示这些功能的Databricks笔记本，请参阅 入门笔记本二。Delta Lake支持多个语句，以方便从Delta表中删除数据和更新数据。从表中删除 从最新版本的Delta表中删除数据，但...
通过缓存优化性能
每个节点为缓存的元数据保留的磁盘空间（以字节为单位）spark.databricks.io.cache.compression.enabled-缓存的数据是否应以压缩格式存储 INI spark.databricks.io.cache.maxDiskUsage 50g spark.databricks.io.cache.maxMetaDataCache 1g ...
续费流程
本文为您介绍如何手动和自动续费Databricks数据洞察(DDI)集群，以及取消自动续费。背景信息 只有包年包月集群才需要进行续费操作，按量集群是实时结算的。DDI续费方式包括手动续费和自动续费两种。前提条件 请确认包年包月集群还未到期。您...
作业提交示例
前提条件 在Databricks数据洞察产品中创建一个集群，详情请参见 创建集群 已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品创建的Bucket为系统目录Bucket，不建议存放数据，您需要再创建一个...
Databricks Delta vs Open-Source Delta Lake
本文介绍Databricks数据洞察产品中Databricks Runtime Delta和社区开源版本Delta Lake在性能优化方面的差异点。Performance Optimization 1.Compaction Delta Lake on Databricks can improve the speed of read queries from a table by ...
按负载伸缩规则配置
在使用Databricks数据洞察集群时，如果您无法准确的预估大数据计算的波峰和波谷，则可以使用按负载伸缩配置的策略。在Databricks数据洞察中开启弹性伸缩时，如果选择按负载配置伸缩规则，则根据以下说明配置相关参数即可。详细配置步骤请...
Databricks数据洞察Notebook演示
本文针对Databricks数据洞察Notebook基本使用的一个示例。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI...
Delta Lake 快速开始一
步骤二：创建Notebook、导入数据、进行数据分析 定义Notebook中使用的路径path%pyspark#注意需要将数据文件events.json上传至您的OSS对应bucket下，events.json数据来源Databricks站点的open/close数据 inputPath="oss:/databricks-...
动态文件剪枝
DFP主要由如下几个Spark配置项控制：spark.databricks.optimizer.dynamicFilePruning（默认值为true）：表示是否使用DFP，如果为true，则启动DFP，下沉DFP的过滤器，减少扫描的数据量。如果设置为false，则不启用DFP。spark.databricks....
包年包月
本文主要介绍Databricks数据洞察产品使用包年包月的付费方式时计算资源的费用参考（不包含块存储的价格）。说明 公测期间创建的按量付费集群，在公测结束后，将被释放。请您提前做好作业备份。使用对象存储OSS产生的费用需要另行计算，不...
常见问题（FAQ）
客户提供的加密密钥的服务器端加密 您可以通过将设置spark.databricks.delta.multiClusterWrites.enabled为来禁用多集群写入false。如果禁用它们，对单个表的写入必须来自单个集群。我可以在Databricks Runtime之外访问Delta表吗？有两种...
Parquet（推荐）
Parquet是一种开源的面向列的数据存储格式，它提供了各种存储优化，尤其适合数据分析。Parquet提供列压缩从而可以节省空间，而且它支持按列读取而非整个文件的读取。作为一种文件格式，Parquet与Apache Spark配合的很好，而且实际上也是...
自动优化
自动优化是Delta Engine一组可选特性，当开启该组特性后，Delta Engine会自动合并对Delta表的多次写入产生的小文件，以牺牲部分写性能为代价，大幅提升查询性能。自动优化在这些场景下尤其有用：1）能接受分钟级时延的流式数据入湖；2）常...
使用OPTIMIZE和Z-ORDER优化商品库存查询性能
步骤二：创建Notebook、导入数据、进行数据分析%pyspark#将csv文件转化为parquet格式#注意文件读取和保存的路径请按照您的oss路径进行配置 spark.read.option("header","true")\.csv("oss:/databricks-demo/online_retail.csv")\.select(...
Delta Lake 快速入门
Delta Lake快速入门概述了使用Delta Lake的基础知识。此快速入门演示如何生成管道，以便将JSON数据读入Delta表、修改表、读取表、显示表历史记录，以及优化表。有关演示这些功能的Databricks笔记本，请参阅 入门笔记本。创建表 若要创建...
表流读写
说明 详细内容请参考Databricks官网文章：表流读写 有关演示这些功能的Databricks笔记本，请参阅 入门笔记本二。Delta Lake通过readStream和writeStream与Spark结构化流式处理深度集成。Delta Lake克服了许多流式处理系统和文件相关的常见...
按量付费
本文主要介绍Databricks数据洞察产品使用 按量付费 的付费方式时计算资源的费用参考（不包含块存储的价格）。中国站支持的区域，包括华东1（杭州）、华东2（上海）、华南1（深圳）、华北2（北京）、华北5（呼和浩特）美国（弗吉尼亚）。下...
Bloom过滤器索引
布隆过滤器是一项非常有用的Data-skipping技术。...禁用布隆过滤器索引 Databricks默认启用布隆过滤器索引，如果需要禁用布隆过滤器索引，可以通过设置配置项spark.databricks.io.skipping.bloomFilter.enabled 为false实现。
优化数据转换
Databricks使用嵌套类型优化高阶函数和 DataFrame 操作的性能。请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型：Higher-order functions Transform complex data types 说明 详细内容可参考Databricks官网文章：优化...
表版本控制
您还可以通过设置SQL配置来设置默认协议版本：spark.databricks.delta.protocol.minWriterVersion=2(default)spark.databricks.delta.protocol.minReaderVersion=1(default)要将表升级到较新的协议版本，请使用以下DeltaTable....
OSS数据权限隔离
},{"Effect":"Allow","Action":["oss:Listobjects","oss:GetObject","oss:PutObject"],"Resource":["acs:oss:*:*:prod-bucket","acs:oss:*:*:prod-bucket/*"]}]} 按上述脚本示例进行权限隔离后，RAM用户在Databricks 数据洞察控制台...
开启并配置弹性伸缩
当您的业务量需求不断波动时，建议您开启弹性伸缩功能并配置相应的伸缩规则，以使Databricks数据洞察可按业务量波动来增加和减少Task节点。操作步骤 登录 阿里云Databricks控制台。在顶部菜单栏处，根据实际情况选择地域（Region）和资源组...
- 产品推荐
- 这些文档可能帮助您