数据湖元数据管理
Databricks 数据洞察DBR 7.3,Spark 3.0.1,Scala 2.12及之后版本，在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，...
使用Notebook
HOME<PATH_TO_SPARK_HOME>#set driver memory to 8g spark.driver.memory 8g#set executor number to be 6 spark.executor.instances 6#set executor memory 4g spark.executor.memory 4g 问题反馈 您在使用阿里云Databricks数据洞察过程中...
包年包月
本文主要介绍Databricks数据洞察产品使用包年包月的付费方式时计算资源的费用参考（不包含块存储的价格）。说明 公测期间创建的按量付费集群，在公测结束后，将被释放。请您提前做好作业备份。使用对象存储OSS产生的费用需要另行计算，不...
续费流程
本文为您介绍如何手动和自动续费Databricks数据洞察(DDI)集群，以及取消自动续费。背景信息 只有包年包月集群才需要进行续费操作，按量集群是实时结算的。DDI续费方式包括手动续费和自动续费两种。前提条件 请确认包年包月集群还未到期。您...
用户管理
本文介绍如何通过Databricks 数据洞察的用户管理功能，管理集群DDI用户。DDI用户信息存储在集群自带的OpenLDAP中，主要用于在DDI集群内的身份认证。DDI用户可以用于访问链接与端口，查看组件Web UI时的用户身份认证，也可以在开启组件LDAP...
服务关联角色
AliyunServiceRoleForDDI应用场景 Databricks数据洞察集群创建及数据源绑定功能需要访问 云服务器ECS、专有网络VPC 等云服务的资源时，需要通过服务关联角色AliyunServiceRoleForDDI获取访问权限。AliyunServiceRoleForDDI权限说明 ...
集群运维与监控
用户可以登录 Databricks数据洞察监控，选择对应的 集群属地 与 集群名称，即可开启集群运维应用，示例如下图：具体内容可参考 云监控文档。指标监控 目前默认的指标可以分为两个维度，即机器节点基本指标和Hadoop-queue相关指标。后者可以...
按负载伸缩规则配置
在使用Databricks数据洞察集群时，如果您无法准确的预估大数据计算的波峰和波谷，则可以使用按负载伸缩配置的策略。在Databricks数据洞察中开启弹性伸缩时，如果选择按负载配置伸缩规则，则根据以下说明配置相关参数即可。详细配置步骤请...
使用Databricks Delta优化Spark作业性能
OSS宽带 10Gbps 背景信息 Databricks数据洞察内置了Databricks商业版引擎，您可以利用Databricks数据洞察创建集群，实现在秒级响应时间内处理PB级别的数据。本文示例制造100亿条数据，利用Databricks Delta的Data Skipping和ZOEDER ...
管理作业
在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏，单击 项目空间。在 项目空间 页面，单击待操作项目所在行的 作业编辑。在 作业编辑 区域，在需要操作的文件...
Notebook
Python package 需要通过Databricks数据洞察控制页面选择相应的python包。Q：如何配置Spark Application 资源 通过以下属性配置driver的资源：spark.driver.memory spark.driver.cores 通过以下属性配置executor的资源：spark.executor....
Notebook概述
相关操作 有关Notebook的更多操作，请参见：管理Notebook 使用Notebook 说明 每个Databricks数据洞察集群都会部署独立DataInsight Notebook服务。用户在使用Notebook时，需要先选择一个可用的集群。icmsDocProps={'productMethod':'created...
按量付费
本文主要介绍Databricks数据洞察产品使用 按量付费 的付费方式时计算资源的费用参考（不包含块存储的价格）。中国站支持的区域，包括华东1（杭州）、华东2（上海）、华南1（深圳）、华北2（北京）、华北5（呼和浩特）美国（弗吉尼亚）。下...
产品性能
本文介绍Databricks数据洞察采用的企业版Spark引擎性能对比数据，Databricks Runtime（简写dbr）的性能及Delta Lake功能是本产品的核心优势。Databricks Runtime完全兼容开源版本Spark，并且相对开源Spark引擎TPC-DS平均性能有 3~5倍提升，...
公共参数
公共请求参数是指每个接口都需要使用到的请求参数。公共请求参数 参数列表 名称 类型 是否必须 描述 Format String 否 返回值的类型，支持 JSON 与 XML，默认为XML。Version String 是 API 版本号，为日期形式：YYYY-MM-DD，本版本对应为...
查看集群列表信息
在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏中，单击 集群。集群管理 页面展示您所拥有的所有集群的基本信息，以及各集群支持的操作。参数 说明 集群ID/...
CreateClusterV2
调用CreateClusterV2，创建一个Databricks 数据洞察集群。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action...
OSS数据权限隔离
},{"Effect":"Allow","Action":["oss:Listobjects","oss:GetObject","oss:PutObject"],"Resource":["acs:oss:*:*:prod-bucket","acs:oss:*:*:prod-bucket/*"]}]} 按上述脚本示例进行权限隔离后，RAM用户在Databricks 数据洞察控制台...
开启并配置弹性伸缩
当您的业务量需求不断波动时，建议您开启弹性伸缩功能并配置相应的伸缩规则，以使Databricks数据洞察可按业务量波动来增加和减少Task节点。操作步骤 登录 阿里云Databricks控制台。在顶部菜单栏处，根据实际情况选择地域（Region）和资源组...
作业日期设置
在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏，单击 项目空间。在项目空间页面，单击待操作项目所在行的 作业编辑。进行作业设置。在作业编辑页面，选择...
常见问题（FAQ）
Delta Lake在您现有的数据湖之上运行，并且与Apache Spark API完全兼容。Databricks上的Delta Lake允许您根据工作负载模式配置Delta Lake，并提供优化的布局和索引以进行快速的交互式查询。Delta Lake与Apache Spark有何关系？Delta Lake...
设置安全组白名单
属性 说明 规则方向 仅支持网络连接的 入方向 授权策略 仅支持 允许策略 协议类型 仅支持 TCP协议 端口范围 8443（knox）、10001（Spark Thrift Server）优先级 无 授权对象 IP地址 操作步骤 登录阿里云 Databricks 数据洞察控制台。...
API参考
对于Delta表上最常见的读写操作，可以使用Apache Spark读取器和编写器API（请参阅 表批读写 和 表流读写）。但是，有一些特定于Delta Lake的操作，您必须使用Delta Lake编程API。本文介绍了这些编程API。Databricks确保Delta Lake项目和...
项目空间运维与监控
本文主要介绍Databricks数据洞察中项目空间具有的运维与监控能力。背景信息 项目空间的运维能力主要辅助作业开发和工作流生产，前者提供作业开发过程中的日志监控、版本监控和操作审计监控；后者兼容前者的功能，更提供针对调度场景下的...
Delta Engine 概述
Delta Engine 是与 Apache Spark 兼容的高性能查询引擎，提供了一种高效的方式来处理数据湖中的数据，包括存储在开源 Delta Lake 中的数据。Delta Engine 优化可加快数据湖操作速度，并支持各种工作负载，从大规模 ETL 处理到临时交互式...
访问Web UI
Databricks数据洞察集群提供了多个Web UI的访问入口，包括Notebook、Spark UI、Yarn UI和Ganglia监控。增加安全组白名单 为了用户的数据安全，DDI提供了安全组白名单机制来访问集群Web UI。默认不添加白名单是不能进行访问的，具体添加入口...
项目管理
创建Databricks 数据洞察集群后，您可以在数据开发中创建项目，并在项目中进行作业的编辑和工作流的调度。新建项目之后，您可以对项目进行管理，为项目关联集群资源、添加项目成员以及设置全局变量。前提条件 已创建集群，详情请参见 集群...
通过缓存优化性能
每个节点为缓存的元数据保留的磁盘空间（以字节为单位）spark.databricks.io.cache.compression.enabled-缓存的数据是否应以压缩格式存储 INI spark.databricks.io.cache.maxDiskUsage 50g spark.databricks.io.cache.maxMetaDataCache 1g ...
创建数据开发作业
调用 CreateFlowJob接口，创建数据开发作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
按时间伸缩规则配置
配置伸缩规则 在Databricks数据洞察中开启弹性伸缩时，如果选择按时间配置伸缩规则，则根据以下说明配置相关参数即可 伸缩规则分为扩容规则和缩容规则。集群关闭弹性伸缩功能后，所有规则会被清空，再次开启弹性伸缩功能时，需要重新配置...
Databricks Runtime
有关顶级库和其他提供的库的完整列表，请参见以下有关每个可用Runtime的文章：Databricksr Runtime 7.4 ML（测试版）Databricks Runtime 7.3 LTS ML Databricks Runtime 7.2 ML Databricks Runtime 7.1 ML Databricks Runtime 7.0 ML ...
MaxCompute
本文介绍如何使用Databricks 读写MaxCompute数据。前提条件 已创建 MaxCompute实例，具体参见 快速体验MaxCompute 通过主账号登录 阿里云 Databricks控制台。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。...
Delta Lake 快速开始一
步骤二：创建Notebook、导入数据、进行数据分析 定义Notebook中使用的路径path%pyspark#注意需要将数据文件events.json上传至您的OSS对应bucket下，events.json数据来源Databricks站点的open/close数据 inputPath="oss:/databricks-...
修改数据开发作业
调用ModifyFlowJob接口，修改数据开发作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
动态文件剪枝
DFP主要由如下几个Spark配置项控制：spark.databricks.optimizer.dynamicFilePruning（默认值为true）：表示是否使用DFP，如果为true，则启动DFP，下沉DFP的过滤器，减少扫描的数据量。如果设置为false，则不启用DFP。spark.databricks....
表版本控制
您还可以通过设置SQL配置来设置默认协议版本：spark.databricks.delta.protocol.minWriterVersion=2(default)spark.databricks.delta.protocol.minReaderVersion=1(default)要将表升级到较新的协议版本，请使用以下DeltaTable....
工作流使用案例
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 Databricks控制台...
文本文件
读取纯文本文件，文件中的每一行将被解析为DataFrame中的一条记录，然后根据要求进行转换，由于文本文件能够充分利用原生类型（native type）的灵活性，因此很适合作为DataSetAPI的输入。前提条件 通过主账号登录 阿里云 Databricks控制台...
Java库管理
使用NoteBook引入Java依赖的三种方式 spark.jars spark.jars.packages spark.files 说明 用户做好配置之后，在启动spark任务之前（即第一次运行spark、pyspark、sparkR或者sparkSQL相关代码之前）运行spark.conf段落即可对将要启动的spark...
Delta Lake 快速开始二
spark.sql("DROP DATABASE IF EXISTS {} CASCADE".format(database))spark.sql("CREATE DATABASE {} location 'oss:/dome-test/case6/'".format(database))spark.sql("USE {}".format(database))说明 您可以在 Databricks数据洞察控制台中...
- 产品推荐
- 这些文档可能帮助您