数据洞察
数据洞察入口 数据分析支持通过如下几种方式进入数据洞察：数据洞察列表页 进入数据分析。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 工作空间列表，找到目标工作空间后，单击 操作 列的 快速进入，选择 数据分析。在 数据...
Databricks数据洞察快速使用
本文指引您快速完成一次完整的Databricks数据洞察的使用操作。前提条件 已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品创建的Bucket为系统目录Bucket，不建议存放数据，您需要再创建一个...
什么是Databricks数据洞察
Databricks数据洞察（简称DDI）是基于Apache Spark的全托管大数据分析平台。产品内核引擎使用Databricks Runtime，并针对阿里云平台进行了优化。DDI为您提供了高效稳定的阿里云Spark服务，您无需关心集群服务，只需专注在Spark作业的开发上...
什么是块存储数据洞察
块存储数据洞察（CloudLens for EBS）是阿里云针对块存储资源提供的数据分析、性能监控的一种功能。您可以通过该功能获取您的云上块存储资源信息与性能监控数据，以提升您对云上块存储资源的管理效率、帮助您高效地分析业务波动与资源性能...
Databricks数据洞察Notebook演示
本文针对Databricks数据洞察Notebook基本使用的一个示例。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI...
ApplyLensService-开通数据洞察服务
开通块存储数据洞察（CloudLens for EBS）。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
CancelLensService-取消数据洞察服务
取消块存储数据洞察（CloudLens for EBS）。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
Databricks数据洞察的审计事件
Databricks数据洞察已与操作审计服务集成，您可以在操作审计中查询用户操作数据洞察产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...
阿里云Databricks数据洞察云产品服务协议
阿里云Databricks数据洞察云产品服务协议，请参见 阿里云产品服务协议(通用)。
阿里云Databricks数据洞察服务等级协议（SLA）
阿里云Databricks数据洞察服务等级协议（SLA）的详情，请参见 阿里云Databricks数据洞察服务等级协议。
DescribeLensServiceStatus-查询数据洞察服务状态
查询用户开通ebs数据洞察服务状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
Confluent+数据洞察Databricks最佳实践
本文将向您介绍如何使用 流数据服务Confluent和数据洞察Databricks搭建自己的离线大数据计算平台。前提条件 已注册阿里云账号，详情请参见 阿里云账号注册流程 已开通 Databricks 数据洞察服务，该服务为付费服务。已开通 OSS 对象存储服务...
Databricks数据洞察 vs Open-Source Delta Lake功能...
本文提供Databricks数据洞察中的Databricks Runtime Delta与社区开源版本Delta Lake。Databricks Runtime vs Apache Spark 下表中的 feature 列表来自 Databricks 官网...
聚水潭：云原生数据仓库助力企业实现商业洞察
为聚水潭平台用户提供在线分析报表功能，基于财务和经营数据，为用户提供快速经营报表、分析、测算工具系统，实时的数据分析能力支持在线对数据进行任意维度探索，帮助用户挖掘数据价值，洞察业务状态，即时响应业务变化。客户价值 中国...
查询SQL洞察和审计（新版）的热存储数据明细
调用GetDasSQLLogHotDat接口，查询数据库实例7天内SQL洞察和审计（新版）的热存储数据明细。接口说明 使用该接口需满足以下前提条件：使用阿里云或 DAS 的 SDK 时，建议使用最新版本。在使用 SDK 调用 DAS 服务时，需要将地域指定为 ...
数据源概览
本章节主要介绍如何使用Databricks数据洞察完成对多种数据源的读写，以及如何使用Databricks数据洞察完成与其他阿里云产品数据源之间的网络连接。静态数据源 Databricks数据洞察支持直接读取静态数据源。CSV文件 JSON文件 Parquet文件 ORC...
产品架构
Databricks数据洞察构建在ECS之上，使用阿里云对象存储服务（OSS）为核心存储。本文介绍Databricks数据洞察的产品架构。存储访问加速层方便您可以像操作HDFS上的数据一样访问OSS上的数据。目前，Databricks数据洞察提供了两种执行Spark作业...
产品优势
全托管的Databricks数据洞察大数据分析平台，可以让您从繁杂的环境运维、内核优化等工作中解脱出来，专注于开发Spark作业本身。本文介绍Databricks数据洞察的产品优势。高效稳定 产品内核使用Databricks商业版的Runtime和Delta Lake。与...
服务关联角色
本文介绍Databricks数据洞察服务关联角色AliyunServiceRoleForDDI以及如何删除该角色。背景信息 Databricks数据洞察服务关联角色AliyunServiceRoleForDDI是Databricks数据洞察在某些情况下，为了完成自身的某个功能，需要获取其他云服务的...
应用场景
Databricks数据洞察（简称DDI）的核心引擎是Databricks Runtime和Databricks Delta Lake。商业版引擎的加持下，为您提供了新一代云数仓的解决方案。本文为您介绍Databricks数据洞察适用的典型应用场景。数据湖分析 Databricks数据洞察支持...
数据湖元数据管理
Databricks 数据洞察DBR 7.3,Spark 3.0.1,Scala 2.12及之后版本，在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，...
到期与欠费
本文介绍Databricks数据洞察的停服欠费策略。停服欠费说明 计费方式 停服或欠费说明 包年包月 购买的集群资源到期后立即停机。停机后168小时（7天），集群资源会被释放。按量计费 暂不支持
访问外部数据源
本文介绍如何在Databricks数据洞察实现访问外部数据源的需求。背景信息 Databricks数据洞察为了满足您在计算任务里访问您在阿里云上已有的数据，支持通过添加外部数据源的方式，打通集群到您自己VPC下的网络环境。绑定数据源 绑定数据源的...
创建集群
本节介绍如何使用Databricks数据洞察控制台创建集群。前提条件 已注册阿里云账号，并完成实名认证。详情请参见 阿里云账号注册流程。操作步骤 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的...
ElasticSearch
本文介绍如何使用Databricks数据洞察访问ElasticSearch数据源。前提条件 通过主账号登录 阿里云Databricks控制台。已创建 ElasticSearch实例，具体参见 创建阿里云Elasticsearch实例。已创建DDI集群，具体请参见 创建集群。创建集群并通过...
续费流程
本文为您介绍如何手动和自动续费Databricks数据洞察(DDI)集群，以及取消自动续费。背景信息 只有包年包月集群才需要进行续费操作，按量集群是实时结算的。DDI续费方式包括手动续费和自动续费两种。前提条件 请确认包年包月集群还未到期。您...
角色授权
首次使用Databricks数据洞察服务创建集群时，需要使用主账号为Databricks数据洞察服务授权名为AliyunDDIEcsDefaultRole的系统默认角色。同时需要您创建一个系统目录存储Bucket。背景信息 关于角色详细信息，具体可以参见 RAM角色概览。通过...
弹性伸缩概述
本文介绍Databricks数据洞察的弹性伸缩功能，您可以根据业务需求和策略设置伸缩策略。弹性伸缩开启并配置完成后，当业务需求增长时Databricks数据洞察会自动为您增加Task节点以保证计算能力，当业务需求下降时Databricks数据洞察会自动减少...
Python库管理
本文介绍在Databricks数据洞察控制台，执行Spark作业时，如何安装自定义的库或者第三方库。添加库 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域...
数据源
本文将解答与数据源相关的问题。Q：Databricks数据洞察的支持哪些数据源？目前支持读写阿里云对象存储（OSS）的数据。Q：是否支持当前的DDI集群访问其他集群的HDFS数据？支持访问同账号下的EMR Hadoop集群上的HDFS数据。
为RAM用户授权
为确保RAM用户能正常使用Databricks 数据洞察控制台的功能，您需要使用云账号登录访问控制RAM（Resource Access Management），授予RAM用户相应的权限。背景信息 访问控制RAM是阿里云提供的资源访问控制服务，更多详情请参见 什么是访问...
管理运维中心
在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏，单击 项目空间。在 项目空间 页面，单击待操作项目所在行的 运行记录。单击上方的 概览 页签。展示当前项目...
集群
Q：如何购买Databricks数据洞察集群 请使用阿里云账号进行购买，如需折扣优惠，请提工单或在产品群中联系我们享受折扣优惠。Q：可以使用阿里云子账号创建集群么？可以。但子账号必须通过主账号进行授权方可购买，权限包括：...
产品性能
本文介绍Databricks数据洞察采用的企业版Spark引擎性能对比数据，Databricks Runtime（简写dbr）的性能及Delta Lake功能是本产品的核心优势。Databricks Runtime完全兼容开源版本Spark，并且相对开源Spark引擎TPC-DS平均性能有 3~5倍提升，...
使用Spark Structured Streaming实时处理Kafka数据
本文介绍如何使用阿里云 Databricks 数据洞察创建的集群去访问外部数据源 E-MapReduce，并运行Spark Structured Streaming作业以消费Kafka数据。前提条件 已注册阿里云账号，详情请参见 阿里云账号注册流程。已开通 E-MapReduce服务。已...
释放集群
在Databricks数据洞察控制台页面，选择所在的地域（Region）。在左侧导航栏中，单击 集群。设置释放。在集群管理页面，单击待释放集群所在行的释放。单击待释放集群的集群ID，在集群基础信息页面，单击集群操作>释放。在弹出的集群管理-...
MongoDB
MongoDB数据源与DDI网络打通 登录MongoDB管理控制台 云数据库MongoDB管理控制台 点击上部选择实例所在 region 点击实例ID进入实例详情页面 查看 基本信息 找到对应的VPV和VSwitch 登录到databricks数据洞察集群 阿里云Databricks控制台 ...
- 产品推荐
- 这些文档可能帮助您