什么是块存储数据洞察
块存储数据洞察（CloudLens for EBS）是阿里云针对块存储资源提供的数据分析、性能监控的一种功能。您可以通过该功能获取您的云上块存储资源信息与性能监控数据，以提升您对云上块存储资源的管理效率、帮助您高效地分析业务波动与资源性能...
什么是Databricks数据洞察
Databricks数据洞察（简称DDI）是基于Apache Spark的全托管大数据分析平台。产品内核引擎使用Databricks Runtime，并针对阿里云平台进行了优化。DDI为您提供了高效稳定的阿里云Spark服务，您无需关心集群服务，只需专注在Spark作业的开发上...
数据洞察
数据洞察入口 数据分析支持通过如下几种方式进入数据洞察：数据洞察列表页 进入数据分析。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 工作空间列表，找到目标工作空间后，单击 操作 列的 快速进入，选择 数据分析。在 数据...
Databricks数据洞察Notebook演示
本文针对Databricks数据洞察Notebook基本使用的一个示例。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI...
Databricks数据洞察快速使用
本文指引您快速完成一次完整的Databricks数据洞察的使用操作。前提条件 已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品创建的Bucket为系统目录Bucket，不建议存放数据，您需要再创建一个...
Databricks数据洞察的审计事件
Databricks数据洞察已与操作审计服务集成，您可以在操作审计中查询用户操作数据洞察产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...
阿里云Databricks数据洞察云产品服务协议
阿里云Databricks数据洞察云产品服务协议，请参见 阿里云产品服务协议(通用)。
阿里云Databricks数据洞察服务等级协议（SLA）
阿里云Databricks数据洞察服务等级协议（SLA）的详情，请参见 阿里云Databricks数据洞察服务等级协议。
Databricks数据洞察 vs Open-Source Delta Lake功能...
本文提供Databricks数据洞察中的Databricks Runtime Delta与社区开源版本Delta Lake。Databricks Runtime vs Apache Spark 下表中的 feature 列表来自 Databricks 官网...
ApplyLensService-开通数据洞察服务
开通块存储数据洞察（CloudLens for EBS）。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
CancelLensService-取消数据洞察服务
取消块存储数据洞察（CloudLens for EBS）。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
DescribeLensServiceStatus-查询数据洞察服务状态
查询用户开通ebs数据洞察服务状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
Confluent+数据洞察Databricks最佳实践
本文将向您介绍如何使用 流数据服务Confluent和数据洞察Databricks搭建自己的离线大数据计算平台。前提条件 已注册阿里云账号，详情请参见 阿里云账号注册流程 已开通 Databricks 数据洞察服务，该服务为付费服务。已开通 OSS 对象存储服务...
产品架构
Databricks数据洞察构建在ECS之上，使用阿里云对象存储服务（OSS）为核心存储。本文介绍Databricks数据洞察的产品架构。存储访问加速层方便您可以像操作HDFS上的数据一样访问OSS上的数据。目前，Databricks数据洞察提供了两种执行Spark作业...
Databricks Runtime版本说明
Databricks数据洞察的内核引擎是Databricks Runtime，Databricks Runtime包括Apache Spark，并在此基础上进行了大量的功能和性能优化，可以显著提高大数据分析的可用性、性能和安全性。Databricks Runtime版本与Databricks官方保持一致，...
管理运维中心
在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏，单击 项目空间。在 项目空间 页面，单击待操作项目所在行的 运行记录。单击上方的 概览 页签。展示当前项目...
独立RDS元数据库
本文介绍如何配置独立的阿里云RDS，作为Databricks数据洞察集群的元数据。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。说明 本文以MySQL 5.7版本为例介绍。元数据库准备 创建hivemeta的数据库 详情请参见 创建数据库和账号 中的...
集群运维与监控
本文主要介绍Databricks数据洞察在集群维度的监控与告警能力。背景信息 目前Databricks数据洞察主要采用 阿里云监控 服务，完整对接DBR指标体系，实现多维度、多实例、多时段的指标图表监控，用户可以根据业务情况，灵活自定义告警规则，...
数据湖元数据管理
Databricks 数据洞察DBR 7.3,Spark 3.0.1,Scala 2.12及之后版本，在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，...
按量付费
本文主要介绍Databricks数据洞察产品使用 按量付费 的付费方式时计算资源的费用参考（不包含块存储的价格）。中国站支持的区域，包括华东1（杭州）、华东2（上海）、华南1（深圳）、华北2（北京）、华北5（呼和浩特）美国（弗吉尼亚）。下...
Spark作业原生运维与监控
背景信息 Databricks数据洞察提供了原生的监控运维UI，例如Spark UI和YARN UI，用户可根据自己的需求进行查询。本文主要介绍原生UI透露出来的日志监控和指标查询，配合平台侧的运维与监控能力，更好的服务于用户，运维Spark作业。集群Web ...
项目空间运维与监控
本文主要介绍Databricks数据洞察中项目空间具有的运维与监控能力。背景信息 项目空间的运维能力主要辅助作业开发和工作流生产，前者提供作业开发过程中的日志监控、版本监控和操作审计监控；后者兼容前者的功能，更提供针对调度场景下的...
Databricks Runtime
说明 当前Databrick 数据洞察支持版本为：DBR5.5，Spark2.4.3，Scala 2.11。用于机器学习的Databricks Runtime 用于机器学习的Databricks Runtime（Databricks Runtime ML）自动创建针对机器学习优化的集群。Databricks Runtime ML集群包括...
集群
Q：如何购买Databricks数据洞察集群 请使用阿里云账号进行购买，如需折扣优惠，请提工单或在产品群中联系我们享受折扣优惠。Q：可以使用阿里云子账号创建集群么？可以。但子账号必须通过主账号进行授权方可购买，权限包括：...
Notebook概述
相关操作 有关Notebook的更多操作，请参见：管理Notebook 使用Notebook 说明 每个Databricks数据洞察集群都会部署独立DataInsight Notebook服务。用户在使用Notebook时，需要先选择一个可用的集群。icmsDocProps={'productMethod':'created...
数据迁移与同步FAQ
什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis...
功能特性
什么是数据校验 订正 元数据订正 当校验出数据结构不一致时，可以根据校验结果进行订正。结构订正 查看数据校验详情 全量数据订正 当校验出全量数据不一致时，可以根据校验结果并下载订正SQL进行订正。查看数据校验详情 增量数据订正 当...
基本概念
更多信息，请参见 什么是数据管理DMS。DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于...
离线同步并发和限流之间的关系
数据源连接数Quota限制 阅读此部分，您可以解决和理解如下问题：问题一：什么是数据源连接数（Quota）限制，以及如何合理配置连接数限制？问题二：为什么数据同步解决方案中的离线全量任务跑的慢，长时间任务处于Submit状态？数据源连接数...
使用流程
若您初次使用数据库备份DBS，请先了解 什么是数据库备份DBS。如需了解DBS是否支持备份恢复您的数据库，以及各类数据库备份恢复的具体粒度等，请参见 支持的数据库引擎与功能 或 各类数据库备份配置指导文档。备份恢复方案 您可以通过如下两...
一键建仓
更多信息，请参见 什么是数据传输服务DTS。AnalyticDB MySQL版是云端托管的大规模并行处理的PB级数据仓库，具有快、灵活、易用、超大规模、高并发写入等特点。更多信息，请参见 什么是云原生数据仓库MySQL版。费用说明 AnalyticDB MySQL...
按负载伸缩规则配置
在使用Databricks数据洞察集群时，如果您无法准确的预估大数据计算的波峰和波谷，则可以使用按负载伸缩配置的策略。在Databricks数据洞察中开启弹性伸缩时，如果选择按负载配置伸缩规则，则根据以下说明配置相关参数即可。详细配置步骤请...
数据库代理常见问题
目录 什么是数据库代理？通用型代理和独享型代理有什么区别？数据库代理是否占用主实例的QPS或者TPS？数据库代理地址和常规地址是否是一个地址？开通数据库代理后，实例原来的地址和只读实例的地址是否会被收回？数据库代理的内网网络类型...
数据上云工具
DTS（Tunnel通道系列）什么是数据传输服务DTS 是阿里云提供的一种支持RDBMS（关系型数据库）、NoSQL、OLAP等多种数据源之间数据交互的数据服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输功能。DTS可以支持RDS、MySQL...
产品优势
更多信息，请参见 什么是数据库网关。提供数据库平滑迁移工具：DMS提供了DTS数据迁移工具，覆盖数据库迁移的全生命周期。更多信息，请参见 DTS。数据库管理：可进行数据库实例信息的查看、录入、编辑，对实例、库、表、数据列、行级进行...
新功能发布记录
什么是数据管理DMS 02月 功能名称 变更类型 功能描述 相关文档 数据库迁移 新增 通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的清理，保证数据...
聚水潭：云原生数据仓库助力企业实现商业洞察
为聚水潭平台用户提供在线分析报表功能，基于财务和经营数据，为用户提供快速经营报表、分析、测算工具系统，实时的数据分析能力支持在线对数据进行任意维度探索，帮助用户挖掘数据价值，洞察业务状态，即时响应业务变化。客户价值 中国...
- 产品推荐
- 这些文档可能帮助您