概述
背景信息 DMS数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘或大屏中对数据集中的数据以表格、交叉表、折线图、柱条形...
冷热分层
通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会应用HTAP（Hybrid Transaction and Analytical Process）体系结构，通过合理地选择分层存储组件和计算引擎，既能支持海量数据...
透明数据加密概述
加密解密流程 所有加密解密操作均在内存中进行，内存中的数据是明文，磁盘中的数据是密文，这可以避免因磁盘被盗而产生的数据泄露问题，同时数据库的使用方式保持不变，没有适配成本。数据库启动时会从KMS获取KEK，从而解密DEK，解密后的...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
数据加工过程卡点校验
本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时...
创建ClickHouse数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可以单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
主备方案介绍
A：不会，双向同步中会根据集群ID区分是数据同步写入的数据还是客户端写入的数据，保证数据不会循环发送。Q：目标实例出现异常无法写入时，LTS是否会缓存数据？A：LTS不会缓存数据，数据同步中当目标实例无法写入时，会记录读取WAL的点位，...
创建ClickHouse数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
独享数据集成资源组
功能介绍 独享数据集成资源组的功能亮点如下：支持复杂网络环境下的数据同步。例如，跨云环境（金融云、政务云等）、跨阿里云账号、本地IDC数据同步。具有丰富的产品能力：支持离线数据同步。例如，增量与全量数据同步，单表及分库分表数据...
MongoDB 4.0
如果实例的数据库小版本过期或不在维护列表内，当执行以下操作时，为保证提供更出色的性能和稳定性，系统会默认将您的数据库小版本升级至最新版。升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库...
数据服务API
数据地图支持对当前租户下所有工作空间的数据服务API进行搜索和定位，实现数据服务API的高效查找。进入API查找界面 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 ...
核心能力
统一数据服务封装 实时、离线、半结构化、非结构化、消息队列的数据服务封装。支持向导模式和SQL模式等的服务封装。简单身份认证和加密签名身份认证模式。数据服务调用流量管控。行业知识敏捷交付 工作组下API服务、模型、节点、场景、指标...
数据源权限管理
是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的移除、关联情况？分享数据源后，其资源组的连通状态是否会被同步分享？分享...
在GDB控制台清除实例数据
当图数据库GDB实例中的数据不再使用但需要保留该实例时，您可以通过图数据库GDB提供的清除数据功能清除实例中的数据。本文介绍在图数据库GDB控制台上清除图数据库GDB实例数据的方法。注意事项 清除实例数据后仅保留实例账号信息，且清除的...
基本概念
数据同步 数据源：是指数据库应用程序所使用的数据库或者数据库服务器，在数据资源平台的数据同步中可以将配置好的数据源端数据同步到目标端。多源异构数据：指的是多种不同结构的数据源。数据模板：用于对非结构化数据的解释，当创建数据...
数据质量教程概述
在整体数据链路的处理过程中，为保证最终产出数据的质量，您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程，ods_user_trace_log、dw_user_trace_log...
数据质量教程概述
在整体数据链路的处理过程中，为保证最终产出数据的质量，您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程，ods_user_trace_log、dw_user_trace_log...
概述
向量数据库简介 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在的，如图片，音频，视频，文本等。这些非结构化数据随着智慧城市、短视频、商品个性化推荐、视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
概述
例如，实例中创建了2021年01月01日00:00:01的数据备份集以及该时间之后的日志，则可以恢复2021年01月01日00:00:01以来任意时间点（精确至秒）的数据。备份方式 PolarDB-X 支持自动备份与手动备份两种方式。自动备份：系统自动定期触发的...
技术发展趋势
IDC在《Data Age 2025》的报告中预测，从2018年到2025年，全球数据将从33ZB急速增长到175ZB，比2016年产生的数据量增加了十倍。这表明注重数据价值的时代已经来临，并逐渐取代了从模拟数据向数字化转变的时期；产生、使用和管理对生活产生...
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
查询概述
通过使用Catalog，您可以快速访问和分析存储在外部数据源中的数据，从而实现更加灵活和全面的数据管理和分析。SelectDB也提供表函数功能（Table-Value-Function或TVF），支持把S3、HDFS等常见远端存储中的文件数据，映射成SelectDB中的表，...
修改组件数据
在下方的数据配置区域内，按照您的需求修改模板已有的数据，或粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果。数据响应...
多值数据写入
返回时，会将该批次数据中写入失败的数据全部返回，返回的响应内容和指定 details 时相同，只是此时通过 errors 字段返回的将是该一批次数据中所有的失败数据，未被返回的数据可以认为写入成功。名称 数据类型 描述 success Integer 写入...
修改组件数据
在下方的数据配置区域内，按照您的需求修改模板已有的数据，或粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果。数据响应...
修改名单抽奖数据
在下方的数据配置区域内，按照您的需求自定义修改模板已有的数据，或直接粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果...
修改名单抽奖数据
在下方的数据配置区域内，按照您的需求自定义修改模板已有的数据，或直接粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果...
步骤二：规划数仓
数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。步骤一：创建数据板块 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 新建数据板块 对话框。在 生产开发类型 步骤中选择 Basic模式 并单击 下一步。在 板块...
步骤二：规划数仓
数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。步骤一：创建数据板块 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 新建数据板块 对话框。在 生产开发类型 步骤中选择 Basic模式 并单击 下一步。在 板块...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
添加数据
由于本示例的数据区域是全国范围，因此 裁剪边界数据接口 的数据可以保持不变。您也可以根据需要修改 裁剪边界数据接口 的数据。在 插值点数据接口 的配置页面，单击 配置数据源。在 设置数据源 页面，按照以下说明配置数据源。数据源类型...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
数据保护规则简介
在设置数据保护规则时，您需要保证 不同规则作用的数据范围是互斥的，即每列数据，仅能唯一匹配一条规则，否则全密态数据库无法确定如何选择规则，可能发生非预期的结果。users：用户访问数据权限的设定。各权限说明如下：说明 用户权限...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
数据查询
临时查询 支持通过SQL语句查询预览不同云计算资源的数据资源，可为开发人员和数据应用人员提供全面直观的数据呈现。查询结果支持开启地图模式，并实现表格和地图的双向联动。（邀测中）空间元信息（邀测中）支持查看空间数据基本信息和空间...
冷数据归档备份与恢复
技术原理 针对于包含冷数据的实例，PolarDB-X 同样提供不同粒度的数据恢复能力，包括实例级的一致性备份恢复能力、表级的表回收站能力、SQL级的SQL闪回能力等。冷数据的Flashback Query 每个存储引擎指定为OSS的表分为元数据部分和数据文件...
- 产品推荐
- 这些文档可能帮助您