入仓解决方案
数据同步和迁移任务的区别，请参见 数据迁移和数据同步的区别是什么？新建实时同步任务 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据开发>数仓开发。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标...
什么是数据传输服务DTS
说明 数据迁移在某些场景下可实现部分数据同步的功能，但是两者的适用场景、功能和收费上存在一定区别，详情请参见 数据迁移和数据同步的区别是什么？迁移方案概览 数据迁移功能特性 通过DTS实现数据库的垂直拆分 数据集成 作为数据迁移...
迁移方案概览
更多区别，请参见 数据迁移和数据同步的区别是什么。迁移链路均支持跨地域的任务。是否支持创建跨阿里云账号的迁移任务（源或目标库实例有 是否跨阿里云账号 配置项，且选择为 跨账号）取决于数据库的类型和接入方式。更多信息，请参见 ...
同步方案概览
更多区别，请参见 数据迁移和数据同步的区别是什么？当前仅当目标库为函数计算FC时，不支持跨地域的同步任务（源库与目标库的地域不同），其余链路均支持。是否支持创建跨阿里云账号的同步任务（源或目标库实例有 是否跨阿里云账号 配置项...
支持的数据库
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
导入数据接口和请求数据接口区别
本文介绍在蓝图编辑器内，导入数据接口和请求数据接口的区别。接口区别示意图 接口区别详细介绍 请求数据接口：重新请求服务端数据，上游 数据处理 节点或 图层节点 抛出的数据将作为参数。例如数字翻牌器配置了API数据源为 ...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
划分数据域
数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于数据的管理和应用。划分数据域 通常，您需要阅读各源系统的设计文档、数据字典和数据模型设计文档，研究逆向导出的物理数据模型。进而，可以进行跨源...
数据分析整体趋势
这些云原生数据仓库技术分别起源于数据库和大数据，提供标准SQL接口和ACID保证，底层存储通过Share Everything或Share Nothing实现资源池化和横向扩展能力。资源隔离，数据共享是目前业务应用对云原生数据仓库的普遍需求。综上所述，数据...
数据质量教程概述
业务场景 要保证业务数据质量，首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android...
数据质量教程概述
业务场景 要保证业务数据质量，首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android...
什么是DataWorks
典型客户 国家电网大数据中心：通过DataWorks实现总部+27家省（市）公司PB级数据的统一管理，通过全链路数据中台的治理与监测运营体系，加快电网整体数字化转型升级。世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型...
管理数据集
数据集是基于特定数据库和SQL查询生成，并且以二维表呈现的一种数据集合。本文介绍创建、编辑、删除数据集的方法。注意事项 数据分析后续所有的分析工作、仪表盘制作和大屏制作都是基于数据集进行的，因此在进行其他功能前，必须先创建数据...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
产品功能
TSDB 提供时序数据的高效读写。对于百万数据点的读取，响应时间小于 5 秒，且最高可以支撑每秒千万数据点的写入。数据写入 TSDB 支持通过 HTTP 协议和 TSDB Java Client 两种方式进行数据写入。数据查询 TSDB 支持通过 HTTP 协议、TSDB ...
整体架构
技术架构 AnalyticDB MySQL版 采用云原生架构，计算存储分离、冷热数据分离，支持高吞吐实时写入和数据强一致，兼顾高并发查询和大吞吐批处理的混合负载。AnalyticDB MySQL 数仓版（3.0）主要用来处理高性能在线分析场景的数据。随着数据...
透明数据加密概述
经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的未知用户将不允许访问明文数据。透明：数据在使用过程中无感知，数据在...
数据方案概览
表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性 无锁结构变更 可以较好地规避因锁表以致于阻塞业务和数据库原生OnlineDDL带来的主备延迟问题。数据变更 普通数据变更 支持数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
访问数据分析功能
本文介绍访问数据分析功能的三种方式。通过顶部菜单栏直接进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。通过数据库的SQL窗口进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，...
什么是数据库自治服务DAS
数据库是所有企业业务的基座，企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询，但是使用数据库的人员对数据库的了解程度参差不齐，所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...
产品优势
数据安全中心DSC（Data Security Center）可扫描和识别海量数据，帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...
概述
在主备容灾场景，可以将备实例切换为主实例，保障数据的一致性和业务的可用性，详情参见 切换为主实例。在业务拆分等场景，可以将备实例从主备实例场景变更为两个独立的集群实例，提搞资源利用率，详情参见 解耦备实例。
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
数据源开发和生产环境隔离
数据源隔离模式可以满足标准模式下，开发环境和生产环境的数据隔离需求。背景信息 同一个名称的数据源存在开发环境和生产环境两套配置，在配置数据源时，您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景，针对不同环境设置...
IoT数据自动化同步至云端解决方案
物联网专注于物物相连，大数据专注于数据的价值化，云计算则为大数据和物联网提供计算资源等服务支持。大数据是物联网体系的重要组成部分。物联网的体系结构包括设备、网络、平台、分析、应用和安全，其中分析部分的主要内容为大数据分析。...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
统一服务
批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。通过空间服务发布将空间数管中的各类型空间数据发布成行业标准的空间服务...
创建ClickHouse数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至ClickHouse的能力，您可将其他数据源的数据同步至当前ClickHouse数据源，或将当前ClickHouse数据源的数据同步至其他数据源。您可通过离线同步场景执行相关数据同步操作。增...
功能简介
已获授权API 对已获授权API通过API维护和应用维度进行查看，支持测试API、下载API使用文档、下载密钥SDK和归还权限，也支持查看单个API的授权详情，包括：授权人、授权时间、访问路径、AppKey和AppSecret等。已对外授权API 支持查看通过...
功能简介
批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非结构化数据服务的源头为OSS，服务封装为根据文件名称返回文件数据流。统一服务为用户提供了数据中台建设过程中的数据服务化能力，面向数据开发...
Delta Lake概述
而Delta简化了工作流程，整条数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换、特征化等操作都是流上的节点动作，无需对历史和实时数据分别处理。与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL...
二级索引
Lindorm宽表支持Tabular模型下的二级索引功能，此功能在非主键匹配的查询场景下，可以降低应用的开发复杂性、保证数据的一致性和提高写入效率。本文介绍Lindorm Tabular模型下二级索引的基本特性和使用示例。背景信息 对于Lindorm Tabular...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念，目的是便于管理和应用数据。通常...
数据质量管理流程
数据质量管理是通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下。数据管理流程说明如下：分析业务场景，根据应用的影响程度，确定当前以及生产链路上的数据资产等级。...
使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
数据模型架构规范
模型设计的基本原则 高内聚和低耦合 一个逻辑和物理模型由哪些记录和字段组成，应该遵循最基本的软件设计方法论中的高内聚和低耦合原则。主要从数据业务特性和访问特性两个角度来考虑：将业务相近或者相关的数据、粒度相同数据设计为一个...
配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
技术原理
扩展性原理 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过水平拆分（分库分表）和垂直拆分，将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平拆分（分库分表）PolarDB-X 1.0 具备数据水平拆分的能力...
- 产品推荐
- 这些文档可能帮助您