目标数据库连接性检查
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不...
使用DataWorks连接
使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并通过分析模式的Web Excel对查询结果进行分析。您也可以下载查询结果至本地，减少数据的流动，更好地保障数据安全。...
新建及管理动态脱敏规则
数据分类 选择数据分类。如需创建数据分类，您也可以单击 无可用数据分类，去新建>按钮创建，详情请参见 新建数据分类。所属板块 支持选择 全部 或者 枚举。选择 枚举，需选择访问的数据板块。所属项目 支持选择 全部 或者 枚举。选择 枚举...
新建及管理动态脱敏规则
数据分类 选择数据分类。如需创建数据分类，您也可以单击 无可用数据分类，去新建>按钮创建，详情请参见 新建数据分类。所属板块 支持选择 全部 或者 枚举。选择 枚举，需选择访问的数据板块。所属项目 支持选择 全部 或者 枚举。选择 枚举...
数据模型架构规范
具体仓库的分层情况需要结合业务场景、数据场景、系统场景进行综合考虑。数据分类架构 该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。在进入到CDM层后，由以下几部分组成：公共维度层：基于维度建模理念思想，...
基于混合负载的查询优化
完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大数据场景下的复杂批计算场景；如何一站式的解决混合负载下的服务能力。新一代云原生数据仓库AnalyticDB MySQL版提供一站式的数仓服务。混合计算引擎 提供...
引擎简介
Lindorm宽表引擎是面向海量半结构化、结构化数据设计的分布式存储，适用于元数据、订单、账单、画像、社交、feed流、日志等场景，兼容HBase、Phoenix（SQL）、Cassandra等开源标准接口，支持单表百万亿行规模、千万级并发、毫秒级响应、跨...
填报控件
使用场景 控件类型 控件名称 使用场景 基础控件 单行文本 用于添加单行文本数据的场景，例如 姓名、职位、开票单位 等。多行文本 用于添加内容较复杂、多行文本数据的场景，例如 详细住址、备注 等。数值 用于添加数字数据的场景，例如 ...
Jindo DistCp场景化使用指导
场景二：使用Jindo DistCp成功导完数据后，如何验证数据完整性？场景三：导入HDFS数据至OSS时，DistCp任务存在随时失败的情况，该使用哪些参数支持断点续传？场景四：成功导入HDFS数据至OSS，数据不断增量增加，在Distcp过程中可能已经产生...
Jindo DistCp场景化使用指导
场景二：使用Jindo DistCp成功导完数据后，如何验证数据完整性？场景三：导入HDFS数据至OSS时，DistCp任务存在随时失败的情况，该使用哪些参数支持断点续传？场景四：成功导入HDFS数据至OSS，数据不断增量增加，在Distcp过程中可能已经产生...
Jindo DistCp场景化使用指导
场景二：使用Jindo DistCp成功导完数据后，如何验证数据完整性？场景三：导入HDFS数据至OSS时，DistCp任务存在随时失败的情况，该使用哪些参数支持断点续传？场景四：成功导入HDFS数据至OSS，数据不断增量增加，在Distcp过程中可能已经产生...
Jindo DistCp场景化使用指导
场景二：使用Jindo DistCp成功导完数据后，如何验证数据完整性？场景三：导入HDFS数据至OSS时，DistCp任务存在随时失败的情况，该使用哪些参数支持断点续传？场景四：成功导入HDFS数据至OSS，数据不断增量增加，在Distcp过程中可能已经产生...
HBase Replication
HBase可以基于Replication功能将实时写入的数据从主集群复制到备份集群，从而提高HBase数据的可靠性和数据访问的扩展性。HBase目前支持异步Replication、串行Replication和同步Replication。本文为您介绍如何开启HBase的异步Replication...
Jindo DistCp场景化使用指导
场景二：使用Jindo DistCp成功导完数据后，如何验证数据完整性？场景三：导入HDFS数据至OSS时，DistCp任务存在随时失败的情况，该使用哪些参数支持断点续传？场景四：成功导入HDFS数据至OSS，数据不断增量增加，在Distcp过程中可能已经产生...
Jindo DistCp场景化使用指导
场景二：使用Jindo DistCp成功导完数据后，如何验证数据完整性？场景三：导入HDFS数据至OSS时，DistCp任务存在随时失败的情况，该使用哪些参数支持断点续传？场景四：成功导入HDFS数据至OSS，数据不断增量增加，在Distcp过程中可能已经产生...
Jindo DistCp场景化使用指导
场景二：使用Jindo DistCp成功导完数据后，如何验证数据完整性？场景三：导入HDFS数据至OSS时，DistCp任务存在随时失败的情况，该使用哪些参数支持断点续传？场景四：成功导入HDFS数据至OSS，数据不断增量增加，在Distcp过程中可能已经产生...
Jindo DistCp场景化使用指导
场景二：使用Jindo DistCp成功导完数据后，如何验证数据完整性？场景三：导入HDFS数据至OSS时，DistCp任务存在随时失败的情况，该使用哪些参数支持断点续传？场景四：成功导入HDFS数据至OSS，数据不断增量增加，在Distcp过程中可能已经产生...
应用场景
云数据库HBase是一个键值/宽表型的分布式数据库，适用于任何数据规模，可以提供单个毫秒响应的性能，尤其擅长低成本、高并发的场景，支持水平扩展到PB级存储和千万级QPS，在淘宝、支付宝、菜鸟等众多阿里巴巴核心服务中起到了关键支撑的...
集成与开发概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。离线集成。更多信息，请参见 离线集成概述。离线集成是一种低代码的数据开发工具，...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
什么是数据库存储DBFS
数据库文件存储（DBFS），是一款针对数据库场景的云原生共享文件存储服务。它基于共享存储架构设计，通过文件协议提供数据库定制功能，具备企业级存储特性。主要服务于云上自建数据库，基于传统SAN的应用等，为用户提供高IO性能和高可用性...
概述
此方法适用于海量数据场景，对数据量不设上限，同时支持行、列和TEXTFILE等各种存储格式以及用户自定义分区配置。DataWorks数据集成 通过DataWorks配置离线同步节点和同步任务将日志数据同步至MaxCompute。详情请参见 通过DataWorks数据...
冷热分层
冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至整个生命周期都不会被访问。冷热数据的区分方式如下：按照数据的创建时间：通常，数据写入初期，用户的关注度较高且访问频繁，...
数仓规划概述
数仓分层 您可以结合业务场景、数据场景综合考虑设计数仓的数据分层，DataWorks为您默认创建业界通用的五层数仓分层：数据引入层 ODS（Operational Data Store）明细数据层 DWD（Data Warehouse Detail）汇总数据层 DWS（Data Warehouse ...
云实例监控
说明 如果用户存在，将验证是否对指定的数据库具备读写权限。如果用户不存在，将自动创建用户。执行创建。说明 如果失败，会提示可以重试。如果重试多次依然失败，请提交工单进行处理。单击 修改，修改监控项基本信息。单击 查看监控，进入...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
应用场景
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
问题汇总
补数据 补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据...
数据传输服务（上传）场景与工具
数据同步服务：您可以通过 数据集成（DataWorks）任务，提取、转换、加载（ETL）数据到MaxCompute。数据投递：您可以通过DataHub、SLS、Kafka版服务的MaxCompute Sink Connector、Blink 将数据投递至MaxCompute。开源工具及插件：您可以...
多主集群（库表）商业化
汇聚库场景：更加低成本且方便的汇聚多个写入节点的数据 场景特点：传统的集群架构下，需要有多个独立的支持业务OLTP读写请求的前端集群，然后再有一套用来汇聚所有数据的集群，汇聚库和前端集群通过DTS等数据同步工具定期同步数据。...
概述
数据传输旨在帮助您低风险、低成本、高效率地实现同构或异构数据库向 OceanBase 数据库进行实时数据迁移和数据同步。数据迁移：数据迁移属于一次性任务，迁移完成后即可释放项目资源。您可以通过数据迁移功能，实现同构或异构数据源之间的...
冷热分离介绍
背景信息 在海量大数据场景下，一张表中往往存储着大量的历史数据，如订单数据或者监控数据。随着时间的推移，这些数据被访问的频率会逐渐降低，最终被搁置。减少这部分数据的存储成本，成为一个新的问题。为解决这一问题同时降低存储成本...
技术原理
扩展性原理 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过水平拆分（分库分表）和垂直拆分，将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平拆分（分库分表）PolarDB-X 1.0 具备数据水平拆分的能力...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端存在源端没有的数据的场景，并且校验性能会有一定程度降级。选择默认值 停止迁移：当目标端表对象存在数据时，全量迁移会报错不允许迁移，请处理好目标端数据后再继续迁移...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端多数据的场景，并且校验性能存在一定程度降级。选择默认值 停止迁移：当目标端表对象存在数据时，全量迁移会报错不允许迁移，请处理好目标端数据后再继续迁移。重要 如果...
典型场景
典型场景 数据仓库服务 您可以通过数据传输服务（DTS）或数据集成服务（DataX），将云数据库（例如RDS、PolarDB）或自建数据库批量同步到 云原生数据仓库AnalyticDB PostgreSQL版。云原生数据仓库PostgreSQL版支持对海量数据的复杂ETL进行...
2020年
从RDS MySQL同步至PolarDB-X 从PolarDB MySQL同步至PolarDB-X 在自建Oracle增量迁移至PolarDB O引擎的场景下，支持对无主键表ROWID值的增量数据迁移，可用于对无主键表的数据去重和数据校验。从自建Oracle迁移至PolarDB O引擎集群（迁移...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端存在源端没有的数据的场景，并且校验性能会有一定程度降级。选择默认值 停止迁移：当目标端表对象存在数据时，全量迁移会报错不允许迁移，请处理好目标端数据后再继续迁移...
配置区块接口
三维城市构建器项目场景编辑器中提供了区块接口设置的功能，可用于自定义设置项目的数据接口、事件和动作。本文介绍在项目中区块接口的设置及使用方法。您可以在三维城市构建器项目场景编辑器页面内，为项目配置 数据接口设置、事件设置 与...
配置区块接口
三维城市构建器项目场景编辑器中提供了区块接口设置的功能，可用于自定义设置项目的数据接口、事件和动作。本文介绍在项目中区块接口的设置及使用方法。您可以在三维城市构建器项目场景编辑器页面内，为项目配置 数据接口设置、事件设置 与...
- 产品推荐
- 这些文档可能帮助您