构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
通过LOAD DATA导入至数仓版
IGNORE 导入数据时，遇到主键重复或者数据问题时则自动忽略失败行，部分行导入失败但不影响其他行导入。[FIELDS]TERMINATED BY 'string' 定义列分隔符，默认为 \t，与MySQL一致。[FIELDS]ENCLOSED BY 'char' 定义每列数据的enclosed符号。...
质量评估
质量评估通过用户自定义质量检查计划，根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、...
数据流运维
对于执行失败的数据流，可以将该数据流运行记录的状态置为成功。对于执行中的数据流，可以终止或暂停数据流运行。单击 发布列表 页签，查看数据流的 版本ID，发布人，发布时间、版本 详情 和 DAG图。您还可以选中任意2个 版本ID，单击 版本...
发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
基于Client SDK数据写入
如果在自动commit失败的时候失败，调用方需要处理此异常，并且会在异常中得到失败的数据list。addMap(Map,String>dataMap,String tableName,String schemaName)/addMaps(List,String>>dataMaps,String tableName,String schemaName)对应于...
启动和暂停数据同步项目
恢复数据同步项目 您可以手动恢复 暂停 或 失败 的数据同步项目，数据传输会继续运行数据同步项目，尽快缩短同步延迟。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。在 同步项目列表 页面，单击目标项目后的 恢复。...
基础折线图
当基础折线图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 ...
基础折线图
当基础折线图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 ...
基础区域图
当基础区域图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 ...
雷达图
当雷达图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据...
基础区域图
当基础区域图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 ...
堆叠区域图
当堆叠区域图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。当点击数据项时 当单击区域图的数据点时抛出的事件，同时抛出该...
堆叠区域图
当堆叠区域图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 ...
修复迁移失败的任务
当您的数据迁移任务在结构迁移阶段或全量数据迁移阶段，出现 迁移失败 的提示时，您可以使用DTS的在线修复功能手动修复该任务。修复结构迁移失败的任务 DTS支持异构数据源之间的迁移，对于一些不支持的数据类型，在进行结构迁移时，如果...
版本发布说明
发布日期：2023-11-22 大版本：V5.4.18 小版本：17004745 类别 说明 新增&优化 优化AUTO模式数据库中表数据量较大时创建表的效率。新增plan_cache视图返回默认库下的执行计划。优化AUTO模式数据库中并发建表的效率。缺陷修复 修复 alter ...
配置订阅任务（新控制台）
适合数据量较大的订阅实例。选择为 半价配置费+1元/GB数据流量费，从2020年12月18日开始，DTS会对该订阅实例额外收取数据流量费用。如果您创建的数据订阅实例为包年包月（也称为预付费），则 数据订阅配置费类型 仅支持为 原价配置费（免...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
数据源开发和生产环境隔离
背景信息 同一个名称的数据源存在开发环境和生产环境两套配置，在配置数据源时，您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景，针对不同环境设置不同的数据源信息。在同步任务执行过程中，可由执行环境控制离线同步任务所...
ACID语义
INTO类操作：这类操作失败的原因是事务回滚时数据清理失败，但不会造成原始数据丢失。一致性（Consistency）OVERWRITE类作业可保证一致性。INTO类作业在冲突失败后可能存在失败作业的数据残留。隔离性（Isolation）非INTO类操作保证读已...
查询一个迁移实例详情
调用本接口时，数据迁移任务需处于迁移中、迁移失败、暂停或迁移完成状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 ...
MySQL灾备恢复演练
数据库备份DBS 提供恢复演练功能，支持定期演练数据库的恢复流程。您可以通过该功能验证备份数据的准确性与容灾系统的可靠性，确保当发生数据灾难时，容灾系统能够顺利接替生产系统并继续对外提供服务。背景信息 通常在灾难发生时，可能...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
查看数据迁移项目的详情
启动数据迁移项目后，您可以在数据迁移项目的详情页面查看相应项目的基本信息、项目执行的进度和状态等信息。进入详情页面 您可以在数据迁移项目的详情页面，查看计划的迁移环节、各个环节的进度和状态，帮助您了解数据库迁移的整体进度，...
区域下钻热力层（v2.x版本）
当自定义区域数据请求失败时 自定义区域数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页...
导出至OSS
未做分区的普通外表语法支持 使用 INSERT INTO 或 INSERT OVERWRITE SELECT 导入数据时，默认是同步执行流程，如果数据量较大达到几百GB，客户端到 AnalyticDB MySQL 服务端的连接会中断，导致数据导入失败。因此，如果您的数据量较大时，...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
批量操作数据同步项目
本文为您介绍如何使用数据传输对数据同步项目进行批量操作。背景信息 数据传输支持在 同步项目列表 页面，对数据同步项目进行批量操作。不同状态的数据同步项目支持不同的批量操作。数据同步项目的状态 支持的批量操作 未配置 无 未启动 ...
批量操作数据迁移项目
本文为您介绍如何使用数据传输对数据迁移项目进行批量操作。背景信息 数据传输支持在 迁移项目列表 页面，对数据迁移项目进行批量操作。不同状态的数据迁移项目支持不同的批量操作。数据迁移项目的状态 支持的批量操作 未配置 无 未启动 ...
RDS MySQL迁移至MaxCompute
RDS MySQL实例 MySQL自建数据库：有公网IP的自建数据库 ECS上的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 说明 本文以RDS MySQL实例为源数据库介绍配置...
启动和暂停数据迁移项目
启动数据迁移项目 配置数据迁移项目时，如果在预检查完成后仅保存该数据迁移项目，未进行启动，则需要在迁移项目列表中手动启动数据迁移项目。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据迁移。在 数据迁移 页面，单击未...
Insert Into
Insert Into语句的使用方式和MySQL等数据库中Insert Into语句的使用方式类似。在Doris中，所有的数据写入都是一个独立的导入作业。因此，文本将Insert Into作为一种导入方式，介绍Insert Into的使用方法和最佳实践。背景信息 说明 本文部分...
- 产品推荐
- 这些文档可能帮助您