确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
如何优化数据导入导出
name]>/home/dump_1000w.sql mysqldump导出数据可能会出现的问题及解决方法，这两个问题通常是mysql client和mysql server版本不一致导致的。问题：mysqldump:Couldn't execute 'SHOW VARIABLES LIKE 'gtid\_mode'' 解决方法：添加-set-...
离线同步数据质量排查
环境信息排查 问题 解决方案 查询了错误或不完整的数据源、表、或者分区等。DataWorks标准项目分为开发数据源、生产数据源，在开发环境运行任务使用开发数据源，在生产环境运行任务使用生产数据源，再对数据数量和内容比对时，需要确认下...
SDK概述
解决添加OSS数据源时部分hadoop命令不可用问题。解决“java.text.ParseException:Unparseable date”问题。优化emr-core支持本地调试运行。兼容老版本的产生的“_$folder$”文件，解释成目录，不再当作普通文件处理。Hadoop和Spark读写OSS...
数据保护机制
解决措施 为了防止出现TOCTOU问题，对于用户申请导出的表，建议项目所有者确保没有任何其他用户能对该表执行更新（Update）操作或重建同名表操作（Drop+CreateTable）。在上述示例中，为防止出现TOCTOU问题，建议项目所有者在第一步中创建...
聚合支付：Ping+
Mycat前期人力成高、后期需要部署维护，问题解决成本高、时间长。PolarDB-X 商务成本相对可接受，产品化能力丰富，运维便捷，最后选型阿里云 PolarDB-X。解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿...
创建同步任务
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、...数据质量为您解决以下问题：数据库频繁变更问题 业务频繁变化问题 数据定义问题 业务系统的脏数据问题 系统交互导致质量问题 数据订正引发的问题 数据仓库自身导致的质量问题
数据资产等级定义
如果一份数据出现在多个应用场景汇总，则根据其最重要程度进行标记。分析数据链路 定义数据资产等级后，您可以从数据流转链路开始进行数据资产等级打标，完成数据资产等级的确认，给不同的数据定义不同的重要程度。MaxCompute进行数据加工...
数据资产定级
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>...
数据资产定级
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>...
RDS MySQL/MariaDB版实例CPU使用率较高
更多信息 性能问题排查并解决功能 数据管理工具提供了辅助排查并解决实例性能问题的功能，主要有以下几种。其中，实例诊断报告是排查和解决MySQL/MariaDB实例性能问题的最佳工具。无论何种原因导致的性能问题，建议您首先查看实例诊断报告...
XYZ栅格，为什么出现了蓝色的地球
出现蓝色地球可能会有几种情况：数据源配置的...栅格数据源是否只在指定城市存在，其余地区均不存在数据，解决这个问题可以尝试新增一个栅格数据源并在Tab中拖动到后面，或者新增一个可被浏览器访问的静态图片地址作为新增XYZ数据源的地址。
UpdateDIProjectConfig
调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL...
实时同步任务延迟解决方案
此时将无法通过数据集成任务设置解决延迟问题，需要从Kafka、DataHub和Loghub系统的上游数据生产侧解决数据写入倾斜问题后，延迟问题才能恢复。您可以通过在上述任务 运行详情 中切换到 运行信息 页签，查看不同Reader线程总字节数统计，...
云数据库RDS简介
MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
排查Mongo Shell登录问题
您可以通过DMS或Mongo Shell登录MongoDB数据库，本文介绍使用Mongo Shell登录数据库时出现的典型问题及解决方法。提示connection attempt failed错误 现象：#mongo-host ali12345678.mongodb.rds.aliyuncs....
运行失败
解析表数据时出现“-nan”错误 报错信息 解决方法 该问题一般是原始doc或query表输入的格式有问题，可能存在很大的值或者接近0的值。例如某一行vector下的值为 1.23~4.56~7.89~nan~4.21 或 1.1~2.2~127197893781729178311928739179222121....
基本概念
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB、PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将Lindorm数据导入...
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
本文为您介绍如何使用数据传输迁移 RDS PostgreSQL 实例 的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
公告
2022年06月10日-Dataphin更名通知 为了更好地帮助广大客户解决数据资产建设问题，显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费...
数据管理DMS的数据追踪功能无法追踪到数据
本文解释数据管理DMS的数据追踪功能无法追踪到数据的原因及解决方案。问题描述 数据管理DMS的数据追踪功能无法追踪到数据。问题原因 数据追踪的筛选条件可能选择错误。解决方案 请参考下列步骤进行排查：请检查时间和区域的选择是否正确。...
SQL优化技术
依据数据库领域专家经验或工具辅助，如何精准地识别瓶颈点，得出修复或优化建议？如何全面地评估优化效果、影响面（包括副作用，如对相关SQL，写操作的影响等），做上线前的安全评估？对于复杂的部署（如大规模的分库分表场景），如何选择...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
权限说明
例如进行权限查询，角色管理时提示对应操作没有权限，错误码为NoPermission，有几种途径可以解决问题 授予用户数据湖admin/super_administrator角色。参考 角色管理。授予用户dlf-dss权限，DLF在RAM上已内置AliyunDLFDSSFullAccess及...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
逻辑数仓
为解决上述问题，数据管理DMS推出了逻辑数仓功能，用户可以在不搬迁原始数据的前提下将多种异构数据源进行逻辑上的融合，形成一个逻辑仓，然后通过DMS内置的跨库查询引擎（支持SQL）创建逻辑视图进行数据的融合分析。这种方式避免了繁琐的...
管理问题数据
支持保留问题数据的规则列表与问题数据口径 目前支持保留问题数据的监控规则，及各规则问题数据的定义，详情请参见：附录：支持保留问题数据的规则列表与问题数据口径。注意事项 目前仅MaxCompute表支持配置保留问题数据功能。目前仅部分...
表引擎
UserID─┬─PageViews─┬─Duration─┬─Sign─┐│4324182021466249494│6│185│1│└─┴─┴─┴─┘VersionedCollapsingMergeTree 为了解决CollapsingMergeTree表引擎乱序写入导致无法正常折叠（删除）问题，云数据库ClickHouse ...
Spark
本文汇总了使用 AnalyticDB MySQL Spark的常见问题及解决方案。常见问题概览 如何查看Spark应用信息？如何解决提交Spark应用时，出现User%s do not have right permission[*]to resource[*]报错？如何解决运行Spark应用时，出现No space ...
客户案例
解决方案 天弘基金基于阿里云MaxCompute构建了企业级一站式大数据解决方案。MaxCompute对于海量数据的存储、运维、计算能力强大且安全稳定。MaxCompute服务将原本需要清算8小时的用户交易数据缩短至1.5小时，同时减少了本地服务器部署压力...
收费常见问题
本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的？数据集成收费包含三种途径，详情请参见 独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费、公网流量计费说明。
解决SQL Server表中的中文乱码问题
解决方法 为了解决在SQL Server表中查询生僻字出现乱码的问题，您需要使用Unicode编码格式的数据类型，例如NVARCHAR，并在向该数据类型插入数据时，使用前置词N。N代表国家语言，必须大写。如果没有使用前置词N，则SQL Server会将字符串...
数据服务概述
数据服务价值 为了解决常见的数据应用问题，在数据服务体系下，开发人员开发数据服务时，提供简易向导和灵活脚本两种模式，从而降低开发门槛、提高开发效率、统一代码质量，方便管理变更；业务人员应用数据服务时，提供安全、稳定的数据...
区域热力层
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法请参考 基础平面地图 中 区域热力层 子组件内的 文字标注偏移解决方案。热力值数据接口 您可以通过配置热力值数据接口，自定义区域热力层的样式。区域热力层支持数据优先...
区域热力层（v1.x版本）
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看下您的区域热力层版本，目前可以使用的区域热力层组件包括区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再重新添加。...
区域热力层（v2.x版本）
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看下您的区域热力层版本，目前可以使用的区域热力层组件包括区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再重新添加。...
- 产品推荐
- 这些文档可能帮助您