确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
如何优化数据导入导出
name]>/home/dump_1000w.sql mysqldump导出数据可能会出现的问题及解决方法，这两个问题通常是mysql client和mysql server版本不一致导致的。问题：mysqldump:Couldn't execute 'SHOW VARIABLES LIKE 'gtid\_mode'' 解决方法：添加-set-...
离线同步数据质量排查
环境信息排查 问题 解决方案 查询了错误或不完整的数据源、表、或者分区等。DataWorks标准项目分为开发数据源、生产数据源，在开发环境运行任务使用开发数据源，在生产环境运行任务使用生产数据源，再对数据数量和内容比对时，需要确认下...
SDK概述
解决添加OSS数据源时部分hadoop命令不可用问题。解决“java.text.ParseException:Unparseable date”问题。优化emr-core支持本地调试运行。兼容老版本的产生的“_$folder$”文件，解释成目录，不再当作普通文件处理。Hadoop和Spark读写OSS...
数据保护机制
解决措施 为了防止出现TOCTOU问题，对于用户申请导出的表，建议项目所有者确保没有任何其他用户能对该表执行更新（Update）操作或重建同名表操作（Drop+CreateTable）。在上述示例中，为防止出现TOCTOU问题，建议项目所有者在第一步中创建...
排查Mongo Shell登录问题
您可以通过DMS或Mongo Shell登录MongoDB数据库，本文介绍使用Mongo Shell登录数据库时出现的典型问题及解决方法。提示connection attempt failed错误 现象：#mongo-host ali12345678.mongodb.rds.aliyuncs....
聚合支付：Ping+
Mycat前期人力成高、后期需要部署维护，问题解决成本高、时间长。PolarDB-X 商务成本相对可接受，产品化能力丰富，运维便捷，最后选型阿里云 PolarDB-X。解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿...
创建同步任务
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
访问云虚拟主机站点出现乱码的现象
问题描述 使用云虚拟主机并访问主机站点时，出现乱码的现象。问题原因 程序中的编码设置有问题。PHP等程序语言的版本太高，无法解析程序文件。使用FTP客户端上传时，没有使用二进制上传。解决方案 阿里云提醒您：如果您对实例或数据有修改...
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、...数据质量为您解决以下问题：数据库频繁变更问题 业务频繁变化问题 数据定义问题 业务系统的脏数据问题 系统交互导致质量问题 数据订正引发的问题 数据仓库自身导致的质量问题
数据资产等级定义
如果一份数据出现在多个应用场景汇总，则根据其最重要程度进行标记。分析数据链路 定义数据资产等级后，您可以从数据流转链路开始进行数据资产等级打标，完成数据资产等级的确认，给不同的数据定义不同的重要程度。MaxCompute进行数据加工...
Tablestore数据源
表格存储Tablestore是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，Tablestore数据源为您提供读取和写入Tablestore双向通道的功能，本文为您介绍DataWorks的Tablestore数据同步的能力支持情况。使用限制 Tablestore Reader和Writer...
时空数据库版本发布记录
新增 ST_HasBinData 函数是否具有用户定义二进制数据获取。新增 ST_ClearBinData 函数支持二进制数据的清除。ST_Affine 函数使用根节点变换矩阵方式替代实际坐标值变换。SFMesh对象中Node节点允许使用NULL对象作为空节点，支持占位操作。ST...
时空数据库版本发布记录
新增 ST_HasBinData 函数是否具有用户定义二进制数据获取。新增 ST_ClearBinData 函数支持二进制数据的清除。ST_Affine 函数使用根节点变换矩阵方式替代实际坐标值变换。SFMesh对象中Node节点允许使用NULL对象作为空节点，支持占位操作。ST...
数据资产定级
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>...
数据资产定级
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>...
ST_BinData
返回用户自定义二进制数据。语法 bytea ST_BinData(sfmesh sfmeshObject);bytea ST_BinData(material material);参数 参数名称 描述 sfmeshObject SFMesh对象。material 材质对象。描述 返回用户自定义二进制数据。需要预先通过 ST_...
ST_BinData
返回用户自定义二进制数据。语法 bytea ST_BinData(sfmesh sfmeshObject);bytea ST_BinData(material material);参数 参数名称 描述 sfmeshObject SFMesh对象。material 材质对象。描述 返回用户自定义二进制数据。需要预先通过 ST_...
XYZ栅格，为什么出现了蓝色的地球
出现蓝色地球可能会有几种情况：数据源配置的...栅格数据源是否只在指定城市存在，其余地区均不存在数据，解决这个问题可以尝试新增一个栅格数据源并在Tab中拖动到后面，或者新增一个可被浏览器访问的静态图片地址作为新增XYZ数据源的地址。
物模型透传开发
本文介绍设备如何使用二进制数据完成物模型数据的上报和下发。背景信息 物模型是阿里云物联网平台为产品定义的数据模型，数据模型的原生数据编码格式基于JSON协议。对于资源受限设备，使用二进制格式进行编码可以解决JSON格式的序列化开销...
二进制函数
from_base64(string)→varbinary 将base64编码的 string 解码为二进制数据。to_base64url(binary)→varchar 使用URL安全字符将 binary 编码为base64字符串。from_base64url(string)→varbinary 使用URL安全字符，将base64编码的 string ...
时序引擎版本说明
功能优化 修复TSQL条件中出现BOOLEAN数据类型的数据时可能出现异常的问题。3.4.17（稳定版本）发布日期 类型 说明 2022年06月17日 新特性 支持设置写入的最大时间（即当前时间和偏移时间），超过偏移时间后写入的数据会被丢掉。功能优化 ...
UpdateDIProjectConfig
调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL...
时空引擎版本发布记录
修复 ST_BuildPyramid 函数，解决超大数据构建矢量金字塔时的内存占用问题。4.8 新特性 增强 ST_Union 函数，支持按内存使用量分批次执行，避免大数据量造成OOM。新增 ST_SetValue 函数，支持指定像素位置设置像素值。栅格数据支持对HDFS...
实时同步任务延迟解决方案
此时将无法通过数据集成任务设置解决延迟问题，需要从Kafka、DataHub和Loghub系统的上游数据生产侧解决数据写入倾斜问题后，延迟问题才能恢复。您可以通过在上述任务 运行详情 中切换到 运行信息 页签，查看不同Reader线程总字节数统计，...
ST_Tile
从金字塔中按瓦片编号生成一个mvt标准的二进制数据。语法 bytea ST_Tile(cstring name,cstring key);bytea ST_Tile(cstring name,int x,int y,int z);参数 参数名称 描述 name 金字塔名称。key 瓦片编号。x 瓦片编号里的x值。y 瓦片编号里...
ST_Tile
从金字塔中按瓦片编号生成一个mvt标准的二进制数据。语法 bytea ST_Tile(cstring name,cstring key);bytea ST_Tile(cstring name,int x,int y,int z);参数 参数名称 描述 name 金字塔名称。key 瓦片编号。x 瓦片编号里的x值。y 瓦片编号里...
云数据库RDS简介
MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
运行失败
解析表数据时出现“-nan”错误 报错信息 解决方法 该问题一般是原始doc或query表输入的格式有问题，可能存在很大的值或者接近0的值。例如某一行vector下的值为 1.23~4.56~7.89~nan~4.21 或 1.1~2.2~127197893781729178311928739179222121....
Tunnel命令常见问题
本文为您介绍使用Tunnel命令过程中的常见问题。问题类别 常见问题 Tunnel Upload Tunnel Upload是否支持通配符或正则表达式？Tunnel Upload对文件大小是否有限制？记录大小是否有限制？是否要使用压缩？同一个表或分区是否可以并行上传数据...
发现并处理大Key和热Key
使用阿里云的Tair服务避开失效数据的清理工作 若HASH Key过多，存在大量的成员失效需要被清理的问题，又由于大量Key与大量失效数据叠加，无法通过定时任务对无效数据进行及时地清理，您可以通过阿里云Tair服务高效地解决此类问题。...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
发现并处理Redis的大Key和热Key
若HASH Key过多，存在大量的成员失效需要被清理的问题，又由于大量Key与大量失效数据叠加，无法通过定时任务对无效数据进行及时地清理，您可以通过阿里云Tair服务高效地解决此类问题。Tair是云数据库Redis的企业版，它具备Redis所有特性...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
Binlog日志服务
介绍 Binlog是MySQL记录变更数据的二进制日志，它可以看做是一个消息队列，队列中按顺序保存了MySQL中详细的增量变更信息，通过消费队列中的变更条目，下游系统或工具实现了与MySQL的实时数据同步，此机制也称为CDC（Change Data Capture，...
Oracle数据源
TIMESTAMP和DATE 布尔型 BIT和BOOL 二进制类 BLOB、BFILE、RAW和LONG RAW 数据同步前准备：Oracle环境准备 在DataWorks上进行数据同步前，您需要参考本文提前在Oracle侧进行数据同步环境准备，以便在DataWorks上进行Oracle数据同步任务配置...
ST_Tile
从金字塔中按瓦片编号生成一个mvt标准的二进制数据。语法 bytea ST_Tile(cstring name,cstring key);bytea ST_Tile(cstring name,int x,int y,int z);参数 参数名称 描述 name 金字塔名称。key 瓦片编号。x 瓦片编号里的x值。y 瓦片编号里...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
- 产品推荐
- 这些文档可能帮助您