CREATE TYPE
解决该问题的方法是先定义一个 shell type，也就是一种仅具有名称和拥有者但没有其他属性的占位符类型。这可以通过执行不携带额外参数的命令 CREATE TYPE name 来完成。之后，就可以用C语言编写的输入输出函数引用该 shell type。最终，...
CREATE TYPE
解决该问题的方法是先定义一个 shell type，也就是一种仅具有名称和拥有者但没有其他属性的占位符类型。这可以通过执行不携带额外参数的命令 CREATE TYPE name 来完成。之后，就可以用C语言编写的输入输出函数引用该 shell type。最终，...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
DM（达梦）数据源
例如，需要进行多表join后同步数据，使用 select a,b from table_a join table_b on table_a.id=table_b.id。当您配置 querySql 时，DM Reader直接忽略 column、table 和 where 条件的配置。否 无 fetchSize 该配置项定义了插件和数据库...
GBase8a数据源
使用限制 目前Gbase8a Reader和Gbase8a Writer仅支持使用 新增和使用独享数据集成资源组。insert into.：当主键或唯一性索引冲突时，无法写入冲突的行。目的表所在数据库必须是主库才能写入数据。说明 整个任务需要至少具备 insert into.的...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
散点层
说明 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示 value 值为0~10的数据将展示为10的大小，类型2设置为20，则表示 value 值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3...
2022年
开通或关闭实例的数据共享 数据类型 Serverless模式的数组支持VARCHAR和TIMESTAMP类型。Serverless模式 缺陷修复 修复刷新物化视图时系统不进行两阶段处理的问题。修复Multi-Master模式下无法创建DataShare的问题。修复destroy_dadi_fs语法...
使用DataWorks（离线与实时）
费用说明 使用DataWorks数据集成进行数据同步时，需使用DataWorks的数据集成资源组与调度资源组，您可根据需要选择使用公共资源组或独享资源组，同时在数据传输过程中如果使用了公网传输，可能会涉及公网流量费用。各项可能费用的详情请...
Tunnel SDK常见问题
解决措施 在代码中查看 uploadSession.openRecordWriter(i)打开的Writer个数和Commit时的Block数组，确保相对应。代码中写入执行完成后，确认是否调用 recordWriter.close();如果直接执行Commit，可能导致服务器端的Block个数不符合预期。...
JSON类型
右边的数组不会被认为包含在左边的数组中，-即使其中嵌入了一个相似的数组：SELECT '[1,2,[1,3]]':jsonb@>'[1,3]':jsonb;得到假-但是如果同样也有嵌套，包含就成立：SELECT '[1,2,[1,3]]':jsonb@>'[[1,3]]':jsonb;类似的，这个例子也不会被...
离线同步并发和限流之间的关系
数据集成会尝试保障任务执行并发数符合配置并发数，常见的任务实际执行并发数小于配置并发数的场景有：关系数据库（如MySQL、Polardb、SQLServer、PostgreSQL、Oracle等等）读取，没有配置切分键splitPk（切分列支持整型数字类型，Oracle在...
组复制简介
同时，集群内的所有节点（包括源节点），都会使用当前事务修改的所有数据行（下文简称为相关行）的哈希值作为key，到认证信息数组中读取value，并将读到的这些value合并为一个gtid集合。这个集合标识了当前事务提交前，哪些事务必须完成...
数仓分层
可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。明细粒度事实层的表通常也被称为逻辑事实表。数据应用层ADS（Application Data Service）：存放数据产品个性化的统计指标数据。根据CDM与ODS层...
轨迹层
重要 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示value值为0~10的数据将展示为10的大小，类型2设置为20，则表示value值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3级，...
数仓分层
可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。明细粒度事实层的表通常也被称为逻辑事实表。数据应用层ADS（Application Data Service）：存放数据产品个性化的统计指标数据。根据CDM与ODS层...
散点层
重要 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示value值为0~10的数据将展示为10的大小，类型2设置为20，则表示value值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3级，...
时空引擎版本发布记录
Bug修复 Geometry SQL 修复 ST_AsHMT 函数部分多边形数据裁减结果不正确的问题。Raster SQL 修复 ST_MosaicFrom 函数在波段数大于3时造成的波段缺失问题。Trajectory SQL 修复 ST_lcsSimilarity 函数无法处理单点轨迹的问题。6.2 新特性 ...
轨迹层
说明 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示 value 值为0~10的数据将展示为10的大小，类型2设置为20，则表示 value 值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3...
时空数据库版本发布记录
缺陷修复 Geometry SQL 修复 ST_AsHMT 函数部分多边形数据裁减结果不正确的问题。Raster SQL 修复 ST_MosaicFrom 函数在波段数大于3时造成的波段缺失问题。Trajectory SQL 修复 ST_lcsSimilarity 函数无法处理单点轨迹的问题。Utility SQL ...
时空数据库版本发布记录
缺陷修复 Geometry SQL 修复 ST_AsHMT 函数部分多边形数据裁减结果不正确的问题。Raster SQL 修复 ST_MosaicFrom 函数在波段数大于3时造成的波段缺失问题。Trajectory SQL 修复 ST_lcsSimilarity 函数无法处理单点轨迹的问题。Utility SQL ...
数仓分层
可以结合企业的数据使用特点，将明细事实表的某些重要属性字段做适当冗余，也即宽表化处理。在Dataphin中，明细数据层的表通常也被称为事实逻辑表。汇总数据层（DWS，Data Warehouse Summary）：以分析的主题对象作为建模驱动，基于上层的...
任务运行诊断
例如，4C8G独享数据集成资源组最大支持8个并发数同时执行，若当前存在3个并发数为3的任务，其中2个任务同时执行，则机器剩余的并发数为2，此时另一个并发数为3的任务将由于资源组剩余资源不足，导致当前任务进入等待状态，日志显示 wait。...
离线同步任务调优
离线同步任务使用的调度资源组 离线同步任务将有调度资源下发至数据集成任务执行资源上执行，调度资源使用情况同样会影响整体数据集成同步效率。关于离线任务下发机制，详情请参见：任务下发机制。离线同步任务配置 传输速度：是否设置任务...
文档修订记录
创建数仓分层 配置及使用数仓分层检查器 2023.3.16 新增功能 数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
确定需求
完成业务调研后，您需要进一步收集数据使用者的需求，进而对需求进行深度思考和分析，并改进数据仓库。需求分析的途径有两种：通过与分析师、业务运营人员的沟通获知需求。对报表系统中现有的报表进行研究分析。在需求分析阶段，您需要沉淀...
MySQL节点
您可以通过创建MySQL节点，直接使用SQL语句对目标MySQL数据源进行数据开发。本文为您介绍如何创建并使用MySQL节点。前提条件 MySQL节点仅支持使用独享调度资源组，独享调度资源组的使用请参考文档：新增和使用独享调度资源组。已通过连接串...
新增和使用独享调度资源组
说明 如果您暂无连通数据库实例的需求，只是为了缓解因公共调度资源组的资源紧张，导致任务延迟的问题，则无需关注本文涉及的网络相关问题。您可以购买任意可用区的独享调度资源组，且无需进行网络相关配置操作。您需要先了解独享调度资源...
数据服务
独享数据服务资源组 公共数据服务资源组 实例模式 同租户访问RDS 数据服务API能够正常编辑和保存 数据服务API能够正常编辑和保存 跨租户访问RDS 数据服务API能够正常编辑和保存 保存API时报错：存在安全风险，需要使用独享服务资源组。...
新增和使用独享数据服务资源组
前提条件 购买和使用独享数据服务资源组前：你需要先了解独享数据服务资源组的规格性能（不同规格能支持的QPS）、计费类型（不同规格怎么收费）等细节，提前根据业务场景规划需购买的资源组规格和购买时长，详情请参见：独享数据服务资源组...
概览
例如，您可以使用集合类型构造函数初始化变长数组和嵌套表，使用集合方法对集合进行扩容、缩容或查询，对集合进行取值和赋值，以及使用集合与表进行交互。以上三种集合类型的区别如下：集合类型 元素个数 索引（下标）类型 未初始化的状态 ...
概览
功能项 说明 任务编排 通过一个或多个任务编排而成的任务组，实现数据归档、数据集成、数仓数据开发、数据挖掘等需求。数据服务 将DMS上管控的数据以API的形式快速对外输出。数据可视化 提供灵活布局和丰富的自定义样式能力，及大量可视化...
EMR Hive数据整库离线同步至MaxCompute
说明 此处会展示Hive数据源开发环境地的表列表和表结构，如果您的Hive数据源开发和生产环境的表定义不同，则可能出现任务在开发环境配置正常但提交生产运行后报错表不存在、列不存在的问题。读取Hive方法 基于HDFS文件读取数据：Hive ...
EMR Hive数据整库离线同步至MaxCompute
说明 此处会展示Hive数据源开发环境地的表列表和表结构，如果您的Hive数据源开发和生产环境的表定义不同，则可能出现任务在开发环境配置正常但提交生产运行后报错表不存在、列不存在的问题。读取Hive方法 基于HDFS文件读取数据：Hive ...
新增和使用独享数据集成资源组
您可以使用DataWorks独享数据集成资源组功能，为数据集成同步任务分配独立的计算资源，从而提高任务的执行效率和稳定性。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源...
通过 HyperLoglog 实现高性能多维数据透视
使用数组，记录每个透视维度的UID，不仅支持透视，也可以满足圈人的需求，同时支持未来更加复杂的透视需求。使用HLL类型来存储估算值，在进行复杂透视时，可以使用HLL。例如，多个HLL的值可以UNION，可以求唯一值个数，通常用于评估UV，...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
离线同步常见问题
可能原因2：等待数据集成任务执行资源 解决方案2：若日志出现长时间WAIT状态，说明当前任务运行所使用的独享数据集成资源组剩余可运行的并发数不足以运行当前任务。具体原因及解决方案详情请参见：为什么数据集成任务一直显示wait？说明 ...
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica数据源为您提供读取和写入Vertica双向通道的功能，本文为您介绍DataWorks的Vertica数据同步的能力支持情况。支持的版本 Vertica Reader通过Vertica数据库驱动访问Vertica，您需要确认...
- 产品推荐
- 这些文档可能帮助您