新增消费组
注意事项 一个数据订阅实例最多可以创建20个消费组，通过创建多个消费组可以实现数据的重复消费。一个消费组只能创建一个消费者（consumer），并通过该消费者执行数据消费。若DTS增量数据采集模块或者客户端切换，则可能会导致数据重复。...
新增消费组
一个数据订阅实例最多可以创建20个消费组，通过创建多个消费组可以实现数据的重复消费。一个消费组只能创建一个消费者（consumer），并通过该消费者执行数据消费。若DTS增量数据采集模块或者客户端切换，则可能会导致数据重复。操作步骤 ...
同步时源库为PolarDB-X 1.0的注意事项及限制
PolarDB-X 1.0 同步至云原生数据仓库AnalyticDB MySQL 3.0 类型 说明 源库限制 待同步的表需具备主键或唯一约束（仅具有唯一约束的表不支持库表结构同步，建议使用主键约束），且字段具有唯一性，否则可能会导致目标数据库中出现重复数据；...
PolarDB-X 1.0同步至DataHub
类型 说明 源库限制 待同步的表需具备主键或唯一约束（仅具有唯一约束的表不支持库表结构同步，建议使用主键约束），且字段具有唯一性，否则可能会导致目标数据库中出现重复数据；不支持二级索引表同步。如同步对象为表级别，且需进行编辑...
敏感数据溯源
建议您使用数据量大于500条，并且不包含重复数据的文件进行溯源。原因二：被泄漏的数据非本租户名下的数据。解决方案：您需要确认溯源数据的来源，确保溯源的数据为本租户名下的数据。原因三：被溯源的文件中不包含水印信息。解决方案：您...
INSERT ON CONFLICT(UPSERT)
场景1：实现InsertOrIgnore，即主键重复不更新。INSERT INTO test1(a,b,c)VALUES(1,1,1)ON CONFLICT(a)DO NOTHING;更新后test1表的数据为：a b c 1 2 3 场景2：实现InsertOrUpdate的整行更新，可以通过如下两种方式实现。方式1：在 SET....
修改名单抽奖数据
本文为您介绍在DataV名单抽奖模板可视化应用中修改抽奖名单具体数据的方法。...通过配置动态数据源内容，可动态获取抽奖名单数据，实现公平随机抽奖。如何配置动态数据源，请参见 添加API数据源 或 添加兼容MySQL数据库的数据源。
修改名单抽奖数据
本文为您介绍在DataV名单抽奖模板可视化应用中修改抽奖名单具体数据的方法。...通过配置动态数据源内容，可动态获取抽奖名单数据，实现公平随机抽奖。如何配置动态数据源，请参见 添加API数据源 或 添加兼容MySQL数据库的数据源。
数据采样
否 1[0,1]随机采样 参数名 参数描述 是否必填 参数默认值 参数范围 随机数种子 若为-1，指采样的数据不重复；若大于等于0，指采样的数据可重复。否-1[-1,99999999]固定间隔行数采样 参数名 参数描述 是否必填 参数默认值 参数范围 采样行数...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
OSS-HDFS数据源
全部写入后，将临时目录下的文件移动到您指定的目录（在创建文件时保证文件名不重复）。删除临时目录。如果在此过程中，发生网络中断等情况造成无法与OSS-HDFS建立连接，需要您手动删除已经写入的文件和临时目录。支持的字段类型 离线读 ...
数据使用诊断
敏感数据脱敏 说明 在数据使用过程中为避免数据滥用、泄露，实现“数据可用不可见”的目的，DataWorks支持管理员配置脱敏规则，帮助企业在“安全”与“便利”之间获得平衡。数据保护伞服务 此安全检测项为您检测哪些工作空间已开启脱敏规则...
使用SDK示例代码消费订阅数据
下文将介绍在不同情况下如何管理和查询消费位点，以确保数据不丢失，且尽量不重复，实现按需消费。场景 SDK使用模式 查询方法 查询消费位点 ASSIGN模式、SUBSCRIBE模式 由于SDK客户端每5秒保存一次消息位点，并提交至DTS服务器，如需查询...
添加体验空间数据库
说明 数据表名称不支持重复。数据表创建规范：长度不超过63个字符，由小写字母、数字和下划线构成，且必须由小写字母开头。等待数据导入完成后，单击 完成，系统将自动跳转至数据表详情页。查看已上传数据表详情，包括但不限于数据地图、...
使用SDK示例代码消费订阅数据
下文将介绍在不同情况下如何管理和查询消费位点，以确保数据不丢失，且尽量不重复，实现按需消费。若您需要重置客户端的消费位点，可以根据订阅的模式（SDK使用模式）参考下表查询消费位点并进行修改。场景 SDK使用模式 位点管理方式 查询...
通过 HyperLoglog 实现高性能多维数据透视
本文通过电商类数据透视示例，介绍了使用 AnalyticDB PostgreSQL 通过HLL预计算，实现毫秒级多维数据透视的方法。关于HyperLogLog的用法，请参考 使用HLL。实践总结 本文介绍的操作方法，涉及以下最佳实践。如您已了解操作方法，可以直接...
管理数据树
说明 数据表名称不支持重复。数据表创建规范：长度不超过63个字符，由小写字母、数字和下划线构成，且必须由小写字母开头。等待数据导入完成后，单击 完成，系统将自动跳转至数据表详情页。查看已上传数据表详情，包括但不限于数据地图、...
Oracle数据源
支持 不支持 STRUCT 支持 支持 不支持 User-Defined Types 不支持 不支持 不支持 AnyType 不支持 不支持 不支持 AnyData 不支持 不支持 不支持 AnyDataSet 不支持 不支持 不支持 XmlType 不支持 不支持 不支持 Spatial Types 不支持 不支持...
常见问题
数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何保障数据库与DataWorks的网络连通？访问VPC环境下的数据库测试连通性...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
文档修订记录
DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您提供高效、便捷的数据传输服务，助力您快速实现数据驱动业务...
Hive作业调优
重复使用数据时，避免重复计算，构建中间表，重复使用中间表。多Distinct优化 优化前代码 多个Distinct时，数据会出现膨胀。select k,count(distinct case when a>1 then user_id)user1,count(distinct case when a>2 then user_id)user2,...
列存索引中TopK算子的实现
在海量数据上求TopK是一个很经典的问题，特别是衍生出的深翻页查询，给分析型数据库带来了很大的挑战。本文将介绍 PolarDB MySQL版 的列存索引（In Memory Column Index，IMCI）特性如何应对这样的挑战。背景 业务系统中普遍存在这样一种...
DBMS_REDACT
DBMS_REDACT包提供了创建策略、更改策略、启用策略、禁用策略和删除策略的存储过程，您可以使用这些存储过程实现自定义的数据混淆。下表列出了DBMS_REDACT包中可以使用的存储过程。存储过程 返回类型 描述 ADD_POLICY(object_schema,object...
数字翻牌器
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
功能更新动态（2024年）
原子指标计算逻辑重复性校验优化，当计算表达式一致但事件时间（即统计周期标识）不同时，视为计算逻辑不重复。逻辑表和指标创建成功后，默认授予逻辑表及指标创建人查询权限。创建原子指标 维度逻辑表概述 新建事实逻辑表 实时研发 Flink ...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
补数据任务概述
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据，减少重复配置的繁琐性。更多信息，请参见 查看并管理手动运行补数据任务。补数据任务页面入口 请参见 运维中心入口，...
补数据任务概述
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据，减少重复配置的繁琐性。更多信息，请参见 查看并管理手动运行补数据任务。补数据任务页面入口 请参见 运维中心入口，...
版本及存储引擎
自动合并 MongoDB 7.0为自动均衡器（Balancer）实现了一个新的自动合并器（AutoMerger），当数据或索引分布不均衡、存在过多分片或进行数据迁移时，自动合并器会合并Chunks，以均衡数据并提高性能。MongoDB 7.0默认开启该功能，您也可以...
创建数据库
不能和已有的数据库名称重复。不支持特殊字符test。支持字符集 可以选择的字符集为 utf8、gbk、latin1 或 utf8mb4。授权账号 选中需要访问本数据库的目标账号。说明 可选的授权账号全部为普通账号，因为高权限账号拥有所有数据库的所有权限...
云数据库Redis实例间单向数据迁移
云数据库 Redis 版 实例中，且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission Service，简称DTS）实现Redis实例（自建Redis和 云数据库 Redis...
应用场景
通过结合其他云产品，云数据库RDS可以适用于更多典型的应用场景。自建库搭配RDS实现异地容灾 RDS搭配异构数据库实现数据多样化存储 RDS结合开放搜索服务实现复杂搜索 开启读写分离扩展RDS处理能力 RDS搭配大数据计算服务实现大规模数据计算
功能概述
结合全密态访问控制模块，限制数据库内数据库用户对数据操作的访问控制，避免非授权访问，可以 确保数据对包括DBA在内的任何数据库用户是可用不可见的，实现数据私有化。仅需信任数据库实例内的操作系统、数据库软件以及IaaS运维人员。全密...
应用场景
解决方案：数据同步：通过数据同步功能，将不同业务系统数据汇聚到统一的存储计算引擎，实现数据的初步融合。数据标准：管理数据标准和构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准...
产品概述
结合全密态访问控制模块，限制数据库内数据库用户对数据操作的访问控制，避免非授权访问，可以 确保数据对包括DBA在内的任何数据库用户是可用不可见的，实现数据私有化。仅需信任数据库集群内的操作系统、数据库软件、以及IaaS运维人员。全...
产品概述
结合全密态访问控制模块，限制数据库内数据库用户对数据操作的访问控制，避免非授权访问，可以 确保数据对包括DBA在内的任何数据库用户是可用不可见的，实现数据私有化。仅需信任数据库集群内的操作系统、数据库软件、以及IaaS运维人员。全...
产品概述
结合全密态访问控制模块，限制数据库内数据库用户对数据操作的访问控制，避免非授权访问，可以 确保数据对包括DBA在内的任何数据库用户是可用不可见的，实现数据私有化。仅需信任数据库实例内的操作系统、数据库软件、以及IaaS运维人员。全...
收钱吧订单查询&搜索
方案亮点：百TB级数据，毫秒级实时...云数据库Lindorm宽表引擎压缩优化及集群内冷热分离，使得业务低成本实现数据永久保留。从自建到云数据库Lindorm，提供全托管、免运维及SLA保障，并有专家团队的免费技术支持，使客户能聚焦业务侧发展。
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
- 产品推荐
- 这些文档可能帮助您