常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
配置Hologres输入组件
输入过滤 配置Hologres输入组件读取数据时需要过滤掉的数据。例如，ID>112。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下...
配置Hologres输入组件
输入过滤 配置Hologres输入组件读取数据时需要过滤掉的数据。例如，ID>112。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除少量的字段，则可以单击 操作 列下...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
创建并管理电子表格
进行数据分析前，您需要先创建用于承载目标数据的电子表格。本文为您介绍如何创建、查看和管理电子表格。进入电子表格 您可以通过如下两种方式进入：在 数据分析 首页的 快捷入口 区域，单击 电子表格 模块图标进入 电子表格 页面。在 数据...
通过数据同步功能同步Kafka至湖仓版（推荐）
注意事项 Kafka中创建的Topic数据超过一定的时间会被自动清理，如果Topic数据过期，同时数据同步任务失败，重新启动同步任务时读取不到被清理掉的数据，会有丢失数据的风险。因此请适当调大Topic数据的生命周期，并在数据同步任务失败时...
数据水印
业务背景（必选）详细描述导出数据的原因或目标，减少沟通成本。影响行数（必选）预估本次导出会影响的数据行数，您可以在SQLConsole中使用 count 命令进行统计。说明 在预检查阶段，系统将会显示实际影响行数，您可以再次校验是否符合预期...
分区表常见问题
分区表查询计划不准确主要的原因是统计信息不准确，在8.0.2版本中已经针对这个问题做了分区级别统计信息优化，建议您将版本升级到8.0.2。PolarDB MySQL版 的物理表如何分区？一般情况下，每个分区是一个Innodb表，Hybrid分区可以放在其他...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。本文为您介绍如何为汇总逻辑表新建注册上挂标签。前提条件 完成派生指标的创建，详情请参见 创建派生指标。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 ...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。本文为您介绍如何为汇总逻辑表新建注册上挂标签。前提条件 完成派生指标的创建，详情请参见 创建派生指标。操作步骤 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域...
如何处理Tair集群数据倾斜
建议您及时对实例进行数据倾斜的原因排查，并根据对应处理方法在业务层进行改造，对实例进行优化，更多信息请参见 数据倾斜的原因与处理方法。倾斜场景 可能原因 临时方案 内存倾斜 大Key、Hash Tags。升级实例规格，具体操作请参见 变更...
如何处理Redis集群数据倾斜
建议您及时对实例进行数据倾斜的原因排查，并根据对应处理方法在业务层进行改造，对实例进行优化，更多信息请参见 数据倾斜的原因与处理方法。倾斜场景 可能原因 临时方案 内存倾斜 大Key、Hash Tags。升级实例规格，具体操作请参见 变更...
分析数据
DataWorks的电子表格为您提供丰富、便捷的数据分析操作，其操作与Office Excel高度一致，大大降低您的学习成本。前提条件 已创建并导入数据至电子表格。详情请参见 创建电子表格 和 导入数据至电子表格。背景信息 您可以在电子表格的编辑...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
导出数据
配置项 说明 原因类别 选择数据导出的原因，方便后续查找。业务背景 详细描述变更原因或目标，减少沟通成本。相关人 设置的相关人员可查看工单，并协同工作，非相关人员则不能查看工单（管理员、DBA除外）。导出SQL语句 输入导出SQL语句。...
配置管理
提交数据变更时的原因分类。示例以及详情请参见 附录：数据变更原因分类。数据变更的执行方式 取值：COMMITOR：表示审批通过后由提交者执行。AUTO：表示审批通过后自动执行。LAST_AUDITOR：表示由最后一个审批人执行。审批流的审批节点是否...
数据倾斜诊断
消除数据倾斜 导致数据倾斜的原因一般都是分布键选择不正确。例如，一张表的某个字段的相同值特别多时，如果选择了该字段作为分布键进行HASH分布，就会导致该字段的这些相同值所在的计算节点上的数据比其他计算节点上的数据多。为了避免...
导入数据
使用场景 表数据迁移 表数据备份 表数据分析 前提条件 数据库类型如下：数据库类型 关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL版、其他来源MySQL。SQL Server：RDS SQL Server、...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
普通数据变更
数据管理DMS的普通数据变更功能支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复、功能测试等场景。本文介绍在DMS中进行普通数据变更的方法。...
任务调试流程
分析数据 分享数据 同步查询结果至电子表格，通过电子表格的数据分享功能，分享该表数据至指定用户。分享数据 下载数据 将查询结果以电子表格的形式下载至本地。默认展示1W条数据。下载数据 说明 租户管理员、租户安全管理员、以及被授权 ...
使用DTS进行数据迁移是否会覆盖掉已存在数据
概述 本文介绍使用DTS进行数据迁移是否会覆盖掉已存在数据。详细信息 如果配置迁移任务时，只迁移几个表，那么预检查时，会要求目标库中这些表必须没有数据，如果含有数据库的，那么预检查的“目标库是否为空”项会报错。因此在目标库有...
实时同步常见问题
实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
管理Dataphin数据源权限
申请原因 填写申请Dataphin数据源权限的原因。对象信息 区域参数不支持修改。如果需要修改，则单击页面下方的 上一步 进行修改。单击 确定。您可以在任务中心查看我发起任务的当前审批状态，详情请参见 查看我发起的任务。交还Dataphin数据...
配置任务常见错误码及排查方法
原因：通讯链路故障，JDBC驱动程序数据包成功发送到源数据库服务器，但未收到来自源数据库的数据包。解决方法：排查数据库的连接数是否过多。参考 communications link failure 处理。联系技术支持解决。DTS.Msg.SQLExecuteError....
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
权限操作审计
③ 列表区 为您展示数据对象的名称、表环境、数据板块、项目、操作对象/操作人、操作时间、权限类型、操作范围、操作类型、有效期、操作的原因信息。数据源权限操作审计 在 数据源 页签，可查看目标数据源的权限操作记录详情或导出Excel...
权限操作审计
③ 列表区 为您展示数据对象的名称、表环境、数据板块、项目、操作对象/操作人、操作时间、权限类型、操作范围、操作类型、有效期、操作的原因信息。数据源权限操作审计 在 数据源 页签，可查看目标数据源的权限操作记录详情或导出Excel...
创建PolarDB MySQL版数据订阅通道
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。操作步骤 购买数据订阅通道，详情请参见 购买...
创建RDS MySQL数据订阅通道
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。操作步骤 购买数据订阅通道，详情请参见 购买...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
规划工作空间
数据清洗层（ODS）：按部门划分，不同部门内数据统一口径，清洗掉不宜公开的数据，例如“ods_人力资源部”、“ods_生产部”等。任务节点：只有单一输入、单一产出的SQL任务。数据表：ODS层表。空间成员：各部门委派的数据清洗人员。资源...
创建Oracle数据订阅通道
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。准备工作 登录待订阅的Oracle数据库，创建用于...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
基本概念
用户可以选择多个Mongos作为请求的入口，防止其中一个挂掉所有的MongoDB请求都无法操作。Shard MongoDB分片集群中的分片。单个Shard是由三节点的副本集组成，保证单个分片的高可用性，用户可以根据自己的应用性能及存储要求，购买多个Shard...
管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
多值数据写入
时序多值模型 多值的模型是针对数据源建模，我们每一行数据针对的是一个数据源，它的被测量的多个指标在同一行上，所以每一个数据源，数据的来源在每一个时间点上都有一行，这就是多值的模型。比如某个机器的cpu，mem和load指标。每次是...
- 产品推荐
- 这些文档可能帮助您