配置任务常见错误码及排查方法
报错信息类似于以下形式：can not getTableTopology(drds*,ib_ibos*)Could not connect to address=(host=100.100.XX.XX)(port=*)(type=master):(conn=*)[10.0.1.1:3306]Access denied for user 'ib_ibos*'@'100.104.XX.XX' to database '...
如何解决同步实例关于表的报错？
前提条件 没有业务读取目标库的数据，或业务可以短时间不读取目标库的数据。源库和目标库处于正常运行的状态。除报错信息中的表以外，同步实例有其他待同步的对象。当前实例的 运行状态 不能为 修改同步对象中。注意事项 修改同步对象会...
多值数据写入
errors Array 描述引起写入失败直接原因的数组。其中只会包含第一个引发失败的数据点及其失败原因。注意 在详细模式下，对于一个 api/mput 请求中写入的一批数据，要么全部成功，要么全部失败。而且返回的errors中只会返回第一个引发失败的...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
导出数据
在页面左侧的 数据库实例 列表区域，找到目标数据库。左键双击数据库名称，进入SQL Console。右键单击目标表，选择 导出>导出表结构。说明 您也可以在页面右上方选择>整库表结构。在 导出表结构 页面，导出数据字典文档。支持导出Word、...
常见报错
本文介绍DBS配置备份计划、备份恢复预检查以及恢复任务运行时系统返回的报错信息（如异常信息或错误码）以及解决方法。说明 若在本文中未找到您遇到的异常或报错，或按照文中修复建议仍未解决您的问题，请到 DBS客户咨询群（钉钉群号：...
写入数据
此时TSDB写入成功或失败时会按下述响应内容返回成功的数据点数和失败的数据点数方便业务端进行统计 名称 数据类型 描述 success Integer 写入成功的数据点数 failed Integer 未能成功写入的数据点数 示例如下：{"failed":0,"success":20 } ...
Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
配置任务时测试连接失败的排查及解决方法
本文根据不同的实例类型介绍可能失败的原因及对应的解决方案。详细信息 当连接性预检查失败时，可能是由于如下原因：诊断内容 可能原因 解决方法 JDBC 数据库账号密码填写有误，或者是数据库的IP、Port连接地址填写错误。数据库账号授权...
批量创建质量规则
连通性监测：配置到Dataphin上的数据源因网络变更、用户名、密码等原因导致连接不上，进而导致任务报错，对连通性监测的变化进行加监控告警。表结构异动：上游表的结构变化，如更名、删除、增减字段，进而导致下游报错，对表结构的变化进行...
批量创建质量规则
连通性监测：配置到Dataphin上的数据源因网络变更、用户名、密码等原因导致连接不上，进而导致任务报错，对连通性监测的变化进行加监控告警。表结构异动：上游表的结构变化，如更名、删除、增减字段，进而导致下游报错，对表结构的变化进行...
RDS SQL Server中无法直接删除数据库的处理方法
问题描述 在RDS SQL Server实例中删除数据库时，会出现以下场景的报错：如果数据库没有会话，对于RDS SQL Server 2008、2012和2016版，是用镜像做的主备同步，直接使用 drop database SQL语句删除数据库会存在以下报错。The database 'XX' ...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
RDS MySQL迁移至云原生数据仓库 AnalyticDB ...
说明 此场景属于异构数据库间的数据迁移，DTS在执行结构迁移时数据类型无法完全对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 异构数据库间的数据类型映射关系。全量迁移 DTS将源库中迁移对象的存量数据，全部迁移到目标库...
常用管理
DataV工具栏提供了丰富的配置功能，包括编辑器切换和主题设置等。本文向您介绍工具栏中的常用功能。前提条件 已登录DataV控制台 已进入画布编辑器页面 ...调试预览：通过查看主画布的连线、查看交互日志和组件日志，调测已完成的数据看板。
Hive兼容数据类型版本
1.0和2.0数据类型版本：源数据类型需要隐式转换为表中的数据类型，否则报错。在Hive模式下成功，在其他模式下报错。create table t(a bigint);insert into table select 1.5;函数行为差异+、-、*、/、POW函数 Hive兼容数据类型版本：在数据...
2.0数据类型版本
本文为您介绍MaxCompute 2.0数据类型版本的定义、使用场景、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为2.0数据类型版本时，项目空间的数据类型属性参数定义如下。setproject odps.sql.type.system.odps...
数据开发与运行
本文为您介绍数据开发的相关问题...说明 DataWorks只支持下载1W条数据，超过1W的数据需要通过tunnel下载，下载时需要instanceid、在运行任务的时候在odps sql节点编辑器里加上 set odps.mcqa.disable=true;（需要和其他select语句一块执行）。
数据传输预检查
启动数据迁移项目时，为确保项目的顺利运行，OceanBase 数据传输功能会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...
常见问题
产生此报错的原因为AccessKey信息错误，您可以进入 AccessKey管理 页面获取正确的AccessKey或者生成新的AccessKey。新建RAM用户无法访问MaxCompute，如何解决？RAM用户权限不足，需要由RAM用户归属的阿里云账号为RAM用户执行授权操作，详情...
MySQL整库实时同步至OSS数据湖
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
DML操作常见问题
向MaxCompute表中插入FLOAT类型的数据报错，如何解决？对相同数据执行INSERT SELECT操作和SELECT操作的结果为什么不一致？目标表的字段类型为VARCHAR(10)，插入数据溢出时会报错吗？在执行MaxCompute SQL过程中，报错Transaction timeout ...
源库连接性检查
当源库连接性预检查失败时，可能是以下几种原因。数据库账号名或密码不正确 报错示例 Access denied for user 'XXX'@'XXX'(using password:YES)检测方法 使用命令行或客户端连接源数据库，验证数据库账号名和密码是否正确。常见错误：填写...
如何处理Tair集群数据倾斜
数据倾斜的原因与处理方法 请提前规划业务增长率，合理地拆分大Key，并保持规范的数据写入，才能解决数据倾斜的根源问题。产生倾斜原因 说明 处理方法 大Key 大Key通常以Key的大小和Key中成员的数量来综合判定。常见于在KKV（Key-key-value...
如何处理Redis集群数据倾斜
数据倾斜的原因与处理方法 请提前规划业务增长率，合理地拆分大Key，并保持规范的数据写入，才能解决数据倾斜的根源问题。产生倾斜原因 说明 处理方法 大Key 大Key通常以Key的大小和Key中成员的数量来综合判定。常见于在KKV（Key-key-value...
冷数据归档常见问题
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
常见问题
数据同步过程中如果源实例中的数据库名、表名或者列名中含有划线（-）会报错吗？由于ADB中不允许数据库名、表名或者列名中含有划线（-），为保证数据同步成功，系统会将中划线（-）映射为下划线（_）。如果在数据同步过程中遇到其他因数据...
基本概念
消费时间点 消费时间点是指客户端消费掉的最新一条增量数据对应的时间戳。每次客户端消费并提交数据更新时，DTS都会将最新的提交时间标记为消费时间点。如果客户端停止响应，DTS会自动从消费时间点恢复，将数据更新发送给下一个健康的消费...
API概览
ListUserRoles 获取单个User的数据湖角色列表 获取单个User的数据湖角色列表。ListPermissions 获取权限列表 获取权限列表。CheckPermissions 对User权限进行校验 对User权限进行校验。GetCatalogSettings 获取数据湖Catalog的配置 获取...
如何解决实例无法连接
d：指定数据库（默认的数据库是 postgres），-U：指定连接的用户。可以通过 psql-help 查看更多选项。在 psql 中，可以执行 \?查看更多 psql 中支持的命令。进入数据库后，在数据库的SQL命令行窗口中运行如下命令，查询客户端的IP地址。...
云产品集成
您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成功能，实现在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。在 DataWorks 添加 ApsaraDB For OceanBase ...
创建数据流
前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL 3.0、其他来源MySQL SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL Server PostgreSQL：RDS PostgreSQL...
数据订阅启动SDK报错
问题描述 数据订阅启动SDK报错提示如下。Exception in thread"main...
创建元数据
后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、Elasticsearch和MongoDB数据源中数据表的元数据。背景信息 HBase、Elasticsearch和MongoDB数据源为非关系型数据源，基于这三种数据源创建服务单元时无法直接...
外部表常见问题
查询外部表Tablestore数据慢 问题现象 查询外部表Tablestore的数据慢，同样的业务数据，1个实时写入Tablestore，1个定时写入MaxCompute，两个表结构和数据量一样。查询MaxCompute内部表耗时远小于查询Tablestore外部表。解决措施 这种情况...
数据页面管理
我的数据分组 在 我的数据分组 页面中，您可以对不同的数据类型分成不同的组。您可以实现如下多个功能：功能 说明 新增分组 单击 我的数据分组 列表右侧的，在弹出的 新建分组 对话框中，自定义输入分组名称后单击 OK 即可新增一个数据分组...
数据页面管理
我的数据分组 在 我的数据分组 页面中，您可以对不同的数据类型分成不同的组。您可以实现如下多个功能：功能 说明 新增分组 单击 我的数据分组 列表右侧的，在弹出的 新建分组 对话框中，自定义输入分组名称后单击 OK 即可新增一个数据分组...
产品概述
背景信息 随着国家对数据安全和个人敏感信息的加强监管，原子化的数据安全能力已无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来...
- 产品推荐
- 这些文档可能帮助您