迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。如果源端字符集为 UTF-8，建议目标端使用兼容源端的字符集（例如，UTF-8、UTF-16 等），避免产生因字符集不兼容导致目标端出现乱码等问题。节点之间的时钟不同步，或者...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
转换后可以确保源端不同字符集中的数据能成功迁移至目标端，但割接后反向增量可能会出现数据超长无法写回源端的问题。如果源端存在包含时区信息的数据类型（例如 TIMESTAMP WITH TIME ZONE），请您确保目标端数据库支持并存在源端对应的...
如何把数据库迁移到RDS
详细信息 数据库迁移过程中，会出现数据库中断或者闪断的情况。如出现闪断的情况，请参见 更多信息。以下是不同数据库迁移到RDS的方法。RDS MySQL版 关于将MySQL数据库迁移到RDS，请参见 从自建MySQL迁移至RDS for MySQL。RDS SQL Server版...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
AnalyticDB MySQL 2.0数据导入
说明 写入方式为insert时，会出现FLOAT类型数据错误的问题。column_name AnalyticDB for MySQL 2.0集群中表的列名。同步整个库的元数据（Meta）。meta-sync database database_name to catalog_name;参数 说明 database_name AnalyticDB ...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
时空引擎版本发布记录
修复由于栅格数据带有 NAN 和 INF 等数据，在导入和统计值会出错的问题。4.3 新特性 ST_PixelAsPolygon：将栅格像素转换为Polygon对象。ST_PixelAsPolygons：将栅格像素转换为Polygon对象集合。ST_PixelAsPoint：将栅格像素转换为基于点...
补数据
问题现象 补数据选择业务时间昨天和今天，会出现等待时间的情况。产生原因 从平台维度来看，业务时间昨天的数据，今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。如果您需要过滤今天的周期实例，您...
逻辑备份恢复至自建数据库
当自建数据库是分片集群时，导入数据命令中必须添加-nsExclude="config.*"，否则数据恢复过程可能会出现报错。将分片集群实例中的数据恢复至自建数据库时，需要下载分片集群实例中每个Shard组件的备份数据并导入到自建数据库。当分片集群...
逻辑备份恢复至自建数据库
当自建数据库是分片集群时，导入数据命令中必须添加-nsExclude="config.*"，否则数据恢复过程可能会出现报错。将分片集群实例中的数据恢复至自建数据库时，需要下载分片集群实例中每个Shard组件的备份数据并导入到自建数据库。当分片集群...
常见问题
高质量数据首先是要准确率高，训练数据的问题要是清晰的，答案是能准确回答问题的。其次是要有多样性，不能所有的数据都是关于一类问题或者都是一些简单的问题。准备训练数据确实是一件非常耗费资源的事情，但大模型要训练好是非常依赖数据...
离线同步常见问题
脏数据实时场景分析：场景一：报错现象：{"message":"写入 ODPS 目的表时遇到了脏数据:第[3]个字段的数据出现错误，请检查该数据并作出修改或者您可以增大阈值，忽略这条记录.","record":[{"byteSize":0,"index":0,"type":"DATE"},{...
2023年
修复并发插入数据过程中，会出现误报主键冲突的问题。2023年04月（V2.0.0.2）类别 功能 功能描述 相关文档 缺陷修复 修复实时写入时，执行Flush、Compact以及并发DDL等操作可能出错的问题。2023年03月（V2.0.0.1）类别 功能 功能描述 相关...
数据库迁移
背景信息 随着业务的发展，数据库会出现升降配、数据库整体迁移的需求，为支持此类业务场景，DMS推出数据库迁移功能，支持对多种数据库的结构、数据进行同构迁移，同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的...
概念解释
模型中心模块核心概念解释如下表所示：模块 概念 解释 训练数据 训练集 调优所用的数据集，格式一般为Prompt+Completion的文本数据，可通过Excel进行编辑和上传，最小训练数据条数为20，最大训练数据条数为10000，一条训练数据Prompt+...
智能圈选人群
PAI为您提供智能圈选人群功能，您可以通过 策略训练任务 选择使用内置的智能算法，对人群数据（训练数据）进行训练，生成圈选策略，再基于圈选策略通过 人群圈选任务 对人群数据（预测数据）进行智能筛选过滤，产出目标人群数据。...
基本概念
训练数据 训练集 构建合适训练集，通过模型调优可增强模型能力，提升预测效果，平台支持多轮训练数据、单轮训练数据、在线编辑及效果预览功能。评测集 构建合适的评测集，通过模型评测评估模型效果，发现模型问题，评测集包括Prompt及...
模型训练最佳实践
我们建议至少准备500条训练数据，训练数据集可准备成如下格式：Prompt Completion 阅读文章，回答问题：南极探险家罗伯特·法尔肯·斯科特和弗兰克·比克顿都住在这座城市。艺术家包括描绘普利茅斯文化的贝丽尔·库克（Beryl Cook）和研究...
区域热力层（v3.x版本）
文字标注偏移问题 在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看当前区域热力层版本，目前可以使用的区域热力层组件包括 区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再...
时序引擎版本说明
3.4.27 发布日期 类型 说明 2023年04月06日 新特性 Lindorm ML时序预测支持以降采样及自动插值的方式，获取训练数据，并支持在模型推理时自动应用训练数据。功能优化 优化写入性能。修复单值查询超时后，读资源未释放的问题。修复使用...
云数据库Redis实例间单向数据迁移
为避免该情况发生，建议将目标库的数据逐出策略设置为 noeviction，当目标库内存不足时，数据会写入失败，同时任务也会失败，但目标库不会因为数据逐出而丢失数据。关于数据逐出策略详情，请参见 Redis数据逐出策略介绍。源库中为什么会有 ...
快速开始
创建RAG应用 大模型在面对事实性问题时可能会出现幻觉现象，您可以创建RAG应用来集成您的知识库文件，提高回答的准确性并减少错误信息的产生。上传知识库文件 单击左侧边栏的 应用中心-应用工具-企业知识库，单击 上传企业知识，在 类型 处...
2023年
无 缺陷修复 修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已将统计表大小的列由integer数据类型修改为bigint数据类型。修复分区表UPDATE分布键列时出现 tuple already updated by self 错误信息的问题。修复Master节点不回收...
确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
概述
这就导致了不同系统之间会进行数据迁移，同一份数据可能在不同源之间冗余，进而出现数据不一致的问题，以及特征难管理、模型难升级等困境。除此之外，数据工程师、算法工程师和开发工程师的人力成本也是当前数据驱动的智能决策应用难以大...
从自建MySQL迁移至RDS实例
如果源库中待迁移的表没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。对于数据类型为FLOAT或DOUBLE的列，DTS会通过 ROUND(COLUMN,PRECISION)来读取该列的值。如果没有明确定义其精度，DTS对FLOAT的迁移...
常见错误码
400 InvalidParameter.TrainDataSize 训练数据错误，训练数据过少,最少需要5张图片标注。400 InvalidParameter.TrainTaskParam 数据集ID或者标注集ID为非法输入。400 InvalidParameter.TrainTaskDatasetId 创建或修改训练任务所选数据集不...
数据授权
您授权允许 数据安全中心（DSC）访问MaxCompute、RDS和对象存储OSS数据时，可能会出现授权失败的情况。您可以参考以下原因排查数据授权问题。RDS连接授权失败有哪些原因？RDS数据库账号或密码输入错误。您自行删除了RDS访问白名单中 DSC ...
全增量同步任务运维
强制重跑 在某些特殊情况下，例如发现源端数据被污染、数据链路出现问题等，您可以单击 操作 列 更多>强制重跑 强制对源端所有表进行全增量初始化操作，将源端数据重新迁移到目标表中，以快速恢复数据。说明 仅Hologres和MaxCompute支持...
调度依赖配置指引
默认节点的上下游产出表存在强依赖关系（即下游表数据的产出需要依赖上游产出的表数据），因此，任务在配置调度依赖时，需确认是否存在强血缘依赖，即确认当前任务是否会因为上游数据未产出而导致当前任务取数出现问题。若下游节点中表数据...
实例状态与影响
切换中 HASwitching 手动执行主备切换 执行切换的数据节点将出现秒级的连接闪断，同时，为避免主备切换引起潜在的数据丢失风险（例如主备节点数据同步延迟引起数据不一致）、DNS缓存引起的数据双写，该数据节点还会出现30秒内的只读状态。...
查询结果不符合预期的常见原因
在使用Lindorm宽表引擎的过程中，如果使用方法不当，可能会出现查询结果与预期不符的情况。本文列举了导致此类问题产生的几种常见原因，请您根据原因进行排查，优化查询条件。问题描述 Lindorm宽表引擎是兼容HBase的NoSQL数据引擎，其存储...
SDK概述
修复读取DataHub无数据时出现NPE问题。v1.6.0 新增Spark Streaming SQL测试工具。Spark Streaming SQL适配Loghub数据源。新增DataHub数据源direct api实现。Loghub python接口支持direct api。修复Insert数据到tablestore失败的问题。v1.5....
XYZ栅格，为什么出现了蓝色的地球
栅格数据中是否存在透明的瓦片，如果存在透明瓦片则可能会出现蓝色的地球，解决这个问题可以尝试新增一个栅格数据源并在Tab中拖动到后面，或者新增一个可被浏览器访问的静态图片地址作为新增XYZ数据源的地址。栅格数据源是否只在指定城市...
大版本升级常见问题
A：切换域名后，可能会存在DNS解析缓存问题，在缓存过期时间内可能会出现连接不上数据库或数据库只支持读操作而无法执行写入操作等情况，建议您刷新一下服务器的DNS缓存。Q：升级切换后，为什么在 PolarDB 控制台上看不见 完成升级 按钮？A...
PolarDB MySQL版CPU使用率高
整个数据库系统的缓存区域，是数据交换最为频繁的位置，如果内存不足和内存页争抢，则会出现各种异常的堆积和慢查询。最典型的表现是数据库突然CPU上涨打满，并且出现慢查询。经过排查后发现该问题并非索引缺失，这个时候就有可能是内存...
常见问题
A：切换域名后，可能会存在DNS解析缓存问题，在缓存过期时间内可能会出现连接不上数据库或数据库只支持读操作无法执行写入操作等情况，建议您刷新一下服务器的DNS缓存。Q：一键升级到 PolarDB 前，能否先进行兼容性测试并简单评估迁移工作...
数据资产定级
局部性质：数据直接或间接用于某些业务线的运营、报告等，如果出现问题会给业务线造成一定的影响或造成工作效率降低。标记为A3。一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景...
自动SQL限流
除了上述的问题，在现实生活中可能还会出现各种特殊情况，比如值班人员联系不上、工作人员身边没有电脑、信息太多分析难度大、压力大紧张操作失误等。因此需要尽可能的把异常发现、异常SQL定位、SQL限流、跟踪/回滚的整体流程自动化处理。...
- 产品推荐
- 这些文档可能帮助您