常用管理
报错类型 说明 组件数据获取失败 组件请求数据源发生错误时，产生该报错。数据源的请求可能发生在组件首次加载时、组件自动更新时和全局变量触发更新时等。过滤器执行错误 组件请求数据源成功返回数据后，经过过滤器时产生报错，将记录为...
时空引擎版本发布记录
修复轨迹从OSS读取数据失败时支持重试。4.5 新特性 新增Ganos支持PostgreSQL 14系列。性能优化 增强外部存储的轨迹对象增加缓存，提升访问性能。Bug修复 修复栅格数据导出到OSS会缺少文件后缀的问题。修复栅格对部分数据统计时失败的问题。...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
手机号认证SDK返回码
600008 蜂窝网络未开启 提示用户开启移动网络后重试 600009 无法判断运营商 创建工单联系工程师 600010 未知异常 创建工单联系工程师 600011 获取token失败 切换到其他登录方式 600012 预取号失败 切换到其他登录方式 600013 运营商维护...
离线同步常见问题
读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直...
消息通知管理
审批拒绝 导出成功 导出失败 数据追踪 获取文件失败 待提交审批 待审批 审批通过 审批拒绝 日志处理成功 日志处理失败 数据库克隆 待审批 审批通过 审批拒绝 克隆成功 克隆失败 测试数据构建 待审批 审批通过 审批拒绝 构建成功 构建失败 ...
配置Greenplum输入组件
同步Greenplum数据源的数据至其他数据源的场景中，您需要先配置Greenplum输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Greenplum输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面...
SQL
PyODPS默认不限制从Instance读取的数据规模，但Project Owner可能在MaxCompute Project上增加保护设置，以限制对Instance结果的读取，此时只能使用受限读取模式读取数据，在此模式下可读取的行数受到Project配置限制，通常为10000行。...
使用数据镜像保护尚未写入完整的数据
使用场景 创建数据镜像，可确保在数据大批量写入更新期间，所有读请求从数据镜像获取数据。从而确保数据在完整写入前不会被应用程序读取到。数据镜像的读取性能与先前非镜像数据的读取性能完全保持一致。说明 数据更新完成后，可将数据正式...
常见问题概览
打开SQLConsole页面时提示“未获取到数据库相关信息”的报错 MySQL中出现“Too many connections”报错 新增ECS自建数据库提示“因白名单问题无法连接数据库”账号或权限 如何在DMS控制台中查看数据库对应的DBA 在DMS控制台添加钉钉通知...
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
离线同步数据质量排查
数据类型、时区问题 您的源头表数据类型、数据范围和目标表不一致，导致数据非预期的截断，或者数据写出脏数据失败。数据源头和目标端的时区不一致，导致两侧事件数据查询对比不一致。确认源头和目标类型、时区的差异。确认是否保持现状，...
数据源读取时间超时的优化思路
DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求。如果您的数据源访问经常超时，则需要从整体数据架构上做一定的优化。本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用...
数据源读取时间超时的优化思路
DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求。如果您的数据源访问经常超时，则需要从整体数据架构上做一定的优化。本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用...
产品架构
DTS使用增量数据读取模块来获取全量数据迁移过程中发生的数据更新。当全量数据迁移开始时，增量数据读取模块将被激活。在全量数据迁移阶段，增量数据会被解析、重新格式化并存储在本地DTS服务器上。增量数据迁移：当全量数据迁移完成后，...
逻辑备份、物理备份与快照
快照：基于快照技术获取指定数据集合的一个完全可用拷贝，随后可以选择仅在本机上维护快照，或者对快照进行数据跨机备份，常见工具为文件系统Veritas File System、卷管理器Linux LVM、存储子系统NetApp NAS等。说明 数据库备份DBS 暂不...
添加ClickHouse数据源
网络 数据源可选的网络类型。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录数据库的密码。数据库 单击 ...
查询诊断
您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下：名称 说明 算子名称 算子名称与编号，在计划树中唯一。类型ID 算子类型编号。...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
准备数据
准备数据源 通过RDS创建MySQL实例，获取RDS实例ID。详情请参见 快速创建RDS MySQL实例。在RDS控制台添加白名单，详情请参见 添加白名单。说明 如果是通过自定义资源组调度RDS的数据同步任务，必须把自定义资源组的机器IP也加入RDS的白名单...
通过实时计算订阅数据
订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。...注意 选择的读取数据时间必须在数据同步到DataHub之前，否则可能造成数据丢失，影响查询结果。icmsDocProps={'productMethod':'created','language':'zh-CN',};
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据...数据库启动时会从KMS获取KEK，从而解密DEK，解密后的DEK存放在内存中，用于写入数据或读取数据时进行加密或解密。
BLOB数据类型（邀测中）
} 数据读取 Lindorm支持以下两种方式读取BLOB列的数据：方式一：一次性读取一行数据中整个BLOB列的全部内容，并保存至一个字节数组中。直接读取整个BLOB列的完整内容 ResultSet resultSet=stmt.executeQuery("select*from"+tableName+...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
DataV读取数据源超时
问题描述 阿里云DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求，您的数据源访问经常出现超时的情况。问题原因 查询超时的原因如下：使用SQL查询的业务数据表数量太大。API接口...
算子级别诊断结果
如果聚合算子分组的个数较多，会导致聚合度低，那么在第一步的初步聚合操作中，不但不能减少网络数据传输，反而会消耗大量的计算资源。建议 可以考虑跳过初步聚合操作，直接在各个节点间对数据进行重分布，之后直接进行一次最终聚合。更多...
FTP数据源
FTP数据源为您提供读取和写入FTP双向通道的功能，本文为您介绍DataWorks的FTP数据同步的能力支持情况。使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，...
缓冲区管理
例如，只读节点将数据页回放到LSN为200的WAL日志，但该数据页在从Buffer Pool淘汰之后，再次从共享存储中读取的数据页中没有包含LSN为200的WAL日志的改动，此类数据页被称为过去页。对于只读节点而言，只需要访问与其回放位点相对应的数据...
缓存数据持久化
当您使用云数据库RDS MySQL并需要提升数据处理速率和降低访问延迟时，阿里云为您提供了缓存数据持久化的高效方案，该解决方案通过整合云数据库Redis与RDS、云数据库Memcache与RDS协同工作，确保数据的高速访问和持久化存储，具备高吞吐、低...
返回结果
不同的 API 请求返回的数据内容和格式不同，请查阅 写入数据 和 读取数据。请求失败 如果错误发生，API 将为各个错误返回一个对应格式化的 JSON 对象。该对象包含的字段如下表所示：字段名 类型 是否必选 描述 举例 code Integer Yes HTTP ...
数据库
本章节主要介绍 PolarDB PostgreSQL版 中的不同视图详细信息，可通过查询不同视图获取相关实例信息，进而方便定位性能问题。数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计...
数据库
本章节主要介绍 PolarDB PostgreSQL版（兼容Oracle）中的不同视图详细信息，可通过查询不同视图获取相关实例信息，进而方便定位性能问题。数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库...
强一致分布式事务
因查询操作的数据涉及多个分区，PolarDB-X 首先会获取中心授时确定读取版本，读取过程中会对每行数据的MVCC多版本进行可见性判断，确保只会读取在全局时间戳之前已完成提交的事务。例如转账事务在多个数据节点的提交有先后时间差，已提交的...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
否则数据传输可能因为无法获取增量日志导致数据迁移项目失败，甚至导致源端和目标端数据不一致。支持的源端和目标端实例类型 下表中，OceanBase 数据库 Oracle 租户简称为 OB_Oracle。源端 目标端 OB_Oracle（OceanBase 集群实例）Oracle...
调优集群性能
业务上存在点查类并发较高的查询（例如 where a=3），并且这些点查的目标数据比较分散，无法在一次磁盘读取中完成多个目标数据的获取，只能触发多次的磁盘读取，从而导致磁盘IOPS增高。后台同时进行Build的任务增多。您可以在监控信息页面...
API概览
本产品（数据湖构建/2020-...ListDatabases 获取元数据库列表 获取数据湖元数据库列表，分页查询，可以根据数据库名称匹配。表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。...
读取OSS数据
在成功创建了OSS外部表后，您可以访问和查询存储在OSS指定目录下的数据文件，实现高效的数据读取操作。背景信息 完成OSS外部表创建后，您可以根据需要选择如下方式之一对OSS外部表进行操作：（推荐）方式一：将OSS的开源格式数据导入...
- 产品推荐
- 这些文档可能帮助您