低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
应用场景：低成本历史库
云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本，方便运维，弹性伸缩等需求，本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本历史库场景，2023年3月10日前购买的LTS仍支持该场景。背景...
公告
2022年06月10日-Dataphin更名通知 为了更好地帮助广大客户解决数据资产建设问题，显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费...
时空数据库版本发布记录
新增 ST_HasBinData 函数是否具有用户定义二进制数据获取。新增 ST_ClearBinData 函数支持二进制数据的清除。ST_Affine 函数使用根节点变换矩阵方式替代实际坐标值变换。SFMesh对象中Node节点允许使用NULL对象作为空节点，支持占位操作。ST...
时空数据库版本发布记录
新增 ST_HasBinData 函数是否具有用户定义二进制数据获取。新增 ST_ClearBinData 函数支持二进制数据的清除。ST_Affine 函数使用根节点变换矩阵方式替代实际坐标值变换。SFMesh对象中Node节点允许使用NULL对象作为空节点，支持占位操作。ST...
增量备份数据上云（SQL Server 2008 R2云盘、2012及...
RDS SQL Server提供了增量备份上云的解决方案。您需要先将全量备份文件上传至阿里云的对象存储服务（OSS），并通过RDS控制台将全量备份数据恢复至指定的RDS SQL Server数据库中。然后通过RDS控制台将差异备份或日志备份文件导入该RDS SQL ...
文档更新动态（2022年）
新增说明 Dataphin出网IP地址 2022年02月18日 新增数据源测试连接报VPC_GRANT_ACCESS_API_ERROR错误的解决方案 在Dataphin中添加RDS类型数据源时，进行测试连接报VPC_GRANT_ACCESS_API_ERROR错误的解决方案。新增说明 数据源测试连接报VPC_...
Oracle数据源
TIMESTAMP和DATE 布尔型 BIT和BOOL 二进制类 BLOB、BFILE、RAW和LONG RAW 数据同步前准备：Oracle环境准备 在DataWorks上进行数据同步前，您需要参考本文提前在Oracle侧进行数据同步环境准备，以便在DataWorks上进行Oracle数据同步任务配置...
使用mysqldump导入导出数据
如果有二进制数据就必须使用本选项。影响的字段类型包括BINARY、VARBINARY、BLOB。no-data 不导出数据。table 指定导出某个表。默认导出该数据库所有的表。no-create-info 不导出建表信息。net_buffer_length 传输缓冲区大小。影响Insert...
排查Mongo Shell登录问题
您可以通过DMS或Mongo Shell登录MongoDB数据库，本文介绍使用Mongo Shell登录数据库时出现的典型问题及解决方法。提示connection attempt failed错误 现象：#mongo-host ali12345678.mongodb.rds.aliyuncs....
物模型透传开发
本文介绍设备如何使用二进制数据完成物模型数据的上报和下发。背景信息 物模型是阿里云物联网平台为产品定义的数据模型，数据模型的原生数据编码格式基于JSON协议。对于资源受限设备，使用二进制格式进行编码可以解决JSON格式的序列化开销...
通过DMS登录RDS数据库提示“未成功获取...实例信息”错误
解决方案 说明 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议提前创建快照或开启RDS日志备份等功能。如果您在阿里云平台授权...
版本说明
问题修复 修复控制台的时间线监控和磁盘监控数据错误的问题；修复时间线清理后，时间线 meta data 仍会被查出来的问题；修复读取数据类型和写入类型不一致的问题；修复写入速率监控和磁盘监控数据错误的问题。V2.2.7 2018年7月6日 新特性 ...
时空引擎版本发布记录
修复 ST_BuildPyramid 函数，解决超大数据构建矢量金字塔时的内存占用问题。4.8 新特性 增强 ST_Union 函数，支持按内存使用量分批次执行，避免大数据量造成OOM。新增 ST_SetValue 函数，支持指定像素位置设置像素值。栅格数据支持对HDFS...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
数据管理DMS的数据追踪功能无法追踪到数据
本文解释数据管理DMS的数据追踪功能无法追踪到数据的原因及解决方案。问题描述 数据管理DMS的数据追踪功能无法追踪到数据。问题原因 数据追踪的筛选条件可能选择错误。解决方案 请参考下列步骤进行排查：请检查时间和区域的选择是否正确。...
Tunnel命令常见问题
这种情况是因为数据编码格式错误或分隔符使用错误导致上传到表的数据错误。建议规范原始数据后再执行上传操作。如何在Shell脚本中将一个TXT文件中的数据上传到MaxCompute的表中？在系统的命令行执行窗口，您可以通过指定参数快速执行上传...
开发PyODPS 2任务
with instance.open_reader(tunnel=True,limit=False)as reader:说明 若您未开启 Instance Tunnel，可能导致获取数据格式错误，解决方法请参见 Python SDK常见问题。设置运行参数 您可以通过设置 hints 参数，来设置运行时的参数，参数类型...
XML 类型
不用说，在 PostgreSQL 中处理 XML 数据产生错误的可能性更小，并且在 XML 数据编码、客户端编码和服务器编码三者相同时效率更高。因为 XML 数据在内部是以 UTF-8 处理的，如果服务器编码也是 UTF-8 时，计算效率将会最高。重要 当服务器...
CREATE TYPE
例如，标准整数数据类型使用网络字节序作为其外部二进制表示，而内部格式则采用机器的本地字节序。接收函数应当进行足够的校验确保输入值是有效的，并且可以接受一个 internal 类型的参数，或者三个参数（internal、oid、integer），其中 ...
CREATE TYPE
例如，标准整数数据类型使用网络字节序作为其外部二进制表示，而内部格式则采用机器的本地字节序。接收函数应当进行足够的校验确保输入值是有效的，并且可以接受一个 internal 类型的参数，或者三个参数（internal、oid、integer），其中 ...
CREATE CAST
要创建一种二进制可强制造型，您必须是一个超级用户（这种限制是因为错误的二进制可强制造型转换很容易让服务器崩溃）。参数 source_type 该造型的源数据类型的名称。target_type 该造型的目标数据类型的名称。function_name[(argument_...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
Tair扩展数据结构概览
为解决该问题，Tair（Redis企业版）推出自研的扩展数据结构，包括 exString（包含 Redis String命令增强）、exHash、GIS、Bloom、Doc、TS、Cpc、exZset、Roaring、Vector 和 Search，整体比Redis stack server支持更多的数据结构，而部分...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
常见问题
javax/ws/rs/core/ResponseStatusFamily 检查javax.ws.rs包依赖情况，比如是否错误依赖了jsr311-api 其他问题 Parse body failed，Offset:0 一般出现写入数据时，在专有云的datahub中，因版本较低，所以不支持protobuf的二进制传输模式，而...
通过DMS登录RDS数据库提示“user not exist”错误
解决方案 说明 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议提前创建快照或开启RDS日志备份等功能。如果您在阿里云平台授权...
获取RDS MySQL数据语法错误
解决方案 排查原因后重新配置函数，重启数据加工服务。SQL语法错误 加工规则 e_table_map(res_rds_mysql(address="xxx",username=xxx,password="xx",database="xx",sql="inset into test values(1,"aini")",field="processid",output_...
配置Greenplum输出组件
加载策略 可选择 追加数据 和 copy 策略：追加数据：当主键/约束冲突时，会提示脏数据错误；copy策略：根据选择的冲突解决策略进行动作，仅支持表，不支持视图。冲突解决策略 加载策略 选择 copy 时，需选择冲突解决策略，GreenPlum仅支持 ...
SQL Server数据源
BIT 二进制类 BINARY、VARBINARY、VARBINARY（MAX）和TIMESTAMP 数据同步任务开发 SQL Server数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行...
配置Greenplum输出组件
加载策略 可选择 追加数据 和 copy 策略：追加数据：当主键/约束冲突时，会提示脏数据错误；copy策略：根据选择的冲突解决策略进行动作，仅支持表，不支持视图。冲突解决策略 加载策略 选择 copy 时，需选择冲突解决策略，GreenPlum仅支持 ...
PostgreSQL数据源
如果您的PostgreSQL数据库开启了SSL认证，那么您在添加DataWorks的PostgreSQL数据源时也需要开启SSL认证，具体操作流程请参见 附录二：PostgreSQL数据源增加SSL认证。单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
查看计量详情
API计量详情提供了各类可视化图表及统计数据，可以针对单个API分别查看监控图表，包括API网关状态码、数据服务错误码、App请求次数、流量带宽、平均响应时间。进入计量详情页面 登录 DataWorks控制台，单击左侧导航栏的 数据服务，在下拉框...
AdvanceGenerateDataKeyPair
取值：RSA_2048 RSA_3072 RSA_4096 EC_P256 EC_P256K Aad bytes 否 二进制数据 对数据密钥对加密时使用的GCM加密模式认证数据。重要 如果指定了该参数，调用 Decrypt 解密时需要指定相同的参数。KeyFormat string 是 PEM 生成的数据密钥对...
GenerateDataKeyPair
取值：RSA_2048 RSA_3072 RSA_4096 EC_P256 EC_P256K Aad bytes 否 二进制数据 对数据密钥对加密时使用的GCM加密模式认证数据。重要 如果指定了该参数，调用 Decrypt 解密时需要指定相同的参数。KeyFormat string 是 PEM 生成的数据密钥对...
错误码
本文档列出了 PolarDB-X 返回的常见错误码及解决方法。PXC-1305 ERR_UNKNOWN_SAVEPOINT PXC-1094 ERR_UNKNOWN_THREAD_ID PXC-4006 ERR_TABLE_NOT_EXIST PXC-4007 ERR_CANNOT_FETCH_TABLE_META PXC-4018 ERR_INVALID_DDL_PARAMS PXC-4100 ...
互联网服务：小打卡
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍小打卡如何通过 PolarDB-X 应对业务挑战。所属...
自媒体：易撰
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...
- 产品推荐
- 这些文档可能帮助您