内置全密态能力
PolarDB PostgreSQL版（兼容Oracle）提供全密态数据库功能，数据在用户侧加密后传入数据库管理系统，数据明文对于数据库服务端不可见，实现了端到端的全程加密的数据强安全性。全密态云数据库是达摩院数据库与存储实验室的自研产品，可以...
使用Android SDK请求OSS资源时出现No value for ...
查看SDK中OSSAuthCredentialsProvider类，对于STS服务端的请求的ststoken信息和处理方式，从而可以查看到对于请求STS服务端获取Token的JSON数据中需要有StatusCode字段，同时该值需要为200才能判定请求Token通过，否则返回“No value for ...
数据源管理常见问题
直连数据库通过Datav服务端查询，会有10s超时限制，同时，数据库需要能通过外网访问，并配置访问白名单，白名单地址请参见：配置数据库白名单。如果无法使用外网或不想使用外网访问时，可以使用数据代理服务。对于数据代理服务的适用场景...
数据源管理常见问题
直连数据库通过Datav服务端查询，会有10s超时限制，同时，数据库需要能通过外网访问，并配置访问白名单，白名单地址请参见：配置数据库白名单。如果无法使用外网或不想使用外网访问时，可以使用数据代理服务。对于数据代理服务的适用场景...
数据迁移
迁移MongoDB的JSON数据至MaxCompute，详情请参见 迁移MongoDB的JSON数据至MaxCompute。迁移ECS上自建的MySQL数据库中的数据至MaxCompute，详情请参见 迁移ECS自建MySQL数据库至MaxCompute。迁移其它业务平台的日志数据至MaxCompute：通过...
查看审计日志
服务端IP 数据库服务器服务端的IP地址，支持设置IPv4或IPv6地址。服务端端口 数据库服务器服务端的端口号。数据库名/实例名 数据库名称或实例名称。客户端工具 登录数据库的客户端工具。主机名 数据库服务器的主机名。操作系统用户名 使用...
实时数据订阅概述
Pull模式：您可以使用开源的Kafka客户端直接订阅数据，服务端会暂时保存数据，您需要对保存的数据设置一个过期时间，如果超过这个时间数据会被删除。具体操作请参见 通过Pull模式创建数据订阅通道。Push模式：云原生多模数据库 Lindorm ...
读取优化
Result[]re=table.get(List<Get>gets)大scan缓存是否设置合理 scan一次性需求从服务端返回大量的数据，客户端发起一次请求，服务端会分多批次返回客户端，这样的设计是避免一次性传输较多的数据给服务端及客户端有较大的压力。目前数据会...
如何对JSON类型进行高效分析
在处理JSON数据时，为了提高查询性能，数仓往往在ETL任务中预先解析JSON数据且按需计算出对应值，然后作为表的单独一列插入到表中，即将JSON数据一些属性按需处理后构成大宽表。查询时不再需要读取和解析整个JSON列数据，直接读取对应普通...
配置过滤规则
服务端MAC地址 等于、不等于 服务端所在服务器的MAC地址。支持填写多个值，多个值之间以半角逗号（,）分隔。例如，fe:58:c0:39:*:*,fe:58:c0:55:*:*。数据库名（SID）不涉及 服务端的数据库名。Oracle数据库输入SID，其他数据库输入数据库...
产品架构
用户同时对一个数据订阅链路，启动多个下游SDK消费进程，服务端同时只向一个下游消费推送增量数据，当这个消费进程异常后，服务端会从其他健康下游中选择一个消费进程，向这个消费进程推送数据，从而实现下游消费的高可用。
MongoDB 6.0新特性概览
MongoDB 6.0新推出可查询加密功能，允许用户从客户端加密敏感数据，将其作为完全随机的加密数据存储在数据库服务器端，并对加密数据进行丰富的查询。可查询加密只允许在客户端查看敏感数据的明文，在查询到达服务器端时会同时包含从KMS获取...
数据导入性能优化
数据库服务器端虽然能够及时消费客户端发送的数据，但由于总发送量较小，导致写入TPS不满足预期。解决方法：调大单次导入的 批量插入条数 及增加 任务期望最大并发数，数据导入性能会随着导入压力的增加而线性增加。当导入的目标表存在数据...
数据导入性能优化
数据库服务器端虽然能够及时消费客户端发送的数据，但由于总发送量较小，导致写入TPS不满足预期。解决方法：调大单次导入的 批量插入条数 及增加 任务期望最大并发数，数据导入性能会随着导入压力的增加而线性增加。当导入的目标表存在数据...
JSON类型
根据 RFC 7159 中的说明，JSON 数据类型是用来存储 JSON（JavaScript Object Notation）数据的。这种数据也可以被存储为 text，但是 JSON 数据类型的优势在于能强制要求每个被存储的值符合 JSON 规则。也有很多 JSON 相关的函数和操作符...
Doc
TairDoc是类似RedisJSON的文档数据结构，支持JSON数据的增删改查。TairDoc简介 主要特性 完整地支持JSON标准。部分兼容 JSONPath RFC draft-4标准。说明 仅JSON.GET命令支持。完整地支持 JSONPointer 语法。文档作为二进制树存储，可以快速...
RDS术语
数据库代理 RDS数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于代理应用服务端访问数据库时的所有请求，具有高可用、高性能、可运维、简单易用等特点，同时提供自动读写分离、事务拆分、连接池等高级功能。更多信息，请...
RDS术语
数据库代理 RDS数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于代理应用服务端访问数据库时的所有请求，具有高可用、高性能、可运维、简单易用等特点，同时提供自动读写分离、事务拆分、连接池等高级功能。更多信息，请...
RDS术语
数据库代理 RDS数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于代理应用服务端访问数据库时的所有请求，具有高可用、高性能、可运维、简单易用等特点，同时提供自动读写分离、事务拆分、连接池等高级功能。更多信息，请...
RDS术语
数据库代理 RDS数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于代理应用服务端访问数据库时的所有请求，具有高可用、高性能、可运维、简单易用等特点，同时提供自动读写分离、事务拆分、连接池等高级功能。更多信息，请...
使用Kafka客户端消费订阅数据
若您使用原生的Kafka客户端消费订阅数据，则可能会在DTS发生增量数据采集模块切换行为，从而使subscribe模式下订阅客户端保存在服务端的消费位点被清除，您需要手动调整订阅的消费位点以实现按需消费数据。若您需要使用subscribe模式建议...
RDS术语
数据库代理 RDS数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于代理应用服务端访问数据库时的所有请求，具有高可用、高性能、可运维、简单易用等特点，同时提供自动读写分离、事务拆分、连接池等高级功能。更多信息，请...
脚本和输出语法
数据服务中数据解析的数据源：物联网平台是基于数据解析后的JSON数据格式来处理和传递数据的。数据格式示例为：{"payload":{"key1":"value1","key2":"value2"},"ts":1623516625000 } payload：固定系统字段，其下字段（例如：key1、key2）...
数据加密
服务器端加密 OSS支持在服务器端对上传的数据进行加密（Server-Side Encryption）。上传数据时，OSS对收到的用户数据进行加密，然后再将得到的加密数据持久化保存下来；下载数据时，OSS自动对保存的加密数据进行解密并把原始数据返回给用户...
2023年
2023-08-01 华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、西南1（成都）按量付费闲时版 2023-06 功能名称 功能描述 发布时间 发布地域 相关文档 新增JSON数据类型 新增JSON数据类型，MaxCompute支持写入...
半结构化分析
JSON/JSONB AnalyticDB PostgreSQL版 支持JSON数据格式。JSON格式数据在业务上也可以用text类型来存储，但是使用JSON/JSONB数据类型会在用户写入数据时对输入做JSON规则校验，避免不合法JSON数据写入。同时 AnalyticDB PostgreSQL版 提供...
概述
输出文件 使用规定的JSON数据格式，将数据源或通过脚本处理后的数据，映射到指定孪生节点的物模型属性上。文件大小不超过256 KB。脚本和输出文件编辑方法，请参见 脚本和输出语法。应用场景 数据映射使用场景如下：数据源为物模型属性Topic...
LLaMa2 大语言模型
数据准备 对Llama2系列模型进行定制时，所需的训练数据格式为json数据，您可以提供多条json样本在一个jsonl文件中，注意每行仅包含一条json。定制数据格式 在准备sft训练数据阶段的过程中需要构造出对话的结构，需要包含 Human:以及 ...
TSDB数据源
DataWorks数据集成支持使用TSDB Writer将数据点写入到阿里巴巴云原生多模数据库Lindorm TSDB数据库中，本文为您介绍DataWorks的TSDB数据写入能力。支持的版本 TSDB Writer目前仅支持Lindorm TSDB全部版本以及HiTSDB 2.4.x及以上版本，其他...
魔笔怎么批量导入数据到应用中
问题描述 魔笔怎么批量导入数据到应用中 解决方案 可以使用以下两种方式。如何使用Excel导入模块 通过excel表格问题 配置连接器 使用服务器返回json格式的数据，引入并保存到魔笔的实体。
同步Redis后出现数据不一致
问题示例 使用数据传输服务（DTS）同步完Redis后，使用Redis的 info keyspace 命令查看源端和目标端的keys情况，出现源端和目标端数据不一致，且含过期时间的keys占很大比重。如下图：可能原因 单靠 info keyspace 的 expires 来判断数据...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。...
数据同步简介
基本原理 类似于 MySQL 的 binlog 机制，数据同步服务器和客户端 SDK 之间传递的基本数据单元为 oplog，当业务需要同步一个变更数据到指定的用户或设备时，业务调用数据同步接口，数据同步服务端会将业务需要同步的数据变更包装为一个 ...
数据集成支持的数据源
实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至目标端数据源中，实现 来源端数据源与目标端数据源 实时地保持数据同步。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 ...
JSON_FORMAT
将JSON数据转换成STRING类型，默认不自动进行美化。命令格式 string json_format(<json>)参数说明 json：必填，待处理的JSON。返回值说明 返回STRING类型。使用示例 示例1：将NUMBER类型的JSON数据转换为字符串。select json_format(json '...
通过DataX导入数据
column 是 无 目的表需要写入数据的字段，这些字段将作为生成的JSON数据的字段名。字段之间用英文逗号分隔。示例："column":["id","name","age"]。preSql 否 无 写入数据到目的表前，会先执行这里的标准语句。postSql 否 无 写入数据到目的...
数据传输规格说明
不同的实例规格对应了增量同步的不同 RPS 性能表现，以及建议迁移或同步的最大表对象数量，通过 OceanBase 数据传输服务可以实现数据秒级同步至目标端。但是受限于源端实例的运行负载、传输网络的带宽、网络延时和目标端实例写入性能等多种...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
配置并管理实时同步任务
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。创建实时同步任务 创建整库实时同步节点。配置...
- 产品推荐
- 这些文档可能帮助您