概述
随机生成一个16个字节长，并用hex编码的密钥$openssl rand-hex 16#随机生成一个24个字节长，并用base64编码的密钥$openssl rand-base64 24 警告 用户主密钥是访问加密数据的根凭据，一旦丢失密钥，将无法再访问已有的数据。请妥善保管用户...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
增加或删除已运行任务的同步表
勾选 发送心跳记录 后，实时同步任务将每隔5秒往Kafka中写入一条带有当前时间信息的记录。这样即使源端没有读取到新数据，Kafka中最新数据的时间信息也会持续更新，您可以根据Kafka中读取到的最新数据的时间判断实时同步的进度。③ 如果...
配置并管理实时同步任务
勾选 发送心跳记录 后，实时同步任务将每隔5秒往Kafka中写入一条带有当前时间信息的记录。这样即使源端没有读取到新数据，Kafka中最新数据的时间信息也会持续更新，您可以根据Kafka中读取到的最新数据的时间判断实时同步的进度。心跳记录...
管理数据集
若您的数据集带有分区字段，则会出现分区字段同步设置，具体设置请参见 分区值格式说明。（可选）单击 更多操作>复制，可以复制当前数据集。（可选）单击 更多操作>重命名，可以重命名当前数据集。（可选）单击 更多操作>相关卡片和作品，...
OSS Load
该参数只允许在对带有random分区的 Duplicate 表导入数据的时候设置。使用示例 创建待导入的SelectDB数据表，示例如下。CREATE TABLE test_table(id int,name varchar(50),age int,address varchar(50),url varchar(500))DISTRIBUTED BY ...
管理动态脱敏白名单
当用户因业务需要在特定时段和场景下访问明文数据时，可以申请配置动态白名单规则，避免对该数据脱密，从而访问明文数据。新建动态脱敏白名单规则 在...删除：删除动态脱敏白名单后，则用户将无法访问该规则覆盖的真实数据，请谨慎操作。
管理动态脱敏白名单
当用户因业务需要在特定时段和场景下访问明文数据时，可以申请配置动态白名单规则，避免对该数据脱密，从而访问明文数据。新建动态脱敏白名单规则 在...删除：删除动态脱敏白名单后，则用户将无法访问该规则覆盖的真实数据，请谨慎操作。
一键实时同步至Kafka
勾选 发送心跳记录 后，实时同步任务将每隔5秒往Kafka中写入一条带有当前时间信息的记录。这样即使源端没有读取到新数据，Kafka中最新数据的时间信息也会持续更新，您可以根据Kafka中读取到的最新数据的时间判断实时同步的进度。源端update...
升级步骤
如果待升级的PolarDB集群是已有数据传输服务（DTS）的源集群或目标集群，则升级后需要将该DTS任务的源或目标集群修改为升级后的PolarDB集群。如数据同步任务、数据迁移任务以及数据订阅任务等。具体请参见 修改DTS任务对象。单击 确定。若...
生成数据API
数据服务解决从数仓到应用的“最后一公里”，将数据源中的数据表快速生成数据API，在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
登录数据库
当您需要登录数据库或需要切换其他数据库账号时，可参考本文登录目标数据库。...导出数据库中已有的数据。具体操作，请参见 数据库导出。创建数据库。具体操作，请参见 数据库管理。登录数据库的相关问题，请参见 登录数据库。
C100售前支持相关问题
数据的分析处理：支持设置对应的安全规则和分析报表功能。购买、版本升级、迁移、退款事项处理、过期问题 新购买一台数据库审计C100要注意什么？购买时选择与ECS相同的地域，方便管理。选择版本时，请参考实际数据库流量峰值大小，选择性能...
Tair Proxy特性说明
当标准架构无法支撑业务发展时，您无需修改代码即可将标准架构的数据迁移至带有Proxy的集群架构，大幅度降低业务改造成本。负载均衡和路由转发 Proxy与后端的数据分片建立长连接，负责请求负载均衡和路由转发操作，关于转发规则的介绍，请...
元数据采集
如果显示 测试连通性未通过：请确认数据源是否开启了白名单限制，如果需要采集已开启白名单访问控制的元数据，请参考 元数据采集的数据源有白名单访问控制时需要配置的白名单 配置白名单权限。如果数据源未开启白名单限制，请参考 资源组...
Redis Proxy特性说明
当标准架构无法支撑业务发展时，您无需修改代码即可将标准架构的数据迁移至带有Proxy的集群架构，大幅度降低业务改造成本。负载均衡和路由转发 Proxy与后端的数据分片建立长连接，负责请求负载均衡和路由转发操作，关于转发规则的介绍，请...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
搜索索引介绍
数据同步服务LTS实时监听宽表WAL，筛选出宽表WAL中带有SearchIndex的表，并将筛选的数据写入至搜索引擎。搜索引擎收到数据后实时构建倒排索引。数据查询的流程如下：查询操作发送至Lindorm宽表引擎，计算层自动进行查询编译，基于优化器...
命令行界面介绍
与SQL表格的不同之处在于，使用TSDB For InfluxDB®，您可以有数百万的measurement，无需预先定义数据的schema，并且不会存储空值。数据写入TSDB For InfluxDB®使用行协议（Line Protocol），该协议遵循以下格式：[,<tag-key>=<tag-value>...
常见问题
如何处理distributed_ddl_task_timeout超时问题 分布式DDL查询（带有 on cluster）的执行等待时间，系统默认是180s。您可以在DMS上执行以下命令来设置全局参数，设置后需要重启集群。set global on cluster default distributed_ddl_task_...
DataWorks数据服务对接DataV最佳实践
DataV组件要求的数据格式是个数组，数据服务生成的API返回结果是带有错误码的完整JSON，因此要使用过滤器对API结果进行处理。您可以选择在DataV中添加过滤器，也可以选择直接在数据服务配置API时添加过滤器。通常对于未分页查询的API，直接...
通过Mongo Shell连接MongoDB副本集实例
Mongo Shell是MongoDB自带的数据库管理工具，您可以下载Mongo Shell工具并安装至客户端（本地服务器或ECS服务器），用于连接云数据库MongoDB副本集实例。前提条件 已创建云数据库MongoDB副本集实例，创建方法请参见 创建副本集实例。背景...
内存型
TimeSeries TS RedisTimeSeries TairTS相比较RedisTimeSeries具备更强的标签（Tag）扩展能力，支持Skey（Tag）的两级Hash结构时间线，支持对Skey（Tag）进行二级时间线聚合查询，支持对历史时序数据的更新或累加等。最佳实践：基于TairTS...
应用场景
带有计数器的库存系统 云数据库 RDS 与云数据库 Memcache 版搭配使用。RDS 存储具体数据信息，数据库字段中存储具体计数信息。云数据库 Memcache 版来进行计数的读取，RDS 存储计数信息。数据分析业务 云数据库 Memcache 版搭配大数据计算...
导入与导出
解决方法：只会在整库同步时才会发生，需要先判断源库是否为无主键表，如果是，请手动在目标库创建表并且保证新建的表有主键，建表后重启DTS任务即可。DTS同步数据至AnalyticDB MySQL集群时，如何解决建表字段默认值过长的报错？报错：...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
Schema探索
示例二：运行不带有ON子句的SHOW RETENTION POLICIES查询 使用 USE指定数据库>USE NOAA_water_database Using database NOAA_water_database>SHOW RETENTION POLICIES name duration shardGroupDuration replicaN default-autogen 0s 168h0...
查询报错问题
引起分析型数据库MySQL版查询不稳定的因素一般有以下几种：用户执行SQL时首次较慢，之后查询明显比第一次快，这是因为分析型数据库MySQL版自身带有缓存。第一次查询时会将数据缓存到内存中，若下次查询所需要的数据依然在内存中时，此时...
迁移
PolarDB-X 提供了评估迁移工具，帮助您将数据库从 PolarDB-X 1.0 迁移至 PolarDB-X 2.0。相关概念 源实例：待迁移的 PolarDB-X 1.0 实例。源数据库（源库）：源实例中要进行迁移的数据库。目标实例：要迁移至的 PolarDB-X 2.0实例。目标...
概述
恢复数据的位置 PolarDB-X 当前仅支持恢复数据至新实例，恢复完成后建议通过DTS等工具将数据导回原实例。新实例的白名单设置、备份设置、参数设置和当前实例保持一致。新实例内的数据与备份文件或指定恢复时间点时的数据一致。新实例带有...
PostgreSQL数据源
对于业务上无字段区分新增、修改数据的情况，PostgreSQL Reader无法进行增量数据同步，只能同步全量数据。SQL安全性 PostgreSQL Reader提供 querySql 语句交给您自己实现SELECT抽取语句，PostgreSQL Reader本身对 querySql 不进行任何安全...
组件数据源配置
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
新建 TiDB 数据源
TiDB 数据格式 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户时，您可以选择 TiCDC 或 TiDB Binlog 格式的数据，请从下拉列表中进行选择。备注（可选）数据源的备注信息。单击 测试连接，验证数据传输和数据源的网络连接，以及...
MaxCompute表数据
查看数据统计信息和分布情况 数据探查通过分析数据的结构和取值，为您展示数据的统计信息和分布情况等探查结果。说明 数据探查的使用限制如下：仅支持探查分区表。仅支持探查生产环境的表。仅表的所有者有权限开启自动探查功能。仅上海地域...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
集成组件库开发说明
输入组件 原数据的来源，您可根据您的业务数据类型选择对应的组件拖动到左侧的管道画布用于数据输入。各输入组件功能详情请参见：组件配置说明。输入 组件不支持有上游节点。输入 下游节点可以是 转换、输出、流程。如果 输入 组件有多个...
创建并管理数据源
附录：数据源环境介绍 标准模式工作空间下，同一个名称的数据源存在开发环境和生产环境两套配置，两套配置可对应底层两个数据库/数据仓库，针对不同环境您可设置不同的数据源信息，使测试与生产调度操作的数据源隔离，以保护生产数据的安全...
集成组件库开发说明
输入组件 原数据的来源，您可根据您的业务数据类型选择对应的组件拖动到左侧的管道画布用于数据输入。各输入组件功能详情请参见：各组件配置详情。输入 组件不支持有上游节点。输入 下游节点可以是 转换、输出、流程。如果 输入 组件有多个...
数据表管理
不要对带有全局二级索引的表进行调整拆分键的操作。更多拆分键的选择和分表形式，请参见 CREATE TABLE 和 拆分函数概述。数据迁移过程中不支持对原表和目标表进行DDL操作，如果您需要将新表通过 rename 语句替换掉原数据表，建议您在停止...
- 产品推荐
- 这些文档可能帮助您