配置自定义区域右下角组件数据
本案例内三个字段表示的含义如下：x：时间（需要与默认静态数据的时间格式保持一致）。y：标识该地区感染人数。s：数据类别。本地数据字段示例样式如下所示。{"x":"2010/01/01 00:00:00","y":500,"s":"新增确诊"},{"x":"2010/01/01 00:00:...
常见问题
实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步至Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错。报错信息与解决方案 报错信息与...
设置数据时效
为了避免因数据库达到存储上限，导致新增数据无法保存，TSDB提供数据时效功能，打开并设置数据时效后，系统将自动删除时效范围以外的数据。本文介绍如何开启或关闭数据时效功能。警告 设置数据时效后，建议您及时备份数据，避免导致数据...
实时同步常见问题
实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决...
01新建模型目录
背景信息 STG：全称STAGE，结构与源数据保持一致的增量数据，主要用于汇聚业务系统源头数据。ODS：全称Operational Data Store，贴源层，主要负责采集业务系统并保存一定期限内的相关业务数据。DWD：全称Data Warehouse Detail，明细数据层...
配置DataHub输入组件
消费开始时间 数据消费的开始时间位点。仅支持以yyyyMMddHHmmss格式的时间字符串指定具体时间，是时间范围的左边界。需配合调度参数使用，例如调度参数配置为 startTime=${20220101000000}，则 消费开始时间 配置为${startTime}。消费结束...
补数据任务概述
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
补数据任务概述
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
数据上传
说明 字段名称和字段类型不能为空，否则数据无法上传。EMR Hive、Hologres引擎不支持在数据上传新建表。您需在数据开发（DataStudio）新建表后，才可在数据上传中选择目标表。创建表，详情请参见 表管理。文件编码 若数据存在乱码，则可...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
敏感数据保护
需要注意的是，脱敏保护后的数据无法展示为原值，因此推荐用在临时查询等场景，不推荐在数据交换等场景中使用。加解密方案 Dataphin支持在数据集成中针对敏感数据进行加密或者解密。Dataphin支持常见的商密和国密，如AES、RSA、SM4等算法；...
敏感数据保护
需要注意的是，脱敏保护后的数据无法展示为原值，因此推荐用在临时查询等场景，不推荐在数据交换等场景中使用。加解密方案 Dataphin支持在数据集成中针对敏感数据进行加密或者解密。Dataphin支持常见的商密和国密，如AES、RSA、SM4等算法；...
实时数据订阅概述
Pull模式：您可以使用开源的Kafka客户端直接订阅数据，服务端会暂时保存数据，您需要对保存的数据设置一个过期时间，如果超过这个时间数据会被删除。具体操作请参见 通过Pull模式创建数据订阅通道。Push模式：云原生多模数据库 Lindorm ...
C100售前支持相关问题
本文介绍了您在使用C100系列数据库审计服务前可能遇到的问题和解答，帮助...实例释放后，数据无法恢复。检查产品是否有续费。数据库审计C100是否可以降低规格？不支持降低规格。您可以在当前产品过期后重新购买较低规格的数据库审计C100实例。
名词解释
背景信息 时间序列数据库 TSDB：英文全称为 Time Series Database，提供高效存取时序数据和统计分析功能的数据管理系统。时序数据（Time Series Data）：基于稳定频率持续产生的一系列指标监测数据。例如，监测某城市的空气质量时，每秒...
日志服务通过数据集成投递数据
日志结束时间 数据消费的结束时间位点，为时间范围（左闭右开）的右边界，为 yyyyMMddHHmmss 格式的时间字符串（例如 20180111013010）。该参数可以和DataWorks的调度时间参数配合使用。批量条数 一次读取的数据条数，默认为256。说明 您...
空间管理
创建时间 数据库的创建时间。是否系统库 数据库是否为SQL Server的系统数据库。单击表格最左侧+按钮，系统将会展开对应数据库，可以查看数据库文件详情。详细参数说明如下。参数 说明 数据库名 数据库的名称。文件组 文件所在的文件组名。...
空间管理
创建时间 数据库的创建时间。是否系统库 数据库是否为SQL Server的系统数据库。单击表格最左侧+按钮，系统将会展开对应数据库，可以查看数据库文件详情。详细参数说明如下。表 4.TOP 10数据库文件参数说明 参数 说明 数据库名 数据库的名称...
搜索索引使用限制
生存时间（Time-To-Live，简称TTL）搜索索引的TTL默认与主表保持一致，索引会定期清理历史数据，无法保证TTL的实时生效。重要 搜索引擎Elasticsearch兼容版本暂不支持TTL。数据多版本 搜索索引不支持索引列数据的多版本。自定义时间戳 默认...
图层配置项说明
说明 如使用空间构建基底数据，当数据变更时都需要单击 刷新数据 按键，进行页面数据的刷新，使得场景内图层的数据保持最新状态。数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表...
图层配置项说明
说明 如使用空间构建基底数据，当数据变更时都需要单击 刷新数据 按键，进行页面数据的刷新，使得场景内图层的数据保持最新状态。数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表...
图层配置项说明
说明 如使用空间构建基底数据，当数据变更时都需要单击 刷新数据 按键，进行页面数据的刷新，使得场景内图层的数据保持最新状态。数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表...
导出至OSS
如果目标表已有数据，已有数据保持不变，新数据追加到新的OSS数据文件。导出到OSS单文件（仅限CSV格式，Parquet格式不允许导出到单一文件）功能：通过hint指定唯一的OSS文件，将数据导出到此文件中。包含overwrite关键字时，覆盖外表TABLE_...
时间选择器
时间选择器 组件拥有交互配置，可改变选择器中的时间数据内容，触发数据请求，抛出回调值，然后在其他组件中配置使用。默认抛出数据面板中配置的 time、startTime 和 endTime 值，具体配置请参见 组件回调ID配置。蓝图编辑器交互配置 在...
数据集成支持的数据源
实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至目标端数据源中，实现 来源端数据源与目标端数据源 实时地保持数据同步。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 ...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。...前提条件 配置MySQL输入之前，请确保已完成...常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步MySQL数据报错
备份PostgreSQL数据
重要 关闭日志备份会导致所有日志备份被清除，并且无法使用按时间点恢复数据的功能。日志备份保留 日志备份文件保留的天数，默认为7天。可以设置为7~730天，但必须小于等于数据备份天数。高级备份策略页面（升级后）访问 RDS实例列表，在...
应用场景
为了降低数据库故障恢复时间，数据库备份DBS提供了表级数据恢复，准确匹配恢复需求。更多详情请参见 库表级恢复。优势：时间短：选择库表级恢复时，数据库备份DBS只会读取单个表的数据进行恢复，极大缩短了恢复时间。备份灵活：支持同时...
层次调用规范
在完成数据仓库的分层后，您需要对各层次的数据之间的调用关系作出约定。层次调用规范 ADS应用层优先调用数据仓库公共层数据。如果已经存在CDM层数据，不允许ADS应用层跨过CDM中间层从ODS层重复加工数据。CDM中间层应该积极了解应用层数据...
层次调用规范
在完成数据仓库的分层后，您需要对各层次的数据之间的调用关系作出约定。层次调用规范 ADS应用层优先调用数据仓库公共层数据。如果已经存在CDM层数据，不允许ADS应用层跨过CDM中间层从ODS层重复加工数据。CDM中间层应该积极了解应用层数据...
查询结果不符合预期的常见原因
同理，使用较大的自定义时间戳/版本号，例如误将KV的时间戳设置成微秒时间戳或者纳秒时间戳，则可能造成数据无法被正常过期清理。您可以通过集群管理系统查看TTL的值是否合适，具体步骤：在集群管理系统的 概览 页面，单击目标数据库下的...
文档更新动态（2023年）
分区表预览功能优化，默认查询最新有数据的分区，但是部分场景下受引擎和分区类型限制无法获取有数据的最新分区值，该情况下，默认查询最新分区（可能无结果数据）。新增说明 数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段...
变更配置
变更配置可能会进行数据迁移，迁移完成后根据您选择的切换时间进行切换（期间保持增量同步），切换过程中会出现一次约30秒的闪断，而且与数据库、账号、网络等相关的大部分操作都无法执行，请尽量在业务低峰期执行变配操作，或确保您的应用...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
设置连接保持
上述测试语句中的关键参数含义如下：db-driver：数据库引擎 mysql-host：数据库代理地址 tables：数据库中的表数量 table-size：每张表包含的记录条数 threads：并发度 time：测试时间，单位：秒 测试结果 在如下测试的运维场景中，RDS ...
源为PolarDB-X的功能规范和约束说明
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
源为PolarDB-X的功能规范和约束说明
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
使用限制
购买RDS实例后，您不需要做数据库的基础运维（例如高可用、打安全补丁等），但您需要重点关注如下事项：事项 说明 变更配置 变更配置可能会自动进行数据迁移，迁移完成后根据您选择的切换时间进行切换（期间保持增量同步）。迁移过程中，...
连接保持
注意事项 连接保持功能无法保持如下场景中的连接：当连接切换时，连接（会话）上存在临时表。当连接切换时，Proxy正在从数据库接收结果报文但只接收了部分结果报文，比如执行 SELECT 语句后，需要从数据库接收一个包含100 MB数据的结果报文...
PostgreSQL数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } PostgreSQL Reader脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须与添加的数据源名称保持一致。是 无 table 选取...
- 产品推荐
- 这些文档可能帮助您