查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
实时数据订阅概述
每次对Lindorm表格的数据执行增删改操作时，数据订阅都会生成一个Stream Record键值对，键值对的键是这一行数据的主键，值是此次操作的详细信息（操作前的值，操作后的值，时间戳，操作类型）。开通模式 开通 云原生多模数据库 Lindorm ...
RDS MariaDB迁移至RDS PostgreSQL
数据库名称 填入目标RDS PostgreSQL实例中用于接收迁移对象的数据库名称。数据库账号 填入目标RDS PostgreSQL实例的数据库账号。数据库密码 填入该数据库账号对应的密码。配置完成后，单击页面下方的 测试连接以进行下一步。如果源或目标...
手动添加DBS IP地址至数据库白名单
使用数据库备份DBS时，如果数据源为 有公网IP:Port的自建数据库，您需要手动将DBS IP地址添加到自建数据库的安全设置（通常为防火墙）中，才能成功添加数据源或备份数据库。使用说明 分类 说明 系统自动添加 当源或目标数据库是阿里云数据...
ActionTrail日志清洗
理论上可以分析上述格式的JSON数据，但非常不便，需要先把每行数据拆分成多条记录，然后再对拆分后的记录进行分析。小文件多，分析数据耗时且占用大量系统资源 当您通过账号（阿里云账号和RAM子账号）频繁操作云产品时，每天产生的操作日志...
安全基线检查
数据安全中心通过动态检测数据资产配置的方式，以数据为落脚点检测阿里云上数据库资产是否存在配置风险，例如身份验证、访问控制、加密、备份和恢复等方面的配置是否安全，这些检查策略和检查项统称为安全基线检查。安全基线检查功能可以帮...
配置数据质量规则去噪
如果规则是SQL任务表行数，7天平均值波动检测，则基准值是前7天的表行数据的平均值。是否启动 选择是否开启该降噪规则，开启后当任务中存在质量规则校验不通过的数据时将不阻塞任务运行。单击 保存，完成去噪规则配置。管理去噪规则 您可以...
入门实践
背景信息 DataWorks接入数据建模前，主要集中于数据开发中和开发后的治理。而数据建模新增定义数据形态的流程，为您提供一站式的模型管理解决方案和数据开发前的治理能力。在数据建模时，您可以根据对业务流程的理解和需求的调研，定义企业...
同步时源库为Db2 for LUW的注意事项及限制
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
填充数据库
请注意，在载入大量行时，使用 COPY 几乎总是比使用 INSERT 快，即使使用了 PREPARE 并且把多个插入被成批地放入一个单一事务。同样的事务中，COPY 比更早的 CREATE TABLE 或 TRUNCATE 命令更快。在这种情况下，不需要写 WAL，因为在一个...
SQL结果集导出
警告 选中 跳过校验 后，DMS不会校验导出影响行数，如果数据量较大可能对正常的业务产生风险，请谨慎选择。相关人 否 设置的相关人员都可查看工单，并协同工作，非相关人员则不能查看工单（管理员、DBA除外）。导出SQL语句 是 填入可直接...
DMS数据管理预案助力业务大促
背景信息 大型活动期间，公司业务量可能出现大幅度上涨，数据库的使用与数据安全管理将面临巨大挑战。例如如下场景：临近双十一，数据库即将面临一次访问流量上的大考。筹备业务大促期间，您可评估您现有数据库的使用情况，预估活动期间的...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
区域热力层（v3.x版本）
可单击某个区域、双击某个区域、鼠标移入区域或鼠标移出区域时，触发数据请求，抛出临时变量，实现在单击、双击、鼠标移入或移出某个区域时，动态加载不同区域的数据。默认抛出所单击区域的 adcode 值，具体配置请参见 组件交互配置。蓝图...
区域热力层（v4.x版本）
鼠标移入区域触发 当鼠标移入区域热力层的某一区域块时触发事件并抛出数据。鼠标移出区域触发 当鼠标移出区域热力层的某一区域块时触发事件并抛出数据。动作 动作 说明 导入数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要...
区域热力层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
PolarDB HTAP实时数据分析技术解密
在迭代器进行迭代的过程中，每获取一行数据都会引发多层的函数调用。同时逐行地获取数据会带来过多的 I/O，对缓存也不友好。MySQL采用树形迭代器模型，其受限于存储引擎访问方法，导致其很难对复杂的逻辑计算进行优化。在列存格式下，由于...
容量中心
可查看每个表的 表名、行数、磁盘使用大小、数据大小、宏块使用率、分区数量 和 自增列使用率。查看集群容量信息。当选择所有租户时，不再显示数据库和数据表筛选，改为展示集群下不同租户的存储、分区副本、CPU、内存的图表信息。右侧展示...
应用场景
该场景可实现：支持多数据源接入 支持数据库（RDS、PolarDB-X（原DRDS）、PolarDB、Oracle、SQL Server等），大数据（Flink、Hadoop、EMR、MaxCompute）、OSS、日志数据（Kafka、SLS等）以及本地数据导入。支持一键建仓 通过简单几步配置...
矢量散点层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
符号聚合层（v4.x版本）
当鼠标移入时 当鼠标移入符号聚合层的符号点时抛出的事件，同时抛出该符号点对应的经纬度数据项。动作 动作 说明 导入数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中...
符号聚合层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
符号聚合层（v3.x版本）
当鼠标移入时 当鼠标移入符号聚合层的符号点时抛出的事件，同时抛出该符号点对应的经纬度数据项。动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如符号聚合层配置了API数据源为 ...
配置数据校验
在数据库性能较差、规格较低或业务量较大的情况下，可能会加重数据库压力，甚至导致数据库服务不可用。增量校验任务仅支持校验增量同步或增量迁移任务中变更的数据，不支持校验手动在目标库中变更的数据。采用 按抽样比例进行HASH校验 方式...
列存索引技术架构介绍
MySQL最常用的存储引擎都是按行存储，在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费。其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB并行查询突破CPU瓶颈 并行...
数据湖管理FAQ
Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关问题 为什么配置了元信息发现，并在“手动执行”之后，过了几天新的数据看不到了？OSS...
呼吸气泡层（v4.x版本）
当单击某个气泡点或鼠标移入气泡时，将触发数据请求并抛出临时变量，实现在单击或鼠标移入某个气泡时，动态加载不同区域的数据。默认抛出所单击区域的 lng 和 lat 值，具体配置请参见 组件交互配置。蓝图交互 单击页面左上角的 图标，进入 ...
数据水印
警告 选中 跳过校验 后，DMS不会校验导出影响行数，如果数据量较大可能对正常的业务产生风险，请谨慎选择。相关人（可选）设置的相关人员都可查看工单，并协同工作，非相关人员则不能查看工单（管理员、DBA除外）。导出SQL语句（必选）填入...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
配置管理
数据变更工单在执行之前，会校验此次变更的影响行数，在数据量较大的情况下，校验时间会很长。为了数据变更能够顺利执行，可以设置校验影响行数的超时时间，单位为秒。如果超过这个时间，则放弃校验影响行数。数据变更原因分类 取值：JSON...
RDS MySQL迁移至MaxCompute
RDS MySQL实例 MySQL自建数据库：有公网IP的自建数据库 ECS上的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 说明 本文以RDS MySQL实例为源数据库介绍配置...
Tunnel命令常见问题
Tunnel Upload命令支持上传海量数据，如果出现内存溢出，可能是因为数据的行分隔符和列分隔符设置错误，导致整个文本被认为是同一条数据，全部缓存至内存中，导致内存溢出报错。这种情况下可以先用少量的数据进行测试，当-td 及-fd 调试...
跨阿里云账号同步RDS MySQL实例
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
数据扫描和识别
支持扫描的数据源类型如下：结构化数据：RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据：OSS 大数据：TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描？DSC 完成数据源授权后，...
数据模型
在HBase中，数据存储在具有行和列的表中，这是与关系数据库（RDBMS）类似的模型，但与之不同的是其具备结构松散、多维有序映射的特点，它的索引排序键由行+列+时间戳组成，HBase表可以被看做一个“稀疏的、分布式的、持久的、多维度有序Map...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
基本概念
地理系统 TwinFabric数字孪生系统支持常见的地理信息系统数据源接入，满足实景三维中国建设技术大纲中部分地形级实景三维、城市级实景三维、部件级实景三维数据源的接入，支持基于球面、平面三维场景搭建与地理信息多源数据的融合与开发。...
插入数据
你当然可以每次插入多行，但是却没有办法一次插入少于一行的数据。即使你只知道几个列的值，那么你也必须创建一个完整的行。要创建一个新行，使用INSERT命令。这条命令要求提供表的名字和其中列的值。例如：CREATE TABLE products(product_...
- 产品推荐
- 这些文档可能帮助您