如何把数据库迁移到RDS
详细信息 数据库迁移过程中，会出现数据库中断或者闪断的情况。如出现闪断的情况，请参见 更多信息。以下是不同数据库迁移到RDS的方法。RDS MySQL版 关于将MySQL数据库迁移到RDS，请参见 从自建MySQL迁移至RDS for MySQL。RDS SQL Server版...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
周期任务补数据
对于汇总逻辑表，系统会根据指标的业务相关性原则（引用相同的业务限定或原子指标）、归属同一物化节点的一致性原则，系统提示选中进行补数据的连带字段，提供数据正确性和业务稳定性的保障。例如，指标A和指标B的业务限定相同，当该业务...
周期任务补数据
对于汇总逻辑表，系统会根据指标的业务相关性原则（引用相同的业务限定或原子指标）、归属同一物化节点的一致性原则，系统提示选中进行补数据的连带字段，提供数据正确性和业务稳定性的保障。例如，指标A和指标B的业务限定相同，当该业务...
一键建仓
系统会进行数据库权限检查。单击 提交审批。审批通过后，系统将根据配置项执行同步任务。您可以在 数据同步 区域，查看同步进展。后续步骤 您可以在数据分析工单详情页的底部，进行如下操作：单击 SQL Console，实时分析数仓数据，更多信息...
数据变更最佳实践
例如将MaxCompute中的数据导入 AnalyticDB MySQL版 时，MaxCompute中同一个表的不同分区中的数据会在系统中排队串行导入。实时导入：适用于小数据量导入的场景，例如百万级别的表数据。例如，从RDS for MySQL、ECS自建MySQL数据导入 ...
安装Agent
Agent程序是数据库审计系统提供的功能插件，您需要在用户终端、目标数据库服务器或连接数据库的应用服务器上安装Agent，用于将数据库访问流量转发到审计系统。本文介绍安装及卸载Agent的具体操作。安装位置 根据待审计的数据库类型，您需要...
查看系统审计到的语句
查询到数据后，系统会根据查询到的内容，智能列出筛选条件，后续您可以根据条件细粒度筛选。定位到目标语句模板，在 类型设置 列，根据实际业务需求，设置该SQL语句模板类型，单击 保存生效。类型 说明 选中即可设置为信任语句。选中即可...
数据脱敏
您执行审计日志查询操作时，在展示查询结果前，数据库审计系统会自动匹配已开启的所有数据脱敏规则，匹配命中的数据以*（星号）掩码展示。新增、启用、禁用、修改、删除数据脱敏规则都会立即生效。操作步骤 登录数据库审计系统。具体操作，...
管理数据库资产
添加RDS实例 数据库审计系统会自动拉取配置VPC内的RDS实例，用户只需开启审计即可。自动拉取的RDS会被划分到RDS的资产类型中。RDS数据库也可手动添加，手动添加的RDS数据库资产类型会被标识为自建。配置项 说明 类型 选择 RDS，并选择要...
关联数据
新增人员信息并使用应用身份识别功能（更多信息，请参见 应用身份识别）后，数据库审计系统会自动帮您识别SQL语句中的人员信息并将该信息关联到对应的SQL语句中。以下步骤为您介绍如何新增人员。导入人员的操作步骤和导入IP组类似，不再...
配置SAP HANA输出组件
覆盖数据策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。解析方案 非必选项，选择输出数据前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句。输入字段 根据上游的输入，为您展示输入字段。输出字段 单击 ...
D100快速入门
添加订阅报表任务后，数据库审计系统会定期向您指定的邮箱发送订阅的数据库审计报表，帮助您了解数据库状态。请参见以下步骤，创建订阅任务。在左侧导航栏，选择 报表中心>报表订阅。在 报表订阅 页面，单击 添加。在 添加订阅任务 面板，...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
配置SAP HANA输出组件
覆盖数据策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。解析方案 非必选项，选择输出数据前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句。输入字段 根据上游的输入，为您展示输入字段。输出字段 单击 ...
开通敏感数据保护
说明 在执行扫描任务时，系统会扫描目标数据库中的元数据和少量随机抽样数据（100~200条）。这些数据仅在执行扫描任务时用于敏感数据分析，系统不会对数据进行保存。配置项 说明 扫描方式 即时任务：配置完成后，系统立即扫描目标数据库，...
配置GoldenDB输出组件
覆盖数据 策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。解析方案 可选择输出数据前后的语句准备，详情请单击页面右上方的 组件说明。输入字段 根据上游的 输入组件 的输出字段，为您展示输入字段。输出字段 根据...
配置Impala输出组件
覆盖数据 策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。解析方案 可选择输出数据前后的语句准备，详情请单击页面右上方的 组件说明。输入字段 根据上游的 输入组件 的输出字段，为您展示输入字段。输出字段 根据...
SDK概述
修复读取DataHub无数据时出现NPE问题。v1.6.0 新增Spark Streaming SQL测试工具。Spark Streaming SQL适配Loghub数据源。新增DataHub数据源direct api实现。Loghub python接口支持direct api。修复Insert数据到tablestore失败的问题。v1.5....
配置TDH Inceptor输出组件
覆盖数据 策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。字段分隔符 填写文件存储分隔符。如果您没有填写，则系统默认将 字段分隔符 填写为英文逗号（,）。分区 如果选择了分区表，则需要选择数据表的分区。默认的...
ClickHouse整库数据离线同步至Hologres
如果目标表有主键，则系统会使用新数据覆盖旧数据，整行所有列全部覆盖，没有配置列映射的字段会强制写NULL。编辑字段类型映射。在Hologres目标表为待建立的状态下，系统有一份默认的ClickHouse表转换到Hologres表的字段类型映射（如下表所...
非持久设置
当这些设置被使用时，只有突然的操作系统停止会产生数据丢失或损坏的风险。将数据库集簇的数据目录放在一个内存支持的文件系统上（即 RAM 磁盘）。这消除了所有的数据库磁盘 I/O，但将数据存储限制到可用的内存量（可能有交换区）。关闭 ...
克隆集群
系统会根据实际数据使用量按小时计费，详情请参见 规格与定价。说明 创建集群时无需选择存储容量，存储容量随数据量的增减而自动弹性伸缩。集群名称 输入集群名称，集群名称需满足如下要求：不能以 http:// 或 https:// 开头。长度为2~256...
补数据
问题现象 补数据选择业务时间昨天和今天，会出现等待时间的情况。产生原因 从平台维度来看，业务时间昨天的数据，今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。如果您需要过滤今天的周期实例，您...
后续指引
介绍：数据迁移 实践：数据迁移最佳实践 常见问题：数据上传下载常见问题 大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各...
添加体验空间数据库
数据表被项目引用，其中存在已发布项目：系统会提示用户有哪些已发布的项目引用了当前表，并提示用户不能直接删除，需要关闭项目的发布状态或删除项目对当前表的引用后才能删除。在删除弹窗中单击 确定，删除数据表。后续操作 新建项目
管理数据库档案
其他操作 测试数据库档案连接：在 数据库管理 页面，单击目标数据库档案 操作 列下的 测试，系统会自动执行测试数据库连接操作，待测试结束，测试结果将会显示在页面上。删除数据库档案：在 数据库管理 页面，单击目标数据库档案 操作 列下...
EXCHANGE PARTITION
当执行完 ALTER TABLE.EXCHANGE PARTITION 命令后，最初在 target_partition 中的数据就会交换到 source_table 中，而最初在 source_table 中的数据则会交换到 target_partition 中。WITHOUT VALIDATION 选项表示不对单表的数据是否符合...
点热力层（v3.x版本）
系统会根据 value 的最大值和最小值来计算热力图的大小和颜色。数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段...
冷热分离
在用户的访问方式上和访问普通表没有任何差异，在查询的过程中，用户只需配置查询的Hint或者TimeRange，系统会根据条件自动地判断数据应该在热数据区还是冷数据区。原理介绍 用户在表上配置数据冷热时间分界点后，HBase增强版会依赖用户...
2023年
修复并发插入数据过程中，会出现误报主键冲突的问题。2023年04月（V2.0.0.2）类别 功能 功能描述 相关文档 缺陷修复 修复实时写入时，执行Flush、Compact以及并发DDL等操作可能出错的问题。2023年03月（V2.0.0.1）类别 功能 功能描述 相关...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
添加DataV数据代理服务
本文档介绍在DataV中添加DataV数据代理服务数据源的方法，以及相关参数配置说明。使用DataV数据代理服务，您无需暴露...数据库信息填写完成后，系统会自动进行测试连接，验证数据库是否能连通正常。连接成功后，单击 确定，完成数据源添加。
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。数据源标识和用户账号等，在数据传输系统内全局唯一。Oracle 数据库的增量日志解析最大支持 5T/天。Oracle 数据库 11G 及之前版本不支持创建超过 30 个字节的数据库对象。...
区域热力层（v3.x版本）
文字标注偏移问题 在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看当前区域热力层版本，目前可以使用的区域热力层组件包括 区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再...
自动添加数据源
数据库备份DBS 支持自动添加数据源功能，可以将阿里云上的RDS实例自动同步到DBS数据源中，以便后续对数据源进行管理与备份。功能说明 该功能当前仅支持自动接入RDS实例，包含 RDS MySQL、RDS SQL Server、RDS PostgreSQL、RDS MariaDB。...
编辑数据源
数据映射成功后，系统会自动显示 匹配成功。添加过滤器 您可以为数据源添加一个过滤器，使数据的展示更加清晰明了。详情请参见 组件过滤器使用说明。清除 数据过滤器，可隐藏过滤器功能。自动更新 可以通过自动更新功能自动更新数据，并且...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
功能概览
1.4 生态融合 系出飞天，与阿里云大数据系统深度整合，无缝对接MaxCompute、实时计算、交互式分析等产品，打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据...
- 产品推荐
- 这些文档可能帮助您