MySQL分库分表同步至Hologres（方案2.0）
为了便于在Hologres表里区分某条记录属于源端哪个物理库、物理表，则需要在Hologres表中添加上三个附加字段（src_datasource、src_database、src_table），标识某条记录的来源数据源实例、数据库以及表，这三个附加字段和物理表中的主键在...
Schema约束
Schema约束的含义 Schema约束通常体现在数据写入层面，即写入的字段是否与预先定义的表结构中包含的字段一致，写入的字段数据类型是否与预先定义的数据类型一致或兼容，甚至写入的表是否存在等等。在传统关系型数据库中，这些约束非常严格...
配置LogicalTable输入组件
LogicalTable输入组件用于读取Dataphin中逻辑表（事实逻辑表、维度逻辑表、汇总逻辑表）中的数据。同步Dataphin中逻辑表的数据至数据源的场景中，您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行...
从ECS上的自建SQL Server同步至云原生数据仓库...
自建SQL Server数据库中待同步的表需具备主键或者唯一性非空索引以确保同步过程中的幂等性。云原生数据仓库AnalyticDB PostgreSQL 实例的存储空间须大于自建SQL Server数据库占用的存储空间。注意事项 DTS在执行全量数据初始化时将占用源库...
单选
④数据字段：下拉菜单选择所选数据表中的 某一个数据字段。⑤默认值：根据设置 数据字段内容 进行下拉选择。⑥自动关联字段ID值：选择是否自动关联字段ID值，勾选后即配置控件 的选项展示名称 关联 对应的ID值字段。来源于 选择 数据集。①...
GetMetaTableColumn-获取表的字段信息
0 Position integer 字段在表中的顺序。1 Nullable boolean 字段是否允许为空，返回值说明如下：true：允许为空 false：不允许为空 false DataLength long 字段长度。0 ErrorMessage string 错误信息。TableGuid is mandatory for this ...
创建文件数据源
数据字段 文件上传至数据库后，会以数据库表的形式存储，数据库字段名称 和 字段类型 为生成数据库表的字段名和类型，而 文件字段名 为上传文件的表头名，会变成数据库表的字段备注。您可以在文件上传时，修改 文件字段名、数据库字段名称 ...
将RDS PostgreSQL作为RDS MySQL实时分析库
执行 \dt+db1.*命令，查看db1中的表状态。List of relations Schema|Name|Type|Owner|Persistence|Size|Description-+-+-+-+-+-+-db1|test_innodb|table|test1|permanent|65 MB|db1|test_mm|table|test1|permanent|65 MB|(2 rows)执行如下...
DROP DATABASE
删除指定数据库。语法 DROP DATABASE[IF EXISTS][catalog_name.]db_name 参数说明 参数 是否必选 说明 catalog_name 否 数据库的Catalog。db_name 是 数据库名，用于唯一识别一个数据库。示例 删除名为mydatabase的数据库。DROP DATABASE ...
概述
只将表中的LOB字段、辅助性字段独立存储在OSS中；只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较典型的冷热分层模式。数据冷热分层场景 由于OSS访问延迟是云盘介质访问延迟的几百倍，数据一旦冷存处理后，其访问性能...
CREATE DATABASE
CREATE DATABASE 用于创建一个新的PolarDB数据库。简介 CREATE DATABASE 创建一个新的PolarDB数据库。要创建一个数据库，你必须是一个超级用户或者具有特殊的 CREATEDB 特权。默认情况下，新数据库将通过克隆标准系统数据库 template1 被...
多选
④数据字段：下拉菜单选择所选数据表中的 某一个数据字段。⑤默认值：根据设置 数据字段内容 进行下拉选择。来源于 选择 数据集。①来源于数据集：选择 数据集 后可支持数据集内 数据字段 选择您所需要的选项。②数据集：下拉菜单选择当前...
增强E-R
随着业务规模的增大和数据库外键性能的降低，越来越多的系统设计采用应用系统来保障业务之间的依赖关系，导致数据库的外键信息并不会真正的沉淀到数据库外键设计上，不易通过实际数据库的外键信息看到业务数据表中的逻辑关系，进而影响您...
概述
只将表中的LOB字段、辅助性字段独立存储在OSS中；只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较典型的冷热分层模式。数据冷热分层场景 由于OSS访问延迟是云盘介质访问延迟的几百倍，数据一旦冷存处理后，其访问性能...
概述
只将表中的LOB字段、辅助性字段独立存储在OSS中；只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较典型的冷热分层模式。数据冷热分层场景 由于OSS访问延迟是云盘介质访问延迟的几百倍，数据一旦冷存处理后，其访问性能...
多表连接
连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据（假定为a）的所有连接字段的值与另一张数据表某条数据（假定为b）的所有连接字段的值相同，则这a、b两条数据成功连接。多表连接算子支持指定多张数据表...
下拉单选
④数据字段：下拉菜单选择所选数据表中的 某一个数据字段。⑤默认值：根据设置 数据字段内容 进行下拉选择。⑥自动关联字段ID值：选择是否自动关联字段ID值，勾选后即配置 控件的选项展示名称 关联 对应的ID值字段。来源于 选择 数据集。①...
LOB大字段独立冷存
本文介绍如何将一张表中的某个LOB字段从基表中分离出来并转为冷存，同时访问透明，以达到单张表中按字段维度进行冷热分离。操作步骤 创建包含大字段的表。这里以text类型为例，其余类型大字段使用方法类似。db01=>CREATE TABLE blob_table...
ALTER DATABASE
如果想要修改时序数据库的指定属性，或为其添加新的数据库属性，您可以使用 ALTER DATABASE 语句。引擎与版本 ALTER DATABASE语法 仅适用于时序引擎。无版本限制。语法 alter_database_statement:=ALTER DATABASE database_identifier[WITH...
SQL其他常见问题
如何将开发环境的表数据同步至生产环境的表中？如何判断一个字段是否为空？是否可以通过DataWorks的Shell节点调取MaxCompute SQL？如何在SQL中实现循环？如何在SQL中调用赋值节点？SQL作业查看 如何查看MaxCompute日执行的所有SQL？如何...
数据扫描和识别
DSC 扫描数据库类型和数据表类型数据源中的字段名称和字段值，同时根据字段名称和值综合判断该数据是否为敏感数据。例如：年龄数据。如果只通过字段值无法判断数据是否敏感，DSC 会结合数据源列中的字段名称和对应的数值来综合判断。首次...
CREATE EXTERNAL DATABASE
AnalyticDB MySQL 湖仓版（3.0）和 数仓版（3.0）支持通过 CREATE EXTERNAL DATABASE 创建外部数据库。注意事项 湖仓版（3.0）Spark引擎不支持通过 CREATE EXTERNAL DATABASE 创建外部数据库，请使用XIHE引擎。外部数据库中只能创建外表。...
配置规则：按模板（批量）
单击 添加字段，在弹出的对话框中，选择目标 引擎/数据库实例，待添加表 区域为您展示当前引擎/数据库中的所有表信息，选中要配置监控规则的字段所在的表后，选择字段 区域为您展示已添加表中的所有字段信息，支持您根据 字段名 和 字段...
通过DMS管理数据库账号
'serverKey':"ryRAcj6zomYiHJqhA9ObvuYALc3ZZ*"} },'roles':[{ 'role':"readAnyDatabase",'db':"admin"}]} 数据库账号的角色说明 所属数据库 角色 角色说明 所有数据库 readOnly 对所属数据库的只读权限。readWrite 对所属数据库的读写权限...
SQL窗口介绍
SQL窗口界面介绍 表 1.SQL窗口界面介绍 序号 区域 说明 ① 可视化操作区域 可视化地管理数据库：表 可查看当前数据库中的所有表，包含表的字段、字段类型、索引。也可以右键单击目标表，快捷编辑表结构、管理表、导出数据、导入数据、批量...
SAP HANA数据源
例如，执行前清空表中的旧数据：truncate table tablename。说明 当有多条SQL语句时，不支持SQL事务原子性。否 无 postSql 执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句。例如，...
配置资产数据
映射：当您所配置的数据源中的字段与资产的默认字段名称不一致时，可以在 映射 输入框中，输入您数据源中的字段，将这些字段映射到资产对应的字段上。无需修改数据源中的字段，就可以实现数据的实时匹配。状态：可实时展示资产的数据响应...
GetMetaTableDetailInfo-获取表的字段、索引等信息
true Position string 字段在表中的顺序。1 Nullable boolean 是否可空。取值：true：允许为空。false：不允许为空。false ColumnId string 字段 ID。191234849 DataLength long 字段长度。0 ErrorCode string 错误码。UnknownError ...
MongoDB数据导入
示例如下：重要 AnalyticDB for MySQL 的外表和MongoDB文档中的字段（field）名称、字段数量、字段顺序、数据类型必须相同。CREATE EXTERNAL TABLE adb_external_db.person(id int,name string,age int)ENGINE='MONGODB' TABLE_PROPERTIES=...
配置Teradata输出组件
使用限制 不支持写入Teradata数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照如下图操作指引，进入 Teradata输出配置 对话框。在 Teradata输出配置 对话框，...
配置SAP HANA输出组件
覆盖数据策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。解析方案 非必选项，选择输出数据前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句。输入字段 根据上游的输入，为您展示输入字段。输出字段 单击 ...
同步时源库为Db2 for LUW的注意事项及限制
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致同步结果不符合预期。在数据同步完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
结构同步
数据管理DMS 的结构同步功能支持对比不同数据库、指定表之间的表结构，产生差异化脚本并执行到目标数据库。适用于对比、同步多套数据库环境的表结构，例如生产库与测试库、不同的测试库、不同的生产库等。前提条件 支持的数据库类型如下：...
图层交互管理
添加字段 单击图层数据下的 添加字段，在当前数据表中选择需要添加的字段，单击 确定。删除字段 在图层数据下，选择需要删除的字段，单击 图标，删除当前字段。显示坐标 单击 显示图标 右侧的 图标，控制当前数据的经纬度坐标在标签上的...
无感集成（Zero-ETL）
配置库表字段，配置信息如下：库表字段配置 说明 示例值 数据库名称 选择已有的数据库。public 表名称 选择已有的数据表。table1 主键字段 已选数据表中的主键所在字段。id 分布键 数据表中的一个或多个字段，用来确定数据在分布式环境下的...
配置OceanBase输出组件
覆盖数据策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。解析方案 非必选项，选择输出数据前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句。输入字段 根据上游的输入，为您展示输入字段。输出字段 单击 ...
CREATE DATABASE
语法 CREATE DATABASE[IF NOT EXISTS][catalog_name.]db_name[COMMENT database_comment]参数说明 参数 是否必选 说明 catalog_name 否 指定该数据库的Catalog。db_name 是 数据库名。database_comment 否 数据库的注释信息。示例 创建一个...
配置MongoDB输出组件
表 选择数据输出的表。更新信息 填写更新信息。例如 {"isUpsert":"true","upsertkey"""unique_id"}。字段分隔符 填写字段之间的分隔符，如果不填写默认为英文逗号（,）。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示输出...
Babelfish简介
Single-DB模式 架构图：说明：该模式下，babelfish_db数据库中用户数据库的Schema名称与SQL Server中的相同。例如：通过TDS端口创建数据库DB_A，然后在DB_A下创建schema_A。在PostgreSQL的babelfish_db数据库中，Schema名称为：dbo和schema...
配置SAP HANA输出组件
覆盖数据策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。解析方案 非必选项，选择输出数据前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句。输入字段 根据上游的输入，为您展示输入字段。输出字段 单击 ...
- 产品推荐
- 这些文档可能帮助您