MySQL分库分表同步至Hologres（方案1.0）
为了便于在Hologres表里区分某条记录属于源端哪个物理库、物理表，则需要在Hologres表中添加上三个附加字段（src_datasource、src_database、src_table），标识某条记录的来源数据源实例、数据库以及表，这三个附加字段和物理表中的主键在...
管理加密规则
支持如下选项：所有数据库：表示当前规则对该集群中的所有数据库生效，此时右侧文本框中无需填入任何内容。包含：表示当前规则仅对目标数据库生效，此时右侧文本框中必须填入一个或多个数据库名称，多个名称间用英文逗号（,）分隔。表名 ...
MySQL分库分表同步至Hologres（方案2.0）
同时，为了便于在Hologres表里区分某条记录属于源端哪个物理库、物理表，则需要在Hologres表中添加上三个附加字段（src_datasource、src_database、src_table），标识某条记录的来源数据源实例、数据库以及表，这三个附加字段和物理表中的...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 离线管道...
替换数据集
您在应用模板市场的模板或有批量替换仪表板中所有组件的数据字段的需求时，如果报表中的组件数量较多，手动逐一更新数据将非常低效。您可考虑使用Quick BI数据替换功能，分为页面级数据替换、组件级数据替换，可提高搭建仪表板的效率，降低...
管理脱敏规则
支持如下选项：所有数据库：表示当前规则对该集群中的所有数据库生效，此时右侧文本框中无需填入任何内容。包含：表示当前规则仅对目标数据库生效，此时右侧文本框中必须填入一个或多个数据库名称，多个名称间用英文逗号（,）分隔。表名 ...
用户标签
用户标识是用户在该表中的唯一标识，可以唯一识别一个用户，表中不能有两行数据的用户标识一样。用户标识将以 图标表示。用户标识类型为用户标识对应的ID类型。在字段列表中，为不需要导入的字段关闭导入开关。关闭后，字段将无法参与任何...
质量规则模板类型
跨源两表字段统计值一致性比较 用于对跨数据源的两个表两个字段的复杂业务逻辑是否正确进行校验。稳定性 表稳定性校验 用于对表/分区的大小、行数的稳定性进行校验，统计结果和固定值进行比较。表波动性校验 用于对表/分区的大小、行数的...
质量规则模板类型
跨源两表字段统计值一致性比较 用于对跨数据源的两个表两个字段的复杂业务逻辑是否正确进行校验。稳定性 表稳定性校验 用于对表/分区的大小、行数的稳定性进行校验，统计结果和固定值进行比较。表波动性校验 用于对表/分区的大小、行数的...
多元索引最佳实践
meta映射表中字段与已创建的多元索引字段的关系如下：“用户1”有Keyword类型字段a、b、c，在meta映射表中对“用户1”记录一行数据，其中字段a映射为索引keyword_1、字段b映射为索引keyword_2、字段c映射为索引keyword_3，有Long类型字段...
两表交集
本文介绍两表交集算子的使用方法及注意事项。用途 两表交集算子可以将两张数据表按照设置的交集条件求取交集。...说明 如果两个来源节点存在相同的字段code，且被同时选中作为输出字段，系统会自动将后一个字段code进行重新命名。
概述
Create Table Like Mapping 我们通常的建表语句是要求填写好所有的字段信息的，比如在DLA里面建一个底层映射到MongoDB的表的语法是这样的：create external table person(id int,title varchar(127),age int,create_time timestamp);...
数据标准概述
例如，现有注册表和登录表两张表，注册表中存储了会员ID，字段名为 user_id，登录表中也存储了会员ID，字段名为 userid，此时针对会员ID这个数据创建统一的字段标准，例如指定数据处理的标准代码、指定字段的属性要求（例如字段的数据类型...
LOB大字段独立冷存
本文介绍如何将一张表中的某个LOB字段从基表中分离出来并转为冷存，同时访问透明，以达到单张表中按字段维度进行冷热分离。操作步骤 创建包含大字段的表。这里以text类型为例，其余类型大字段使用方法类似。db01=>CREATE TABLE blob_table...
基于RDS PostgreSQL的表设计入门
场景说明 某学校为方便学生在线上快捷选课、学期末快速统计成绩，计划建立一个学生选课系统，该系统后端数据库采用阿里云RDS PostgreSQL数据库，针对此场景，需要设计数据库相关表结构，数据库表中需要存储学生信息、课程信息以及成绩信息...
LOB大字段独立冷存
本文介绍如何将一张表中的某个LOB字段从基表中分离出来并转为冷存，同时访问透明，以达到单张表中按字段维度进行冷热分离。操作步骤 创建包含大字段的表。这里以text类型为例，其余类型大字段使用方法类似。db01=>CREATE TABLE blob_table...
安全中心
目前安全中心和数据管理中的申请或审批记录没有进行关联，如果需要查看在数据管理进行申请或审批的历史记录，请跳转至 数据管理 页面进行查看。是否可以通过安全中心的申请记录来回收权限？目前安全中心并非唯一的授权渠道，为了最大程度地...
结构设计
控制修改字段数据类型 控制修改索引风险 控制删除主键 控制删除索引 控制主键更改为索引 控制修改主键包含列 控制修改普通索引 控制新增索引类型 控制SQL执行风险 控制核心实例风险 控制表存储引擎 控制锁表/大表变更风险 审批规则校验 ...
BI分析模式数据面板功能介绍
数据条件系列映射样式配置 字段数据的条件逻辑配置完后，您可以为该字段数据改变包括尺寸、颜色和形状等，各个数据映射通道的样式配置，每个组件在数据条件系列面板内的映射样式配置都不同，您也可以通过组件默认样式配置面板中的方法或...
管理字段
字段是指某一个事物的一个特征，或者说是属性。本文为您介绍如何通过DDM管理字段。创建字段 主键是指唯一标识的一条记录，不能重复，不允许为空。表中，中央横线的上方创建的字段...在 字段编辑器 中选中目标字段，单击工具栏中的 删除字段。
导出字段标准通用信息
通过导出字段标准通用信息功能，搭配导入功能，您可以快速实现工作组间的字段标准通用信息迁移。本文介绍如何导出字段标准通用...其中，字段标准通用信息的全部参数信息请在第一个页签查看，字段标准通用信息的值域信息在两个页签都可以查看。
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
MongoDB数据导入
数据导入完成后，您可以使用SELECT语句查询 adb_demo.adb_import_test 表中的数据。SELECT*FROM adb_demo.adb_import_test;返回结果：+-+-+-+|id|name|age|+-+-+-+|1|james|10|2|bond|20|3|jack|30|4|lock|40|+-+-+-+查询MongoDB嵌套文档 ...
申请、续期和交还表权限
建议表中有敏感数据并且需要控制字段权限的时候使用。按照密级选择：勾选后，按照最高密级更新下方的勾选字段（没有数据分级代表-，也会被勾选上）。权限类型：根据表类型不同，申请的权限也不同。详细说明如下：表类型为 逻辑视图、物理...
导出字段标准通用信息
通过导出字段标准通用信息功能，搭配导入功能，您可以快速实现工作组间的字段标准通用信息迁移。本文介绍如何导出字段标准通用...其中，字段标准通用信息的全部参数信息请在第一个页签查看，字段标准通用信息的值域信息在两个页签都可以查看。
配置TiDB输出组件
选择Dataphin系统已配置的数据源，且数据源需同时具备以下两个条件：数据源的类型与输出组件的类型一致。执行 属性配置 的账号具有该数据源的同步写权限，如果没有权限，则需要申请数据源权限，详情请参见 管理数据源权限。同时您也可以...
申请、续期和交还表权限
建议表中有敏感数据并且需要控制字段权限的时候使用。按照密级选择：勾选后，按照最高密级更新下方的勾选字段（没有数据分级代表-，也会被勾选上）。权限类型：根据表类型不同，申请的权限也不同。详细说明如下：表类型为 逻辑视图、物理...
配置ClickHouse输出组件
如果您同时配置了 批量插入字节大小 和 批量条数 两个参数，则数据同步的速度取决于第一个达到预设值的参数。解析方案 解析方案用于自定义数据写入至ClickHouse数据源前和数据写入至ClickHouse数据源后的一些特殊处理。解析方案 包括 填写...
过滤条件不下推
filter_not_pushdown_columns=[test01.table01:id|product]*/示例2：以3.1.4及以上的内核版本为例，当前查询，包含数据库 test01 的表 table01 中字段 id、product，数据库 test02 的表 table03 中字段 key 的过滤条件不会下推。...
配置流程
例如A表中包含字段1、字段2和字段3，B表中包含字段2、字段3和字段4，对两张表通过做JOIN操作后，需要输出字段2和字段3，则需要在目标库侧创建做JOIN操作后的C表，C表中包含字段2和字段3。由于ETL功能暂不支持全量数据同步，所以您只能对...
从RDS MySQL数据库获取数据进行数据富化
rds_mysql(address="rds-host",username="mysql-username",password="xxx",database="xxx",table="xx",refresh_interval=60),"content","name")多行匹配 遍历RDS MySQL数据库表中的所有数据行，将匹配到的数据全部添加到指定字段中。...
创建及管理内部表
类别 参数 描述 基本属性 Hologres数据库 存放新建表的数据库。表名 新建表的表名称。描述 表的相关描述。字段 添加字段 单击即可添加字段。字段名 表中每一列的标识。数据类型 字段的属性。主键 确定列的唯一标识。可空 字段可以为空值。...
两表差集
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 否 HiveStorage 否 RDS/MySQL 否 Spark 否 使用说明 来源节点 两表差集算子必须指定两个 来源节点（又称为输入节点，每个来源节点可视为一张表），以求取这两个 来源节点 的...
配置TiDB输出组件
选择Dataphin系统已配置的数据源，且数据源需同时具备以下两个条件：数据源的类型与输出组件的类型一致。执行 属性配置 的账号具有该数据源的同步写权限，如果没有权限，则需要申请数据源权限，详情请参见 申请、续期和交还数据源权限。...
基本信息管理
基本信息管理包含字段管理、状态管理、角色管理及类型管理。在企业层级配置的基本数据可以被项目模板或者项目引入使用。1.字段管理 字段管理分为项目字段及工作项字段。支持字段新增、类型设置、删除、默认值设置（系统字段不支持编辑及...
T+1多库合并建仓
为保证业务可以继续使用RDS数据库，业务端通常会采用分库分表技术，将一个RDS数据库中的单张表数据拆分到多个数据库的多张表中。上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 通过离线...
数据接口配置说明
配置数据字段 在数据接口设置页签中，默认情况下系统会自动添加两个示例数据字段，您可以自定义按操作配置数据字段。操作 说明 编辑字段基本信息 每一个数据字段中包含多个字段参数内容，您可以自定义编辑字段的参数内容。字段名：输入数据...
全增量实时同步至Hologres
批量赋值：在列表底部选择 批量修改>目标表字段赋值 为目标表中相同的字段批量赋值。说明 在赋值时支持赋值常量与变量，您可通过 图标切换赋值模式。配置DML规则 数据集成提供默认DML处理规则，同时，您可以根据业务需要在此界面对写入...
配置MaxCompute输出组件
加载策略包括覆盖数据和追加数据，适用场景说明如下：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。（可选参数）分区 如果选择了分区表，则需要选择数据表的...
- 产品推荐
- 这些文档可能帮助您