从RDS MySQL数据库获取数据进行数据富化
rds_mysql(address="rds-host",username="mysql-username",password="xxx",database="xxx",table="xx",refresh_interval=60),"content","name")多行匹配 遍历RDS MySQL数据库表中的所有数据行，将匹配到的数据全部添加到指定字段中。...
通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
SQL数据类型映射
本文介绍了SQL中字段数据类型、数据表中字段数据类型和多元索引中字段数据类型的映射关系。使用SQL过程中请确保SQL中和数据表中字段数据类型相匹配。重要 SQL中主键列的数据类型使用VARBINARY和VARCHAR时，建议最大长度设置为1024，即使用...
关联数据
对象组功能可以帮您管理数据库中表和字段的集合。如果自定义规则需要对固定的数据库对象生效，您可以通过新增对象组，直接在自定义规则中使用新增对象组。以下步骤介绍如何新增对象组。登录数据库审计系统。具体操作，请参见 登录数据库...
FieldSchema
重要 字段名称必须与数据表中的字段名称相同。field_type FieldType 是 字段类型。更多信息，请参见 数据类型映射。重要 多元索引的字段类型必须与数据表中字段类型相匹配。analyzer string 否 分词器类型。默认值为单字分词。当字段类型为...
mysql_fdw
说明 外部表的字段名要与MySQL数据库中表的字段名相同，同时可以仅创建您想要查询的字段。例如，MySQL数据库中的表有3个字段ID、NAME、AGE，您可以仅创建其中2个字段ID、NAME。CREATE FOREIGN TABLE<表名>(<字段名><数据类型>,<字段名>...
mysql_fdw
说明 外部表的字段名要与MySQL数据库中表的字段名相同，同时可以仅创建您想要查询的字段。例如，MySQL数据库中的表有3个字段ID、NAME、AGE，您可以仅创建其中2个字段ID、NAME。CREATE FOREIGN TABLE<表名>(<字段名><数据类型>,<字段名>...
数据类型映射
多元索引的字段值来源于数据表中同名字段的值，两者的数据类型必须相匹配，多元索引字段数据类型与数据表中字段数据类型的匹配关系请参见下表。注意 表中的类型必须一一对应，否则数据会被当做脏数据丢弃，尤其是Geo-point和Nested拥有各自...
创建单物理表服务单元
您需要根据业务数据表中字段的类型选择对应的参数类型。如果业务数据表的字段类型不在待选参数类型范围内，推荐 您选择String。服务单元字段 支持自定义勾选部分源表字段作为服务单元字段，对源表新增字段也可在编辑时添加勾选。配置数据源...
虚拟列
重要 创建虚拟列时，原始字段名必须在数据表中存在，且原始字段的数据类型必须和虚拟列的字段类型相匹配。单击 添加索引字段。输入 字段名 和 字段类型。打开字段对应 虚拟 列的开关，并输入 原始字段名。如果要配置多元索引的路由键、数据...
通过控制台使用多元索引
注意事项 创建多元索引时，多元索引中字段的数据类型必须与数据表中字段的数据类型相匹配。更多信息，请参见 数据类型映射。如果要修改为指定数据生命周期（即取值不为-1），则您必须禁用数据表的UpdateRow更新写入功能。同时多元索引的TTL...
配置IBM DB2输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
配置IBM DB2输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
数据表管理
更新从数据库导入的数据表 字段同步 当数据库中新增或删除有关列的字段后，通过 同步字段 功能，系统会自动检测数据库中的字段变更内容，并可根据实际业务需求选择是否对有关元数据做字段变更同步。具体操作如下：选择 知识中心>数据问答>...
扩展字段
可编辑：用户可以对自己在该字段中的值进行查看和编辑。可编辑。填写扩展字段 创建完新字段，确保字段处于启用状态后，即可使用。管理员可以来到【账户与组织】菜单，点击【创建账户】按钮。在弹出的表单上方，即可切换到【扩展字段】标签...
配置ClickHouse输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或有 索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时每条并发SQL语句...
配置Oracle输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
字典编码Dictionary Encoding
如果您数据表中字段的基数相对较小，使用字典编码可以提高数据的压缩率，以减少数据存储量和提高查询性能。Hologres支持对指定字段进行字典编码，本文为您介绍在Hologres中设置字典编码的命令及原理。Dictionary Encoding介绍 字典编码可以...
配置AnalyticDB for PostgreSQL输入组件
切分建 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或有 索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
配置Vertica输入组件
切分建 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。...
配置Vertica输入组件
切分建 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。...
配置OceanBase输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
配置OceanBase输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
限制账号只能访问指定表、视图、字段
授权更新或查询表中的字段 grant update(<字段名>)on table<表名>to<用户名>;授权更新表中字段 grant select(<字段名>)on table<表名>to<用户名>;授权查询表中字段 示例 授权用户test01更新表testtable的字段testid。grant update(testid)...
配置目标节点
如果已选择自定义存储表已包含字段，输出字段必须是目标自定义存储表中存在的字段（字段定义一致），且包含目标自定义存储表中的主键。如果不满足以上要求，需返回目标节点之前的处理节点，修改输出字段符合目标自定义存储表中字段要求。...
手动新建逻辑表
添加关联字段信息：单击 更多>添加关联字段信息，可给表中已有字段设置关联的字段，方便查看他们的约束关系，举例：给速度字段添加时间或者路程字段的关联关系。（可选）配置 关联字段标准 的值，当数据标准中设置了标准字段，可使用数据...
手动新建逻辑表
添加关联字段信息：单击 更多>添加关联字段信息，可给表中已有字段设置关联的字段，方便查看他们的约束关系，举例：给速度字段添加时间或者路程字段的关联关系。（可选）配置 关联字段标准 的值，当数据标准中设置了标准字段，可使用数据...
行级管控
数据管理DMS行级管控可实现所有已接入DMS的非NoSQL数据库类型的统一行级权限管控，可以解决不同人员只允许访问不同数据行的问题。例如，销售经理只能查看本人所负责地域的数据，不能查看全部地域数据。前提条件 实例的管控模式为安全协同。...
资源函数
base_retry_back_off=1,max_retry_back_off=60,primary_keys=None,use_ssl=false,update_time_key=None,deleted_flag_key=None)说明 日志服务还支持通过res_rds_mysql函数从AnalyticDB MySQL数据库、PolarDB MySQL数据库拉取数据，您只需将...
数据准备与预处理
本示例的数据预处理主要包括三个处理流程：将原始数据表中，取值为非数值类型的字段，通过SQL替换为数值类型的取值，以保证此预处理后，表中所有字段的取值都是数值类型。将表中字段转换为double类型，以保证此预处理后，表中字段均满足...
使用canal同步
源表和目标Tablestore表中字段映射 canal支持源表到目标Tablestore表的字段名称以及字段类型映射，对应于dbMapping.targetColumns字段中的映射配置。支持作为目标类型配置在$后面的字段类型请参见下表。源表中字段类型 目标Tablestore表中...
创建多元索引
在数据表上创建一个多元索引后，您可以根据多元索引中建立索引的字段来查询数据表中的数据。一张数据表可以创建多个多元索引。最佳使用方式 请根据实际查询需求确定在一张数据表中创建多元索引的个数。例如有一张数据表有5个字段，分别为id...
DMS分类分级扫描原理介绍
DMS分类分级扫描能够对数据库中的敏感数据进行检测，并自动为符合识别规则的字段打上相应的分类分级标签，还可以保护高敏感等级的字段，并将敏感字段直观地展示在识别结果中。本文介绍DMS敏感数据保护分类分级扫描功能的原理。原理介绍 DMS...
配置ClickHouse输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或有 索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时每条并发SQL语句...
搜索增强
开启后，系统会自动校验，若源数据表中字段和系统自动扩展字段中的“title、content、parent、hier_title、nid”有重复，则需退出流程，更改字段名称。文件存储类型 现支持OSS和HTTP两类数据。文件路径字段 此字段用于获取存在oss中文件...
多元索引最佳实践
meta映射表中字段与已创建的多元索引字段的关系如下：“用户1”有Keyword类型字段a、b、c，在meta映射表中对“用户1”记录一行数据，其中字段a映射为索引keyword_1、字段b映射为索引keyword_2、字段c映射为索引keyword_3，有Long类型字段...
创建多元索引
注意事项 创建多元索引时，多元索引中字段的数据类型必须与数据表中字段的数据类型相匹配。更多信息，请参见 数据类型映射。如果要修改为指定数据生命周期（即取值不为-1），则您必须禁用数据表的UpdateRow更新写入功能。同时多元索引的TTL...
RDS全增量同步
LTS、云数据库HBase迁移集群、RDS实例的网络已连通（都在同一个VPC中可以跳过）。功能列表 RDS数据全增量一体同步到Lindorm宽表模型（兼容HBase访问）。RDS数据变换，请参见 配置说明。RDS多表同步。使用限制 RDS全量同步支持数据源MySQL。...
配置Teradata输入组件
切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或有 索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句...
分区
分区表是指拥有分区空间的表，即将表数据按照某个列或多个列进行划分，从而将表中的数据分散存储在不同的物理位置上。合理设计和使用分区，可以提高查询性能、简化数据管理，并支持更灵活的数据访问和操作。概述 分区可以理解为分类，通过...
- 产品推荐
- 这些文档可能帮助您