ST_ImportObj
将基于对象存储或内存格式的Obj文件导入到数据库中。语法 boolean ST_ImportObj(text table_name,text url,text id,text options default '{}');boolean ST_ImportObj(text table_name,bytea content,text id,text options default '{}');...
算子
DataBase 扫描的数据所属数据库名。FilterPushDown 过滤条件是否下推到存储节点。说明 仅当当前Stage中存在过滤条件下推时才会展示该属性。PushedDownFilter 下推到存储节点的过滤条件。说明 仅当当前Stage中存在过滤条件下推时才会展示该...
敏感数据保护概览
RDS MariaDB、其他来源MariaDB PolarDB PostgreSQL版（兼容Oracle）PolarDB分布式版 OceanBase Oracle DB2 达梦数据库 Lindorm：Lindorm_CQL、Lindorm_SQL OpenGauss 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA（Data Lake...
ALIYUN:DATAHUB:Topic
RecordType String 是 否 类型 取值：TUPLE：结构化数据 BLOB：非结构化数据 ProjectName String 是 否 项目名称 无 RecordSchema String 否 否 Schema详情 创建TUPLE类型Topic时指定该参数，创建BLOB类型时不指定。TopicName String 是 否...
呼吸气泡层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
RDS MariaDB实例间的数据迁移
操作步骤 使用客户端工具 登录目的MariaDB实例，创建空数据库。在CentOS 7使用自带的mysqldump工具将源MariaDB实例的数据库导出为数据文件。mysqldump-h<源实例外网地址>-P<源实例端口>-u<源实例高权限账号>-p<源实例高权限账号密码>-opt-...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
填报控件
说明 通过 数据集 方式创建日期字段的默认格式YYYYMMDD，日期控件 的默认格式为YYYY-MM-DD，报表内日期格式不同时将会执行失败，若您需要达成格式一致，请参考下图：报表左侧悬浮栏内，单击 编辑数据集表格，选中 日期字段 中 选项，在 ...
DBMS_CRYPTO
DBMS_CRYPTO 包提供的函数和存储过程允许您对RAW、BLOB或CLOB数据进行加密或解密。您可以使用 DBMS_CRYPTO 函数来产生强加密型随机值。DBMS_CRYPTO函数/存储过程 函数/存储过程 返回类型 描述 DECRYPT(src,typ,key,iv)RAW 解密RAW类型的...
日志字段详情
db_name 数据库名称 db_type 数据库类型，包括MySQL、PostgrepSQL。db_version 数据库版本 instance_id 集群ID lock_time 锁等待的耗时，单位：秒。owner_id 阿里云账号ID query_sql 慢日志SQL语句 query_time 查询耗时，单位：秒。region ...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
分析概述
字段值大小 单个字段值最大长度为16 KB（16384字节），超出部分不参与分析。说明 默认支持的字段值最大长度为2048字节，即2 KB。如果您需要修改字段值的最大长度，可设置 统计字段（text）最大长度。具体操作，请参见 设置字段值的最大长度...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
新建表
关联数据库（MySQL 模式下）使用 外键约束 时需指定关联表（父表）所在的数据库。关联表 使用 外键约束 时需指定关联表（父表）。关联字段 使用 外键约束 时需指定关联字段（父表）。删除 指定删除关联表（父表）中的数据时，当前表（子表...
矢量散点层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
呼吸气泡层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
Schema约束
强约束 与传统关系型数据库类似，时序引擎会严格依据预先定义的表结构对写入数据的表名、字段名、数据类型进行校验。不匹配则写入失败。弱约束 写入数据的表不存在时，时序引擎不会报错，而是会自动创建对应的表。写入数据的新增一个标签...
配置MaxCompute输出
大数据计算服务MaxCompute（原名ODPS）为您提供完善的数据导入方案，能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步能力说明。背景信息 写入数据不支持...
字段操作
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，ALTER TABLE DDL 字段操作支持的转换范围。总览 ALTER TABLE tbl_name[alter_option[,alter_option].]alter_option:{ ADD[COLUMN]col_name column_definition[FIRST...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
一键实时同步至AnalyticDB for MySQL 3.0
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
管理敏感数据
支持的数据库：关系型数据库：MySQL、SQL Server、PostgreSQL、MariaDB、Oracle、达梦数据库（DamengDB）、PolarDB PostgreSQL版（兼容Oracle）、PolarDB分布式版、OceanBase、DB2、Lindorm_CQL、Lindorm_SQL、OpenGauss。数据仓库：...
备份恢复性能说明
测试环境 配置项 配置内容 数据库类型 RDS MySQL（通用型）数据库内存 2,400M 数据库CPU 8核 数据库IOPS 1,200 测试数据 测试数据 说明 数据示例 数据库大小 测试数据库的总大小，单位为GB。102 GB 总记录数 测试数据库中所有表的总记录...
DataSource
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
DataSource
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
配置值转化
您可以通过值转化节点将解析任务的流转消息中某个字段，转化为另一个值，该值可以输出到原字段或新定义的字段。通过该节点转化生成多样化的数据，可用于后续分析或输出。应用场景 场景一：转化值到原字段。某大棚使用传感器上报光照度（lux...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
分布式序列
配置分表规则 在数据库中添加 dbp_sequence 表的分表规则，以下是以 100 个分片 100 个分表，以 sharding_col 字段 hash 规则为示例：全局序列 通过配置分布式序列，获取全局序列的核心步骤如下：在 DB 中创建 dbp_sequence 表。...
过滤条件不下推
filter_not_pushdown_columns=[test01.table01:id|product]*/示例2：以3.1.4及以上的内核版本为例，当前查询，包含数据库 test01 的表 table01 中字段 id、product，数据库 test02 的表 table03 中字段 key 的过滤条件不会下推。...
限制账号只能访问指定表、视图、字段
授权查询数据库中的视图 grant select on<数据库名>.<视图名>to<用户名>;示例 授权用户test01查询数据库rds001的视图view_test1。grant select on rds001.view_test1 to test01;授权更新或查询表中的字段 grant update(<字段名>)on table...
日志字段详情
字段 说明_topic_日志主题，固定为mongo_audit_log audit_type 日志类型，例如Command coll 数据集合 db 数据库名称 docs_examined 文档扫描行数 instanceid MongoDB实例ID keys_examined 索引扫描行数 latency 消耗时间 optype 操作类别 ...
表详情
前提条件 数据库类型为关系型数据库或数据仓库。更多信息，请参见 支持的数据库类型。目标实例的管控模式为安全协同。更多信息，请参见 管控模式。您具有如下任意权限：您的角色为管理员、DBA或结构只读，更多信息，请参见 系统角色。您为...
配置本地文件输入组件
本地文件输入组件可用于将本地文件的TXT、excel、CSV格式的数据。同步至其他数据源的场景中。本文为您介绍如何配置本地文件输入组件。使用限制 仅支持手动任务配置本地文件输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道...
字段加工
用途 字段加工算子可以将节点的数据进行逻辑加工，然后作为输出字段在之后的节点使用。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 加工逻辑 对于需要加工的字段，需要输入字段...
操作流程
新建逻辑表 手动新建逻辑表 通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。具体操作，请参见 手动新建逻辑表。通过...
配置离线数据集成节点
功能特性 不限制来源表和目标表数据库类型。支持字段映射，包含修改源表和目标表字段的命名和类型映射。可配置并发迁移数据。支持通过WHERE语句，对迁移数据进行预过滤。支持前置及后置SQL语句，在导入数据前后实现数据处理。使用限制 系统...
数据集填报
选择 已有表 为对应的 控件 选择写入的 表字段名，将自动匹配表字段名的 字段描述、字段类型，您也可以自定义设置该字段是否为 主键。您可以 添加 和 删除 字段映射行。选择 新建表 您可以新建一张物理表，并自定义填写 表名、表字段名、...
设置数据库索引
使用数据库时，对成为查询条件的字段设置索引可以有效提高查询效率，更快的获取信息。缺省情况下会对_id_字段默认创建一个非唯一索引。前提条件 创建数据表 添加记录 操作步骤 登录 EMAS管理控制台。查找您的项目，单击项目，进入EMAS 概览...
操作流程
新建逻辑表 手动新建逻辑表 通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。具体操作，请参见 手动新建逻辑表。通过...
- 产品推荐
- 这些文档可能帮助您