标签层（v3.x版本）
数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些字段映射到组件对应的字段上。无需修改数据源中的字段，就可以实现数据的实时匹配。也可以单击 图标对字段分别样式配置。过滤器 打开 过滤器，...
漏斗图
数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些字段映射到组件对应的字段上。无需修改数据源中的字段，就可以实现数据的实时匹配。也可以单击 图标对字段分别样式配置。过滤器 打开 过滤器，...
数据总线DataHub
背景信息 阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish）、订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用，详情请参见 产品概述。说明 DataHub兼容Kafka...
2023/01/17 更新日志
二、自定义字段的优化 自定义字段在推出后受到客户的广泛使用，针对使用过程中遇到的问题，我们在本次更新对自定义字段做了两个方面的优化。我们将每个自定义字段对象的自定义字段数量从10个提升到30个，您现在能为每个自定义字段的对象...
导入MySQL数据
您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。使用限制 目前仅支持：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
通用参考
status字段的初始类型为VARCHAR|where cast(status as BIGINT)>=500-将status字段的类型转为BIGINT，再进行比较 类型保持 在SPL处理数据过程中，使用extend指令对字段进行数据类型转换后，后续的处理逻辑将沿用转换后的数据类型。...
ST_ImportObj
将基于对象存储或内存格式的Obj文件导入到数据库中。语法 boolean ST_ImportObj(text table_name,text url,text id,text options default '{}');boolean ST_ImportObj(text table_name,bytea content,text id,text options default '{}');...
ST_ImportObj
将基于对象存储或内存格式的Obj文件导入到数据库中。语法 boolean ST_ImportObj(text table_name,text url,text id,text options default '{}');boolean ST_ImportObj(text table_name,bytea content,text id,text options default '{}');...
元数据
背景信息 元数据（字典）是属于数据库本身的一些数据，包含数据库名、数据库字符集、表名、表的大小、表的记录行数、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于 information_...
敏感数据保护概览
RDS MariaDB、其他来源MariaDB PolarDB PostgreSQL版（兼容Oracle）PolarDB分布式版 OceanBase Oracle DB2 达梦数据库 Lindorm：Lindorm_CQL、Lindorm_SQL OpenGauss 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA（Data Lake...
飞线层（v4.x版本）
数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些字段映射到组件对应的字段上。无需修改数据源中的字段，就可以实现数据的实时匹配。也可以单击 图标对字段分别样式配置。过滤器 打开 过滤器，...
OCR&文档自学习FAQ
模板项目支持“项目管理员”角色，模型支持“项目管理员”、“标注人员”、“质检人员”三类角色。...创建标注任务后，任务分组规则是怎么样的...针对部分版式较复杂、参考字段较少、文字较多的数据类型，仍然需要标注参考字段以优化识别准确率。
ALIYUN:DATAHUB:Topic
RecordType String 是 否 类型 取值：TUPLE：结构化数据 BLOB：非结构化数据 ProjectName String 是 否 项目名称 无 RecordSchema String 否 否 Schema详情 创建TUPLE类型Topic时指定该参数，创建BLOB类型时不指定。TopicName String 是 否...
RDS MariaDB实例间的数据迁移
操作步骤 使用客户端工具 登录目的MariaDB实例，创建空数据库。在CentOS 7使用自带的mysqldump工具将源MariaDB实例的数据库导出为数据文件。mysqldump-h<源实例外网地址>-P<源实例端口>-u<源实例高权限账号>-p<源实例高权限账号密码>-opt-...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
查看数据探查报告及探查记录
数据探查任务运行结束后，您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 说明 超级管理员和运营...
填报控件
说明 通过 数据集 方式创建日期字段的默认格式YYYYMMDD，日期控件 的默认格式为YYYY-MM-DD，报表内日期格式不同时将会执行失败，若您需要达成格式一致，请参考下图：报表左侧悬浮栏内，单击 编辑数据集表格，选中 日期字段 中 选项，在 ...
DBMS_CRYPTO
DBMS_CRYPTO 包提供的函数和存储过程允许您对RAW、BLOB或CLOB数据进行加密或解密。您可以使用 DBMS_CRYPTO 函数来产生强加密型随机值。DBMS_CRYPTO函数/存储过程 函数/存储过程 返回类型 描述 DECRYPT(src,typ,key,iv)RAW 解密RAW类型的...
数据类型
重要 Lindorm CQL支持的blob数据类型与Lindorm SQL支持的blob数据类型不同，限制与使用方法也不相同。Lindorm SQL支持的blob数据类型，请参见 BLOB数据类型（邀测中）。boolean boolean 取值为 true 或者 false。counter integer Counter列...
日志字段详情
db_name 数据库名称 db_type 数据库类型，包括MySQL、PostgrepSQL。db_version 数据库版本 instance_id 集群ID lock_time 锁等待的耗时，单位：秒。owner_id 阿里云账号ID query_sql 慢日志SQL语句 query_time 查询耗时，单位：秒。region ...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
新建表
关联数据库（MySQL 模式下）使用 外键约束 时需指定关联表（父表）所在的数据库。关联表 使用 外键约束 时需指定关联表（父表）。关联字段 使用 外键约束 时需指定关联字段（父表）。删除 指定删除关联表（父表）中的数据时，当前表（子表...
Schema约束
强约束 与传统关系型数据库类似，时序引擎会严格依据预先定义的表结构对写入数据的表名、字段名、数据类型进行校验。不匹配则写入失败。弱约束 写入数据的表不存在时，时序引擎不会报错，而是会自动创建对应的表。写入数据的新增一个标签...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
配置MaxCompute输出
大数据计算服务MaxCompute（原名ODPS）为您提供完善的数据导入方案，能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步能力说明。背景信息 写入数据不支持...
字段操作
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，ALTER TABLE DDL 字段操作支持的转换范围。总览 ALTER TABLE tbl_name[alter_option[,alter_option].]alter_option:{ ADD[COLUMN]col_name column_definition[FIRST...
数据迁移服务隐藏列机制说明
源端 目标端 参考文档 OceanBase 数据库 MySQL 租户 OceanBase 数据库 MySQL 租户 OceanBase 数据库之间的数据迁移 OceanBase 数据库 Oracle 租户 OceanBase 数据库 Oracle 租户 OceanBase 数据库之间的数据迁移 OceanBase 数据库 Oracle ...
结构设计
校验某些字段是否存在 保存编辑，校验字段 新增字段，禁止字段名为关键字 新增字段，字段必须填写备注 新增字段，限制字段名大小写 原有表新增非空字段必须明确指定默认值 原有字段，可空改为非空必须明确指定默认值 限制新增主键字段必须...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
产品月度更新总览
【体验优化】合并请求增加合并后的操作反馈【功能优化】优化三方代码库本地导入工具【功能优化】企业内公开库评论支持提及企业内其他成员。【体验优化】代码加密无法获取密钥时的报错信息优化。【openapi】OpenAPI查询单文件，增加文件大小...
一键实时同步至AnalyticDB for MySQL 3.0
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
管理敏感数据
支持的数据库：关系型数据库：MySQL、SQL Server、PostgreSQL、MariaDB、Oracle、达梦数据库（DamengDB）、PolarDB PostgreSQL版（兼容Oracle）、PolarDB分布式版、OceanBase、DB2、Lindorm_CQL、Lindorm_SQL、OpenGauss。数据仓库：...
DataSource
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
DataSource
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
配置值转化
您可以通过值转化节点将解析任务的流转消息中某个字段，转化为另一个值，该值可以输出到原字段或新定义的字段。通过该节点转化生成多样化的数据，可用于后续分析或输出。应用场景 场景一：转化值到原字段。某大棚使用传感器上报光照度（lux...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
分布式序列
配置分表规则 在数据库中添加 dbp_sequence 表的分表规则，以下是以 100 个分片 100 个分表，以 sharding_col 字段 hash 规则为示例：全局序列 通过配置分布式序列，获取全局序列的核心步骤如下：在 DB 中创建 dbp_sequence 表。...
区域热力层（v3.x版本）
数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些字段映射到组件对应的字段上。无需修改数据源中的字段，就可以实现数据的实时匹配。也可以单击 图标对字段分别样式配置。过滤器 打开 过滤器，...
- 产品推荐
- 这些文档可能帮助您