配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
系统表
字段说明：字段 说明 schema 数据库名称。last_active_time 上次活跃时间。create_time 建立连接的时间。connection_id 连接ID。ip_port AnalyticDB for MySQL 接入层节点IP和端口号。access_ip 客户端IP。user 用户名。kepler_persist_...
配置Hive输出组件
重要 为了保证数据写入Hive时数据会出错，输出字段必须和输入组件的字段全部映射。快速映射 映射关系用于将源表的输入字段和目标表的输出字段映射起来，便于后续进行数据同步。映射关系包括同名映射和同行映射。适用场景说明如下：同名映射...
库表
AnalyticDB MySQL 是分布式数据库，数据需要根据分布字段均匀地分布在各个后台节点才能保证尽可能高的利用资源。分布字段选择不合理，会导致写入时存在热点，降低写入性能。分区字段合理性。AnalyticDB MySQL 后台以分区为粒度进行数据存储...
Quick BI数据集报错“Column 'xxx' cannot be ...
解决方案 根据报错提示的字段名称，或者批量排查（报错信息一次只报一个字段名称），找到已经不存在的字段（可能数据库里更新了表结构，也可能修改过建数据集的SQL，导致该字段被删除，或者改了其他名字），删除该字段，然后保存后再预览...
敏感数据保护概览
RDS MariaDB、其他来源MariaDB PolarDB PostgreSQL版（兼容Oracle）PolarDB分布式版 OceanBase Oracle DB2 达梦数据库 Lindorm：Lindorm_CQL、Lindorm_SQL OpenGauss 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA（Data Lake...
算子
DataBase 扫描的数据所属数据库名。FilterPushDown 过滤条件是否下推到存储节点。说明 仅当当前Stage中存在过滤条件下推时才会展示该属性。PushedDownFilter 下推到存储节点的过滤条件。说明 仅当当前Stage中存在过滤条件下推时才会展示该...
通用参考
数据错误不会影响SPL整个执行过程，SPL语句仍会返回处理的结果，出错的字段的值为 null 值。可以根据实际情况忽略此类错误。运行超时 SPL语句中包含不同的指令，不同的指令在不同的数据场景下消耗的时间不同。当SPL整个语句的执行时间超过...
查询合并请求列表
ListMergeRequests 该接口用于查询合并请求列表 请求方式：GET/api/v4/merge_requests/advanced_search 请求Action：ListMergeRequests 请求参数：参数名 类型 说明 是否必须 默认值 Page long 页数，最小值为1 否 1 PageSize long 每页条...
管理敏感数据
页面介绍 元数据信息汇总：可查看实例中数据库相关信息，包括 数据库数量、已扫描的 表数量、已扫描的 字段数量 以及 涉敏字段数量。涉敏字段-法案分布：可查看数据库中的敏感字段涉及哪些法案或政策，以及相关敏感字段的数量和分布情况。...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
Quick BI能否基于数据集新建字段再创建新字段
概述 本文主要介绍Quick BI能否基于数据集新建字段再创建新字段。详细信息 Quick BI不能基于数据集新创建的字段再创建新字段。可以使用数据库中的字段使用多个函数来创建新字段达到想要的结果。适用于 Quick BI
搜索增强
是否关联文件数据 当接入数据源同时存在文件类型及数据库类型数据时，且“文件路径字段”和“文件类型字段”都是数据库中的字段，需要开启“关联文件数据”功能，可以参考最佳实践说明。开启后，系统会自动校验，若源数据表中字段和系统...
日志字段详情
字段 说明_topic_日志主题，固定为mongo_audit_log audit_type 日志类型，例如Command coll 数据集合 db 数据库名称 docs_examined 文档扫描行数 instanceid MongoDB实例ID keys_examined 索引扫描行数 latency 消耗时间 optype 操作类别 ...
管理敏感数据
支持的数据库：关系型数据库：MySQL、SQL Server、PostgreSQL、MariaDB、Oracle、达梦数据库（DamengDB）、PolarDB PostgreSQL版（兼容Oracle）、PolarDB分布式版、OceanBase、DB2、Lindorm_CQL、Lindorm_SQL、OpenGauss。数据仓库：...
控制台错误日志说明
字段将补充默认值 字段类型转换场景 如果用户的数据源数据类型与schema配置类型无法进行转换则报错 73016 文档总数超过应用配额 数据写出场景 应用实际存储超配额 7523 字符串连接插件处理出错，推送失败，请检查后重试。字符串拼接插件 ...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
DataSource
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
DataSource
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
Map映射函数和运算符
示例 日志服务数据加工日志中 etl_context 字段值和 progress 字段值都为map类型，您可以使用map_concat函数将这两个字段值合并为一个Map。字段示例 etl_context:{ project:"datalab-148*6461-...
TongyiBeebotChat
字段详见 RelatedQuestion字段释义 Sentence字段释义 字段名 类型 描述 Content String 文本内容 ReferNumber Integer 引用的序号 AnswerReference字段释义 字段名 类型 描述 ItemList Array of Item 引用内容列表 Item字段释义 字段名 ...
Schema约束
强约束 与传统关系型数据库类似，时序引擎会严格依据预先定义的表结构对写入数据的表名、字段名、数据类型进行校验。不匹配则写入失败。弱约束 写入数据的表不存在时，时序引擎不会报错，而是会自动创建对应的表。写入数据的新增一个标签...
DB2数据源
jdbcUrl":"jdbc:db2:/ip:port/database",/DB2数据库的JDBC连接信息。column":["id"],"batchSize":1024,/一次性批量提交的记录数大小。table":"",/表名。username":"",/用户名。preSql":[]/执行数据同步任务之前执行的SQL语句。},"name...
分布式序列
配置分表规则 在数据库中添加 dbp_sequence 表的分表规则，以下是以 100 个分片 100 个分表，以 sharding_col 字段 hash 规则为示例：全局序列 通过配置分布式序列，获取全局序列的核心步骤如下：在 DB 中创建 dbp_sequence 表。...
一键实时同步至AnalyticDB for MySQL 3.0
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
搜索
数据库 可组合查询数据库名，如：DB1 DB2 DB3。操作类型 选择需要查询的操作类型，可多选。说明 您可 开启高级查询 输入更多信息以缩小搜索范围。单击 查询，即可看到 日志列表 中 SQL语句 的具体信息。说明 单击 导出，勾选需要的 导出...
配置威胁检测规则
在威胁检测数据库匹配指定字段，如果命中返回true。NOT_IN_IP_DATASET：与数据集的主键进行匹配。需要指定数据集的主键为IP类型字段，支持IP地址和CIDR格式。IN_IP_DATASET：与数据集的主键进行匹配。需要指定数据集的主键为IP类型字段，...
常见问题
可以排查数据集中新建计算字段的表达式中是否引用了其他计算字段，注意计算字段表达式中只能使用数据库中原始字段，不能引用之前创建的计算字段，您也可以使用前计算字段的表达式来代替。日期类型的字段，在不转换文本的情况下是否支持...
控制台错误日志说明
字段将补充默认值 字段类型转换场景 如果用户的数据源数据类型与schema配置类型无法进行转换则报错 73016 文档总数超过应用配额 数据写出场景 应用实际存储超配额 7523 字符串连接插件处理出错，推送失败，请检查后重试。字符串拼接插件 ...
通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
多轮对话搜索
是否关联文件数据 当接入数据源同时存在文件类型及数据库类型数据时，且“文件路径字段”和“文件类型字段”都是数据库中的字段，需要开启“关联文件数据”功能，可以参考最佳实践说明。开启后，系统会自动校验，若源数据表中字段和系统...
手动新建逻辑表
通过手动新建逻辑表，建立您期望的数据表样式和字段，并支持将逻辑表物理化至云计算资源中，为后续...说明 删除逻辑表不会同时删除数据库中已生成的物理表。后续步骤 创建完逻辑表以后，需要将逻辑表物理化，更多信息，请参见 物理化逻辑表。
RDS for MySQL字符集相关说明
修改数据库的字符集 create database db_name character set utf8;创建数据库时指定字符集 alter table tab_name default charset utf8 collate utf8_general_ci;修改表字符集和字符序 示例如图：控制台修改字符集参数（character_set_...
手动新建逻辑表
通过手动新建逻辑表，建立您期望的数据表样式和字段，并支持将逻辑表物理化至云计算资源中，为后续...说明 删除逻辑表不会同时删除数据库中已生成的物理表。后续步骤 创建完逻辑表以后，需要将逻辑表物理化，更多信息，请参见 物理化逻辑表。
EXTRACT
函数EXTRACT用于从日期/时间字段中获取像年份或小时这样的子字段。函数EXTRACT返回值的类型是DOUBLE PRECISION。YEAR 表示年的字段。SELECT EXTRACT(YEAR FROM TIMESTAMP '2001-02-16 20:38:40')FROM DUAL;date_part-2001(1 row)MONTH 表示...
云数据库 RDS MySQL 版如何查看表的主键字段
概述 本文介绍云数据库 RDS MySQL 版查看表主键字段的方法。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改...
Hive采集字段
简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数...
Quick BI新建计算字段函数说明
概述 用户创建数据集新建计算字段时，会用到数据库函数，希望能给了解函数说明。详细信息 这些函数并不是Quick BI定义的，而是根据数据源数据库来的，例如数据源数据库是MySQL，那函数就和MySQL函数一模一样；例如数据源数据库是Oracle，那...
FineReport
如果您是第一次安装FineReport，需要安装MySQL服务器（例如阿里云RDS MySQL），用于导入FineReport的元数据，FineReport提供了两种数据链接方式：方式一：在数据决策系统中进行连接，请参见 JDBC连接数据库。方式二：在设计器中进行连接，...
- 产品推荐
- 这些文档可能帮助您