新建数据探查任务
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。...后续说明 探查任务运行结束后，您可查看不同字段数据类型对应的结果展示。更多信息，请参见 查看数据探查报告及探查记录。
新功能发布记录
用户指南 Topic操作 2020年11月 新功能/特性 简要概述 类别 文档 Topic新增字段修改 通过页面新增Topic Schema字段 用户指南 Topic操作 同步任务修改字段 同步详情页面可以修改同步字段 数据同步 Topic操作 2020年12月 新功能/特性 简要...
配置LogHub（SLS）输入
背景信息 LogHub（SLS）实时同步读取插件，会自带以下元数据字段：LogHub（SLS）实时同步字段 数据类型 说明_time_STRING SLS保留字段：_time_写入日志数据时指定的日志时间，unix时间戳，单位为秒。source_STRING SLS保留字段：_source_...
计算列配置
计算列配置规则 配置内容 新增计算列时，需要配置以下内容：英文字段名：若数据源为数据库，即数据库中的字段名称；若数据源为表格文件，指根据表格模板填写的英文字段名称或系统根据表格文件翻译的英文名称。字段业务含义：是对字段所表示...
配置威胁检测规则
在威胁检测数据库匹配指定字段，如果命中返回true。NOT_IN_IP_DATASET：与数据集的主键进行匹配。需要指定数据集的主键为IP类型字段，支持IP地址和CIDR格式。IN_IP_DATASET：与数据集的主键进行匹配。需要指定数据集的主键为IP类型字段，...
查询及分析日志
图示⑤ 设置 显示字段 后，单击 图标，将显示字段列表收藏为视图，便于后续快速切换展示关注的字段数据。单击 图标后选择 tag设置，将字段设置为系统tag，展示在右侧日志信息上方。例如。单击 图标后开启 别名 功能，将字段名称替换为别名...
订阅Hologres Binlog
当您需要捕获Hologres数据库事件，用于数据之间的复制、同步或将这些事件作为消息流转发给不同的消费者处理时，Hologres支持Binlog功能，消费Hologres Binlog来提升数据复用能力，缩短数据加工端到端延迟。本文为您介绍在Hologres订阅...
通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
Quick BI新建计算字段函数说明
概述 用户创建数据集新建计算字段时，会用到数据库函数，希望能给了解函数说明。详细信息 这些函数并不是Quick BI定义的，而是根据数据源数据库来的，例如数据源数据库是MySQL，那函数就和MySQL函数一模一样；例如数据源数据库是Oracle，那...
算子
DataBase 扫描的数据所属数据库名。FilterPushDown 过滤条件是否下推到存储节点。说明 仅当当前Stage中存在过滤条件下推时才会展示该属性。PushedDownFilter 下推到存储节点的过滤条件。说明 仅当当前Stage中存在过滤条件下推时才会展示该...
数据集常见问题
在数据库中修改某字段类型后，如何处理数据集该字段类型没有更新的问题？如何处理重新加载被删除的数据源后，表结构同步成功但数据同步依然失败的问题？如何在数据集中添加已删除的维度或度量？MaxCompute数据源同步表结构是否有延迟？源...
查看会话日志
在数据库审计系统查看会话日志 登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 查询分析>会话日志。选择资产名称、时间范围等检索条件后，单击 查询。单击 会话标识，可查看会话详情。在日志服务控制台查看...
Quick BI如何设置自动用字段备注作为字段名
问题描述 数据库的建表语句已经给字段加了备注名称，希望创建数据集时，可以直接用该备注名称作为字段名 解决方案 需要修改工作空间的配置信息，个人空间与群空间配置入口不一样。要确认数据集是在哪个工作空间创建的，然后进入相应工作...
增强E-R
数据管理DMS 的增强E-R功能基于DMS自研的统一Catalog的元数据采集引擎、列算子血缘解析引擎（解析字段间关联、依赖和影响关系的引擎）和数据资产知识图谱构建等核心能力，可清晰地展现您名下某个数据库内资产之间的关联关系。本文介绍了...
查看会话日志
在日志服务控制台查看会话日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。...
横向虚拟关联
建模的数据输入分别位于己方和对方的数据库中，对字段进行匹配对齐。组件截图 二、参数说明 参数名称 参数说明 选择保留字段 选择参与方1和参与方2的匹配字段，用于后续横向建模。默认按字段名称（忽略大小写）自动匹配。字段别名默认使用...
ST_ImportObj
将基于对象存储或内存格式的Obj文件导入到数据库中。语法 boolean ST_ImportObj(text table_name,text url,text id,text options default '{}');boolean ST_ImportObj(text table_name,bytea content,text id,text options default '{}');...
Quick BI数据集对字段进行排序没有生效
概述 本文主要解决Quick BI数据集对字段进行排序没有生效。详细信息 对数据集中字段进行排序。进行数据集的刷新预览后发现该字段没有排序。原因是多个字段进行排序，该字段不是第一个排序字段，导致该字段看不是按顺序排序的，可以将其他...
ST_ImportObj
将基于对象存储或内存格式的Obj文件导入到数据库中。语法 boolean ST_ImportObj(text table_name,text url,text id,text options default '{}');boolean ST_ImportObj(text table_name,bytea content,text id,text options default '{}');...
敏感数据保护概览
RDS MariaDB、其他来源MariaDB PolarDB PostgreSQL版（兼容Oracle）PolarDB分布式版 OceanBase Oracle DB2 达梦数据库 Lindorm：Lindorm_CQL、Lindorm_SQL OpenGauss 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA（Data Lake...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
元数据
元数据用于产品内的展示、检索使用，同时也是敏感数据规则自动化识别的基础信息，也是库、表、字段、数据行、可编程对象等细粒度的权限管控的基础信息。数据管理DMS会根据数据库实例的管控模式提供不同的采集范围与采集方式。背景信息 ...
MetaResource
TABLE CatalogResource CatalogResource Catalog 资源 参看字段结构 DatabaseResource DatabaseResource Database 资源 参看字段结构 TableResource TableResource Table 资源 参看字段结构 FunctionResource FunctionResource Function ...
数据集组合
如下图，销售订单数据-数据集组合这个交叉表取主数据集的区域和订单金额字段，取辅助数据集的订单数量字段，订单金额和订单数据为 二次聚合（求和）后的数据。说明 该场景下，仅支持求和、计数、最大值、最小值4种聚合方式，否则会报错。若...
Schema约束
Schema约束的含义 Schema约束通常体现在数据写入层面，即写入的字段是否与预先定义的表结构中包含的字段一致，写入的字段数据类型是否与预先定义的数据类型一致或兼容，甚至写入的表是否存在等等。在传统关系型数据库中，这些约束非常严格...
字段操作
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，ALTER TABLE DDL 字段操作支持的转换范围。总览 ALTER TABLE tbl_name[alter_option[,alter_option].]alter_option:{ ADD[COLUMN]col_name column_definition[FIRST...
Quick BI数据集如何展示新增的字段
解决方案 原表里增加了字段，已创建数据集不需要重新做，只需要把新增字段添加进来即可：进入数据集编辑页面，点击左上方表名称 在右侧弹出的字段列表中，勾选需要新增的字段即可（您也可以取消勾选不需要展示的字段，灰色的是已经有计算...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
数据迁移服务隐藏列机制说明
源端 目标端 参考文档 OceanBase 数据库 MySQL 租户 OceanBase 数据库 MySQL 租户 OceanBase 数据库之间的数据迁移 OceanBase 数据库 Oracle 租户 OceanBase 数据库 Oracle 租户 OceanBase 数据库之间的数据迁移 OceanBase 数据库 Oracle ...
模糊查询+查询分析
用户在配置了 模糊搜索 分析器的情况下并不能很好的满足业务需要并出现了一下bad_case，希望通过 查询分析 可以优化解决，但是由于模糊搜索本身就是扩大召回范围，以非精确性的方式召回数据，并且系统限制了SHORT_TEXT类型的字段配置的索引...
库表
AnalyticDB MySQL 是分布式数据库，数据需要根据分布字段均匀地分布在各个后台节点才能保证尽可能高的利用资源。分布字段选择不合理，会导致写入时存在热点，降低写入性能。分区字段合理性。AnalyticDB MySQL 后台以分区为粒度进行数据存储...
管理敏感数据
支持的数据库：关系型数据库：MySQL、SQL Server、PostgreSQL、MariaDB、Oracle、达梦数据库（DamengDB）、PolarDB PostgreSQL版（兼容Oracle）、PolarDB分布式版、OceanBase、DB2、Lindorm_CQL、Lindorm_SQL、OpenGauss。数据仓库：...
数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
DataSource
plugins Object 字段数据处理插件 plugins.*Object 插件详情，具体说明查看下文 Plugin*：字段名 keyField String 主键 parameters Object 数据源信息不同数据源的配置信息各不相同，具体说明查看相关下文：rds-odps-opensearch-polardb ...
DataSource
plugins Object 字段数据处理插件 plugins.*Object 插件详情，具体说明查看下文 Plugin*：字段名 keyField String 主键 parameters Object 数据源信息不同数据源的配置信息各不相同，具体说明查看相关下文：rds-odps-opensearch-polardb ...
新建表
关联数据库（MySQL 模式下）使用 外键约束 时需指定关联表（父表）所在的数据库。关联表 使用 外键约束 时需指定关联表（父表）。关联字段 使用 外键约束 时需指定关联字段（父表）。删除 指定删除关联表（父表）中的数据时，当前表（子表...
数据加工
主表（数据输入1）中的字段和数据将全部展示，次表（数据输入2）中相同的字段对应的数据将在行上进行扩展，不同的字段与数据不会展示。字段列表：展示主表数据输入1的字段。清洗加工 去掉数据表中不需要的列和行，并新增需要的列和行。从...
字段安全级别
根据存储业务的数据性质差异，字段如手机号码、身份证号码等属于敏感数据，常规查询数据时此类字段的值应该加密展现。为了根据数据的敏感程度对数据进行不同策略的脱敏和管理，数据管理DMS将敏感数据分为3个安全级别。根据数据的敏感程度，...
Quick BI计算字段数值计算错误
新建计算字段"新增金额_处理",字段表达式如下：CASE WHEN[计量单位]='万元' THEN[新增金额]*10000 ELSE[新增金额]END 这样一个计算逻辑在数据集新增字段后没有*10000，且它不管元和万元都做了处理：目前单位是万元时，乘以100,000,000 单位...
- 产品推荐
- 这些文档可能帮助您