两表关联分析
一、两表关联分析 选择任务类型：两表关联分析。关联左表：选择相应的待关联的数据表，左表一般为行为表。左表分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。左表分析字段：选择需要...
配置IBM DB2输入组件
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
配置IBM DB2输入组件
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
创建多表join
辅表个数不超过10个 支持 表A（主表）、表B、表C、表D 表A（主表）->表B->表C->表D 超过2层多表数据关联 不支持（独享型可支持3层）表A（主表）、表B 表A->表B，表B->表A 环状多表数据关联 不支持 表A（主表）、表B、表C…表K 表A（主表）-...
通用行业模板配置
多表数据关联支持 表a->表b，表b->表c 表a->表d 不支持超过2层多表数据关联 表a->表b，表b->表c，表c->表d 不支持环状多表数据关联 表a->表b，表b->表a 数据模型 定义应用结构流程：1、通过模板创建应用结构。用户可以将自己定义的应用结构...
mysqldump
db-tables test_table-no-data 导出test_db1、test_db2数据库中所有表：mysqldump-h127.0.0.1-P9030-uroot-no-tablespaces-databases test_db1 test_db2 导出所有数据库和表：mysqldump-h127.0.0.1-P9030-uroot-no-tablespaces-all-...
GRANT
授予指定权限 为用户user2授予数据库db2中的表table2的管理员权限。GRANT ADMIN ON TABLE db2.table2 TO user2;为用户user3授予当前数据库中表table3的写权限。GRANT WRITE ON TABLE table3 TO user3;为用户user4授予全局读权限。GRANT ...
REVOKE
删除指定权限 删除用户 user2 对数据库 db2 中的表 table2 所拥有的管理员权限。REVOKE ADMIN ON TABLE db2.table2 FROM user2;删除用户 user3 对表 table3 所拥有的写权限。REVOKE WRITE ON TABLE table3 FROM user3;删除用户 user4 所...
自建数据源IBM DB2 LUW
本文为您介绍如何创建自建数据...将IBM DB2 LUW数据库中的数据表或自建的自定义SQL添加到Quick BI，请参见 创建并管理数据集。添加可视化图表并分析数据，请参见 新建仪表板 和 可视化图表概述。钻取并深度分析数据，请参见 钻取设置与展示。
SELECT
Group Aggregation Joins 关联两张表进行数据关联查询。Joins ORDER BY 将返回结果按照指定条件排序。ORDER BY clause LIMIT 限制返回结果的行数。LIMIT clause TOP-N 限制返回前N个最大/最小的结果。Top-N 去重 从数据流中去除重复的行...
Quick BI用关联表创建数据集出现计数异常
问题原因 客户在关联表时，使用重复的字段作为关联字段导致数据膨胀，在计数时导致数据比实际的数据多。使用SQL的关联字段是item_id，该值存在重复。解决方案 在创建数据集时，使用sql创建数据集，并根据业务的要求对数据进行去重。适用于 ...
查看指标资产详情
前提条件 已在数据建模模块关联指标、维度或度量，具体操作，请参见 配置逻辑表关联字段标准。已在运营模块中编目和公开指标资产，具体操作，请参见 配置指标资产目录 和 公开与隐藏指标资产。背景信息 将数据标准模块中创建的指标进行编目...
查看指标资产详情
前提条件 已在数据建模模块关联指标、维度或度量，具体操作，请参见 配置逻辑表关联字段标准。已在运营模块中编目和公开指标资产，具体操作，请参见 配置指标资产目录 和 公开与隐藏指标资产。背景信息 将数据标准模块中创建的指标进行编目...
数据源常见问题
非同源数据表关联仅适用于专业版。跨源关联数据表需开启quick引擎抽取加速，适用于MaxCompute，MySQL、Oracle、AnalyticDB for MySQL 3.0、SqlServer、PostgreSQL和Hologres数据源。请参见 构建模型。数据源上传文件方式更新数据时的字段...
数据集组合
当您的多个数据表关联性较灵活，比如在不同场景下需要用到不同的数据表进行关联分析时，建议您针对单张数据表分别创建数据集，并在仪表板中使用数据集组合能力，您可以根据需求灵活地调整关联数据集的数量和关联关系的配置。案例：左表 右...
数据集成支持的数据源
数据源类型 数据源 相关文档 来源端数据源 MySQL、Oracle、Microsoft SQL Server、OceanBase、IBM DB2、MaxCompute、FTP。创建MySQL数据源。创建Oracle数据源。创建Microsoft SQL Server数据源。创建OceanBase数据源。创建IBM DB2数据源。...
支持的数据库
库表结构同步 全量数据同步 增量数据同步 单向同步 PolarDB-X 1.0同步至Elasticsearch PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 PolarDB-X 1.0同步至PolarDB-X 2.0 PolarDB-X 2.0 PolarDB-X 2.0 库表结构同步 全量...
迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
Quick BI数据集跨源关联
产品名称 Quick BI 产品模块 数据集 概述 数据集跨源关联的介绍。问题描述 描述数据集跨源关联的细节。...专业版支持MaxCompute、MySQL、Oracle和ADB for MySQL跨源跨数据库进行表关联，其他版本暂不支持。更多信息 NA 相关文档 NA
从自建Db2迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建的Db2数据库迁移至RDS MySQL。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成Db2数据库的...
从自建Db2迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建的Db2数据库迁移至RDS MySQL。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成Db2数据库的...
表删除，更新和合并
在这个部分：写入Delta表时的重复数据删除 缓慢将数据（SCD）类型2操作更改为Delta表 将更改数据写入Delta表 使用Upsert 从流式处理查询foreachBatch 写入Delta表时的重复数据删除 一个常见的ETL用例是通过将日志附加到表中来将日志收集到...
三个实例相互进行双向同步后出现数据缺失
以上图为例：DB1的数据通过DTS同步至DB2时，为防止数据回环至DB1，DTS会使用基于事务表的方式对事务进行打标，实现数据过滤。但同时，这部分被打标的数据也不会同步到DB3。因此，就出现了DB3缺少数据的情况。同理，DB3同步至DB2的数据，会...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
pg_dump
表 2.connection-option（控制数据库连接参数命令行选项）命令行选项 描述-d dbname 即-dbname=dbname 指定要连接的数据库的名称。h host 即-host=host 指定运行服务器的计算机的主机名。如果该值以斜杠开头，则将其用作Unix域套接字的目录...
构建模型
您可以选择数据表关联数据表、数据表关联SQL代码创建表、SQL代码创建表关联数据表和SQL代码创建表关联SQL代码创建表。说明 SQL代码的编辑操作请参见 自定义SQL。数据表关联数据表 在数据集编辑页面，按照下图步骤，拖拽数据表至画布中。...
功能特性
数据源配置管理 您可以在产品中添加多种不同类型的数据源配置，每个数据来源配置代表一个核对系统在后续核对工作中可以用来读取数据的数据来源配置，当前支持如下类型的数据源配置：OSS：OSS 文件系统的读取配置，需要您输入访问信息，...
关联限流
使用关联限流策略，可以避免具有关联关系的资源之间过度的争抢，造成的资源不可用问题。当两个资源之间具有资源争抢或者依赖关系的时候，这两个资源便具有了关联。例如对数据库同一个字段的读操作和写操作存在争抢，读的速度过高会影响写得...
关联限流
使用关联限流策略，可以避免具有关联关系的资源之间过度的争抢，造成的资源不可用问题。当两个资源之间具有资源争抢或者依赖关系的时候，这两个资源便具有了关联。例如对数据库同一个字段的读操作和写操作存在争抢，读的速度过高会影响写得...
DB2数据源
对于新增流水型数据，DB2 Reader在where条件后跟上一阶段最大自增ID即可。对于业务上无字段区分新增、修改数据的情况，DB2 Reader无法进行增量数据同步，只能同步全量数据。SQL安全性 DB2 Reader提供 querySql 语句交给您自己实现SELECT...
配置同步任务中的数据来源和去向
成功将数据导入分析型数据库MySQL版后，您就可以使用分析型数据库MySQL版进行数据分析。进入 DataWorks控制台，单击对应项目操作栏中的 数据开发。单击左侧菜单栏中的 数据开发，右键单击 业务流程 新建一个流程。右键单击 步骤2 中新建的...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
使用须知
访问Lindorm CDC数据的介绍 访问语法示例：Lindorm宽表引擎（lindorm_table）中有一个Database名称为DB1，DB1中有一个表名为tableX，可以通过以下两种方式查询表的数据。示例一 SELECT fieldA FROM lindorm_table.DB1.tableX;示例二 USE ...
资产质量概述
全域数据表 支持多种数据源类型（如MaxCompute、Hive、Mysql、Oracle、Microsoft SQL Server、PostgreSQL、SAP HANA、AnalyticDB for PostgreSQL、ClickHouse、IBM DB2、DM、Hologres、AgroDB）下的数据表规则校验和整改。支持对 指标 的...
资产质量概述
全域数据表 支持多种数据源类型（如MaxCompute、Hive、Mysql、Oracle、Microsoft SQL Server、PostgreSQL、SAP HANA、AnalyticDB for PostgreSQL、ClickHouse、IBM DB2、DM、Hologres、AgroDB）下的数据表规则校验和整改。支持对 指标 的...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
配置IBM DB2输出组件
本文为您介绍如何配置IBM DB2输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 IBM DB2输出配置 对话框。在 IBM DB2输出配置 对话框，配置参数。...
配置IBM DB2输出组件
本文为您介绍如何配置IBM DB2输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 IBM DB2输出配置 对话框。在 IBM DB2输出配置 对话框，配置参数。...
- 产品推荐
- 这些文档可能帮助您