新建普通维度逻辑表
例如，业务日期是20220101，需要查询主表的ds=20220101分区的数据，同时关联维度逻辑表的时间分区也是2020101，则就需要选择为使用同周期维表。使用最新维表（维表使用最新分区）：数据计算时使用最新关联维度逻辑表的最新分区。例如，某...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
新建事实逻辑表
② 列表操作 调整字段顺序：调整字段顺序前，请确保引用该逻辑表的下游没有使用 select*查询本逻辑表,避免造成数据错误。引入字段：为表引入新字段。支持从 建表语句引入 和 从表引入。具体操作，请参见 为事实逻辑表引入字段。添加字段：...
新建事实逻辑表
② 列表操作 调整字段顺序：调整字段顺序前，请确保引用该逻辑表的下游没有使用 select*查询本逻辑表,避免造成数据错误。引入字段：为表引入新字段。支持从 建表语句引入 和 从表引入。具体操作，请参见 为事实逻辑表引入字段。添加字段：...
通过SQL模式创建API（Dataphin表）
前提条件 MaxCompute计算引擎支持逻辑表创建API，需完成以下步骤：基于逻辑表生成API的场景中，需要完成逻辑表（维度逻辑表、事实逻辑表和汇总逻辑表）的创建。具体操作，请参见 规范建模概述。基于创建好的逻辑表，在集成中配置同步任务，...
编辑数据集
本文为您介绍在DataV中数据集管理面板内如何编辑已创建的数据集。背景信息 数据集管理面板中已存在数据集且需要重新编辑修改该数据集内容。操作步骤 登录 DataV控制台。选择 我的数据 页签，在左侧列表中单击 数据集管理。在 数据集管理 ...
管理数据树
本文介绍数据树的管理功能。...新建项目并添加 在数据树中选择需要添加的数据表，单击右下角的 新建项目并添加，等待系统自动创建项目并将当前已选中的数据添加至新创建的项目中。也可以单击 清空选择，去勾选已选中的数据表。
使用SQL管理外部项目
本文为您介绍如何使用SQL方式对不同场景中已创建的外部项目、及其中的表进行管理，例如查询或更新表数据等操作。背景信息 您在通过DataWorks控制台的数据湖集成界面创建External Project后，可以使用SQL方式操作External Project，场景如下...
配置逻辑表数据延迟
在调度配置页面，配置逻辑表的数据延迟。开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。可选择 1~15天。如下所示：说明 当前逻辑表无设置事件时间字段、无主键、逻辑表已开启自定义物化时，不支持开启延迟数据...
配置逻辑表数据延迟
在调度配置页面，配置逻辑表的数据延迟。开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。可选择 1~15天。如下所示：说明 当前逻辑表无设置事件时间字段、无主键、逻辑表已开启自定义物化时，不支持开启延迟数据...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
数据字典
背景信息 ClickHouse数据字典分为外部扩展字典和内置字典，其中内置字典为ClickHouse预定义字典内容，外部扩展字典提供多种灵活的自定义的数据源定义，使用相对更加广泛，本文所讨论的数据字典为ClickHouse外部扩展字典。在数仓开发和数据...
SHOW（2.0版）
查询用户的数据库列表。指定 EXTRA 参数，输出关于数据库的更多信息，例如创建者ID、数据库连接信息等。SHOW DATABASES 查询用户的数据库列表。指定 EXTRA 参数，输出关于数据库的更多信息，例如创建者ID、数据库连接信息等。SHOW ...
连续查询
连续查询是一种简化的流计算能力，能够定期执行SQL查询，将查询结果存储在指定的数据表中，可用于预降采样和预计算，实现数据降精度长期存储以及查询性能提升。本文介绍Lindorm时序引擎连续查询的概念、使用方法和常见场景。背景信息 在...
Runtime Filter
SelectDB在处理用户查询时，会自动根据表、查询语句情况，生成IN类型或Bloom Filter类型的Runtime Filter，进行查询优化。Runtime Filter查询选项 参数名称 参数说明 runtime_filter_mode 用于调整Runtime Filter的下推策略，包括OFF、...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
新功能发布记录
功能发布更新 2024年 03月 功能名称 变更类型 功能描述 相关文档 数据工作站 新增 支持以文档形式交付查询的数据和数据变化趋势等信息，并支持在交付后使用智能工具解答数据相关问题。使用数据工作站功能可以提高数据交付效率和数据自助...
数据质量入门
通常，为保障周期调度产出的表数据符合预期，建议该分区表达式的取值与当天周期调度产出的表分区一致。说明 单表可多次执行添加操作，配置多个分区表达式，校验多个分区数据。在表规则配置页面，单击 图标。在 添加分区 对话框输入分区表达...
数据共享
实例B的目标库在订阅Share后，可以查询源库测试表的数据。操作步骤 将Serverless版本实例加入数据共享。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。在左侧导航栏中，单击 数据共享。在 数据...
查询诊断
数据库 查询的数据库名。状态 查询执行的状态。取值如下：已完成 执行中 耗时 查询执行的总时长，单位为秒（s）。用户名 执行本次查询的用户。您可以单击 下载 按钮将列表数据下载至本地。查询属性 查询属性 页面由 查询语句、执行计划文本...
排序优化
例如，一张表存储了7年的数据，这张表的数据按照时间字段排序存储。如果您需要查询一个月的数据，那么只需要扫描 1/(7*12)的数据，有98.8%的数据块在扫描时可以被过滤。但如果数据没有按照时间排序的话，可能所有磁盘上的数据块都要被扫描...
数据膨胀诊断
您也可以添加过滤条件，查看指定Schema或指定表的数据膨胀情况，查询语句如下：查看指定Schema下所有表的数据膨胀情况：SELECT*FROM adbpg_toolkit.diag_bloat_tables WHERE schema_name='名称>';查看指定表的数据膨胀情况：SELECT*FROM ...
行级管控
例如，销售经理只能查看本人所负责地域的数据，不能查看全部地域数据。前提条件 实例的管控模式为安全协同。更多信息，请参见 查看管控模式。背景信息 在对数据进行安全保护时，一般有纵向数据安全保护和横向数据安全保护两种需求：纵向...
使用Stage和Task详情分析查询
表数据读取量 当某个Stage的算子树中有表扫描节点（TableScan）时，表示该Stage的所有表扫描节点从源表读取的数据行数和数据大小。对该字段进行排序，可以判断源表数据是否存在数据倾斜。如果存在数据倾斜，您可以通过控制台进行分布字段...
统计信息收集
如果统计信息不准或者没有统计信息，优化器有可能会生成执行效率很差的执行计划，例如，对于一个具有索引且行数很多的数据表来说，以索引列为where条件对数据表进行点查，如果统计信息失效，那么优化器可能不会使用索引对数据表进行查询，...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
数据管理
阿里云EMR Delta Lake提供了强大的数据处理能力，可以帮助您管理和操作数据，确保数据的质量和一致性。本文为您介绍EMR Delta Lake如何进行删除、更新与合并数据等操作。DELETE 该命令用于删除数据。示例如下。SQL DELETE FROM delta_table...
配置PolarDB输入组件
PolarDB输入组件用于读取PolarDB数据源的数据。同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前，...
StarRocks概述
联邦查询 StarRocks支持使用外表的方式进行联邦查询，当前可以支持Hive、MySQL、Elasticsearch、Iceberg和Hudi类型的外表，您无需通过数据导入，可以直接进行数据查询加速。高效更新 StarRocks支持明细模型、聚合模型、主键模型和更新模型...
配置AnalyticDB for MySQL 3.0输出组件
说明 如果开发环境或生产环境存在同名的表，单击新建后，Dataphin会报已存在该表的错误。加载策略 选择数据写入目标表的策略。加载策略 包括：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础...
配置Oracle输入组件
Oracle输入组件用于读取Oracle数据源的数据。同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。前提条件 在开始执行操作前...
配置AnalyticDB for MySQL 3.0输出组件
说明 如果开发环境或生产环境存在同名的表，单击新建后，Dataphin会报已存在该表的错误。加载策略 选择数据写入目标表的策略。加载策略 包括：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础...
配置AnalyticDB for PostgreSQL输入组件
AnalyticDB for PostgreSQL输入组件用于读取AnalyticDB for PostgreSQL数据源的数据。同步AnalyticDB for PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for PostgreSQL输入组件读取的源数据源信息，再配置数据同步...
配置AnalyticDB for MySQL 3.0输入组件
AnalyticDB for MySQL 3.0输入组件用于读取AnalyticDB for MySQL 3.0数据源的数据。同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据...
数据合并
本文向您介绍DataFrame支持的数据表的JOIN操作、UNION操作等数据合并操作。前提条件 您需要提前导入以下示例表数据，用于操作本文中的示例，其中示例源数据下载请参见 快速入门，使用到的两个示例表结构如下。from odps.df import ...
元表和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
元表和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
查看物理表信息
数据查询提供不同数据资源的物理表基础信息，包括物理表基本信息、表结构和物理表DDL语句。本文介绍如何查看物理表信息。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，...
配置MySQL输出组件
说明 如果开发环境或生产环境存在同名的表，单击新建后，Dataphin会报已存在该表的错误。加载策略 选择数据写入目标表的策略。加载策略 包括：追加数据（insert into)：即在目标表的已有的数据基础上追加数据，且不修改历史数据；当主键/...
配置MySQL输出组件
说明 如果开发环境或生产环境存在同名的表，单击新建后，Dataphin会报已存在该表的错误。加载策略 选择数据写入目标表的策略。加载策略 包括：追加数据（insert into)：即在目标表的已有的数据基础上追加数据，且不修改历史数据；当主键/...
- 产品推荐
- 这些文档可能帮助您