数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 通过离线...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...
GetMetaTableColumn-获取表的字段信息
接口说明 仅管控模式为安全协同的数据库实例可调用此 API。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在...
查看并管理明细及汇总表实例
例如，对某个逻辑表任务节点进行补数据时，需要先了解该逻辑表任务节点归属的物化节点，并对物化节点进行逐一补数据操作，这样补数据操作过程复杂，且无法保障数据一致性。在 逻辑运维视角 下，您只需要选择需要运维的字段或逻辑表实例节点...
查看并管理明细及汇总表实例
例如，对某个逻辑表任务节点进行补数据时，需要先了解该逻辑表任务节点归属的物化节点，并对物化节点进行逐一补数据操作，这样补数据操作过程复杂，且无法保障数据一致性。在 逻辑运维视角 下，您只需要选择需要运维的字段或逻辑表实例节点...
自定义血缘配置
提示：血缘仅在配置任务提交和发布成功时更新，后续输入输出表结构变更不会自动触发血缘更新 根据业务需要选择对应表中的 指定字段。在 配置输出入表 页面，进行参数配置，操作完成后单击 确定。单击 确定，完成血缘的配置。输出表的配置和...
自定义血缘配置
提示：血缘仅在配置任务提交和发布成功时更新，后续输入输出表结构变更不会自动触发血缘更新 根据业务需要选择对应表中的 指定字段。在 配置输出入表 页面，进行参数配置，操作完成后单击 确定。单击 确定，完成血缘的配置。输出表的配置和...
配置HDFS输出组件
同步其他数据源的数据至HDFS数据源的场景中，完成源数据的信息配置后，需要配置HDFS输出组件的目标数据源。本文为您介绍如何配置HDFS输出组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建HDFS数据源。进行HDFS输入组件属性配置的...
步骤三：配置节点运行配置
通过对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等配置和管理，实现处理多种类型的数据，以及查看同一租户内不同工作组中的任务依赖信息，并支持根据需要设置告警上报信息。本文介绍如何设置运行配置参数。前提条件 已创建...
配置LogicalTable输入组件
LogicalTable输入组件用于读取Dataphin中逻辑表（事实逻辑表、维度逻辑表、汇总逻辑表）中的数据。同步Dataphin中逻辑表的数据至数据源的场景中，您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行...
配置LogicalTable输入组件
LogicalTable输入组件用于读取Dataphin中逻辑表（事实逻辑表、维度逻辑表、汇总逻辑表）中的数据。同步Dataphin中逻辑表的数据至数据源的场景中，您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行...
步骤三：配置节点运行配置
通过对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等配置和管理，实现处理多种类型的数据，以及查看同一租户内不同工作组中的任务依赖信息，并支持根据需要设置告警上报信息。本文介绍如何设置运行配置参数。前提条件 已创建...
全增量实时同步至Hologres
如上图所示，使用 源端数据库名 将源端数据库名作为目标schema名称，并且将所有满足 order_db.*正则表达式的源库写入目标Hologres名为 order_db 的schema中。自定义目标表名映射规则 在 目标表名映射自定义 列，单击 编辑 按钮。可以使用...
数据规范
数据表分区 依赖数据源产出新分区 aime对接的离线数据往往是周期性更新的，这种情况下您可以将数据表的全量调度策略设置为“依赖数据源产出新分区”，这种策略下，aime会自动检测您的数据表是否有更新。为了使数据更新事件能够被aime...
管理数据表
本文为您介绍如何快速查找数据表，并查看数据表中的数据字段和数据类型等信息。查询数据表 当数据源中的数据表过多，无法快速定位到自己所需的数据表时，您可以按照以下步骤操作。登录 Quick BI控制台。按照下图指引，进入数据源管理页面。...
通过SQL模式创建API（Dataphin表）
在 即席查询 中查看数据是否符合预期，确保逻辑表中有数据。具体操作请参见 查询并下载数据。在集成中配置同步任务，输入组件选择 逻辑表输入配置（LogicalTable），输出组件选择 MySQL输出组件，具体操作请参见 配置LogicalTable输入组件...
清理文档
立即清理 保留字段：必须为主表中的 INT 字段类型，该字段值为“秒级”或“毫秒级”unix 时间戳值。在最近X天内的文档：这里的 X 表示需保留最近多少天内的文档，值域[7-180]。该字段值单位为：秒：秒级 unix 时间戳一般为10位整数。毫秒：...
元数据
背景信息 元数据（字典）是属于数据库本身的一些数据，包含数据库名、数据库字符集、表名、表的大小、表的记录行数、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于 information_...
多选
④数据字段：下拉菜单选择所选数据表中的 某一个数据字段。⑤默认值：根据设置 数据字段内容 进行下拉选择。来源于 选择 数据集。①来源于数据集：选择 数据集 后可支持数据集内 数据字段 选择您所需要的选项。②数据集：下拉菜单选择当前...
单选
④数据字段：下拉菜单选择所选数据表中的 某一个数据字段。⑤默认值：根据设置 数据字段内容 进行下拉选择。⑥自动关联字段ID值：选择是否自动关联字段ID值，勾选后即配置控件 的选项展示名称 关联 对应的ID值字段。来源于 选择 数据集。①...
系统管理
用于自定义企业在数据仓库模型设计过程中需要的物理表创建管控策略、代码生成规则等内容。策略启用后，将严格按照此处配置的管控策略管控相关操作，保障模型创建的规范性及引擎DDL显示符合您的业务需要。本文为您介绍如何配置系统管理策略...
前缀查询
示例/<summary>/查询表中Keyword_type_col列中前缀为"Search"的数据。param>public static void PrefixQuery(OTSClient otsClient){ var searchQuery=new SearchQuery();设置查询类型为PrefixQuery，...
下拉单选
④数据字段：下拉菜单选择所选数据表中的 某一个数据字段。⑤默认值：根据设置 数据字段内容 进行下拉选择。⑥自动关联字段ID值：选择是否自动关联字段ID值，勾选后即配置 控件的选项展示名称 关联 对应的ID值字段。来源于 选择 数据集。①...
配置FeatureStore项目
字段配置 说明 特征字段 Label表中如果存在某些特征的话，可勾选对应字段为特征字段。FG保留字段 当前阶段可不做配置。事件时间 勾选Label表中记录行为产生的时间戳字段。Label字段 勾选Label表中的Label字段。分区字段 勾选Label表中的...
GetMetaTableDetailInfo-获取表的字段、索引等信息
接口说明 仅管控模式为安全协同的数据库实例可调用此 API。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在...
前缀查询
示例/*查询表中Col_Keyword列前缀为"hangzhou"的数据。func PrefixQuery(client*tablestore.TableStoreClient,tableName string,indexName string){ searchRequest:=tablestore.SearchRequest{} searchRequest.SetTableName(tableName)...
配置规则：按模板（批量）
单击 添加字段，在弹出的对话框中，选择目标 引擎/数据库实例，待添加表 区域为您展示当前引擎/数据库中的所有表信息，选中要配置监控规则的字段所在的表后，选择字段 区域为您展示已添加表中的所有字段信息，支持您根据 字段名 和 字段...
恶意行为防御自定义规则最佳实践
进程路径 填写为误拦截告警详情中的 执行命令的进程 字段的路径。例如*/pkill。命令行 填写为误拦截告警详情中的 执行命令 字段中的特征字符。例如*AliYunDun*。动作 选择 加白。进程网络 告警加白规则配置：收到如下图所示的进程网络误...
SQL数据类型映射
SQL中字段数据类型 数据表中字段数据类型 多元索引中的字段数据类型 BIGINT Integer Integer VARBINARY（主键）MEDIUMBLOB（属性列）Binary Binary VARCHAR（主键）MEDIUMTEXT（属性列）String KeyWord Text DOUBLE Double Double BOOL ...
子表查询
子表表名即为该复合字段的字段名。目前不支持直接查询该子表字段。...如果WHERE语句中不带有子表字段的条件，则查询结果的主表记录和子表记录join方式默认为LEFT_JOIN，可通过hint修改，具体见 Hint 配置主子表的场景下，支持单独查询主表。
交叉表
交叉表可以显示表中某个字段的汇总值，并对同类数据合并。其中一组列在表的左侧，另一组列在表的上部。行和列的交叉处可以对数据进行多种汇总计算，例如求和、平均值、记数、最大值和最小值。本文为您介绍如何为交叉表添加数据并配置样式。...
SQL查询常见错误排查
通常是由于为数据表创建映射关系后，在数据表中新增了字段，但是未在对应映射表中添加新增的字段。映射表中需要包含查询所需的字段，请在映射表中添加新增的字段。具体操作，请参见 更新映射表属性列。OtsRequestTimeout Search engine:...
创建文件数据源
已有CSV文件，如果需要追加或替换Excel文件中的某个Sheet下的数据时，只要保持新数据文件的字段名和字段数据类型与历史上传数据文件的字段名和字段数据类型一致即可。在完成第一次的业务数据文件上传后，新追加或替换的文件字段顺序及数据...
步骤二：编写SQL分析语句
如果查询对象的表中存在系统保留字段，且需查询该字段的值，输出字段需使用您指定的新别名。例如，查询设备表${system.device} 中字段 gmt_create 的值时，将其输出字段指定为 gmt_create_alias，SQL语句如下：select gmt_create as gmt_...
资源角色
可查询实例下所有数据库中的数据（不包含敏感字段），提交各类数据方案与库表结构的工单。对应于审批节点中 动态计算 的DBA。实例Owner 每个实例可以设置3个实例Owner。云数据库资源默认主账号为实例Owner。非云数据库默认当前录入的云账号...
概述
数据访问方式 表格存储为Spark批计算提供KV查询（数据表或全局二级索引）和多元索引查询两种数据访问方式，以支持海量结构化数据快速读写和丰富的查询分析能力。两种数据访问方式的区别如下：KV查询方式在过滤字段是主键的场景下效率较高，...
分区
分区表是指拥有分区空间的表，即将表数据按照某个列或多个列进行划分，从而将表中的数据分散存储在不同的物理位置上。合理设计和使用分区，可以提高查询性能、简化数据管理，并支持更灵活的数据访问和操作。概述 分区可以理解为分类，通过...
MySQL分库分表同步至Hologres（方案1.0）
为了便于在Hologres表里区分某条记录属于源端哪个物理库、物理表，则需要在Hologres表中添加上三个附加字段（src_datasource、src_database、src_table），标识某条记录的来源数据源实例、数据库以及表，这三个附加字段和物理表中的主键在...
- 产品推荐
- 这些文档可能帮助您