Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
数据集成侧同步任务配置
同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据源相关能力介绍详情请参见：数据源概述。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作...
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
数据迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。收费策略 DTS数据迁移涉及...
散点层
说明 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示 value 值为0~10的数据将展示为10的大小，类型2设置为20，则表示 value 值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3...
Hive兼容数据类型版本
Hive兼容数据类型：源数据类型如果可以显式转换为表中的数据类型，系统会自动插入转换函数并允许运行。1.0和2.0数据类型版本：源数据类型需要隐式转换为表中的数据类型，否则报错。在Hive模式下成功，在其他模式下报错。create table t(a ...
数据集成概述
通过离线单条管道构建同步任务 离线的数据管道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据输入组件、数据输出组件及流程和转换组件，并基于此框架设计一套简化版的中间数据传输格式，从而实现数据源之间数据传输。...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
雷达扫描
当位置请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据请参见上文的 数据示例。动作 动作 说明 请求位置 重新请求服务端数据，...
冷热数据分层存储
查看冷热数据盘上的数据 查看热数据盘上的数据。SELECT*FROM system.parts WHERE database='<db_name>' AND TABLE='<tbl_name>' AND disk_name='default' AND active=1;查看冷数据盘上的数据。SELECT*FROM system.parts WHERE database='...
路网轨迹层
当轨迹层请求完成时 轨迹层请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 ...
数据质量：全流程的质量监控
说明 ETL是抽取、转换和加载源端数据至目的端的过程。数据质量以数据集（DataSet）为监控对象，支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据...
轨迹层
说明 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示 value 值为0~10的数据将展示为10的大小，类型2设置为20，则表示 value 值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3...
一键实时同步至MaxCompute
同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据源相关能力介绍详情请参见：数据源概述。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作...
一键实时同步至MaxCompute
同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据源相关能力介绍详情请参见：数据源概述。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行相应操作...
常见问题
MaxCompute提供数据备份与恢复功能，MaxCompute会自动备份数据的历史版本（被删除或修改前的数据）并保留一定时间，您可以对保留周期内的数据进行快速恢复，避免因误操作丢失数据。更多备份恢复信息，请参见 备份与恢复。不同项目的表是否...
网格热力图（v1.x版本）
事件 当数据接口请求完成时：数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据请参见上文的 数据示例。动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将...
添加Open API数据源
在 工作台 页面中，将鼠标移动至需要编辑的数据看板上，单击 编辑。重要 如果您的 工作台 页面内还没有创建任何数据看板，请参见 使用模板创建PC端看板，创建一个数据看板。在画布编辑页面，单击画布中的某一组件。如果画布中还没有组件，...
配置Hologres输出
前提条件 配置Hologres输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步支持的数据源。背景信息 Hologres支持的版本：0.7、0.8、0.9、0.10、1.1。字段使用限制：不支持UUID类型的字段。操作步骤 进入 数据开发 页面...
集成组件库开发说明
Greenplum 配置Greenplum输出组件 转换组件 组件名称 组件配置 字段选择 配置字段选择转换组件 字段计算 配置字段计算转换组件 过滤转换 配置过滤转换组件 加密转换 配置加密转换组件 解密转换 配置解密转换组件 流程组件 组件名称 组件...
公共规范
数据类型规范 ODS层的数据类型应基于源系统数据类型转换。例如，源数据为MySQL时的转换规则如下。MySQL数据类型 MaxCompute数据类型 TINYINT TINYINT SMALLINT/MEDIUMINT SMALLINT INTEGER INT BIGINT BIGINT FLOAT FLOAT DOUBLE DOUBLE ...
MongoDB数据源
对于支持读取的数据类型，数据集成在读取时：基本类型的数据，会根据同步任务配置的读取字段（column，详见下文的 附录：MongoDB脚本Demo与参数说明）中的name自动读取对应path下的数据，并根据数据类型做自动转换，您无需指定column的type...
散点层
当点图请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 ...
数据集成概述
支持 流程 和 转换 组件，实现数据源的数据预处理（例如清洗、转换、字段脱敏、计算、合并、分发、过滤等）能力，详情请参见 通过单条管道创建集成任务。支持Dev-Prod和Basic的开发模式，您可以根据业务场景进行灵活选择开发模式。支持将...
蜂窝聚合层（v3.x版本）
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
集成组件库开发说明
Redis 配置Redis输出组件 ArgoDB 配置ArgoDB输出组件 转换组件 组件名称 组件配置 字段选择 配置字段选择转换组件 字段计算 配置字段计算转换组件 过滤转换 配置过滤转换组件 加密转换 配置加密转换组件 解密转换 配置解密转换组件 流程...
点热力层（v3.x版本）
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
无感集成（Zero-ETL）
ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、加载（Load）到数据仓库的处理过程，目的是将上游分散的数据整合到目标端数仓，通过在数仓中做进一步的计算分析，来为业务做有效的商业决策。传统的ETL流程通常会...
移动图标层
当移动图标层请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应...
配置MaxCompute输出组件
数据源 在数据源下拉列表中，展示所有MaxCompute类型的数据源，包括您已拥有同步写权限的数据源和没有同步写权限的数据源。对于没有同步写权限的数据源，您可以单击数据源后的 申请，申请数据源的同步写权限。具体操作，请参见 申请、续期...
配置MaxCompute输出组件
数据源 在数据源下拉列表中，展示所有MaxCompute类型的数据源，包括您已拥有同步写权限的数据源和没有同步写权限的数据源。对于没有同步写权限的数据源，您可以单击数据源后的 申请，申请数据源的同步写权限。具体操作，请参见 申请、续期...
最佳实践
过滤器内的代码编辑完成后，可以看到经过转换得到的组件所需要的数据列表，内容显示样式为 value 和 content 两个字段。配置并测试成功后，单击 保存，并刷新 数据响应结果，即可查看B站视频数据。说明 您也可以单击数据响应结果内的 图标...
pg_aggregate
aggmtranstype oid 聚集函数用于移动聚集欧氏的内部转移（状态）数据的数据类型（如果没有则为零）。aggmtransspace int4 移动聚合模式的转移状态数据的近似平均尺寸（字节），或者为零表示使用一个默认估算值。agginitval text 转移状态的...
什么是数据资源平台
提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。数据资源平台覆盖数据同步、数据标准建模及数据质量检查、数据...
备份集下载功能概览
全量数据 支持如下数据库引擎：MySQL SQL Server MariaDB PostgreSQL Oracle MongoDB 说明 MongoDB的数据格式为 json，其余的数据格式均为 CSV。支持如下数据库引擎：MySQL SQL Server 说明 MySQL的数据为Xtrabackup产生的数据格式，并进行...
专业术语
points per second 这是一个现在已经弃用的术语，原来表示数据写入TSDB For InfluxDB®的速率，因为TSDB For InfluxDB®的数据模型（schema）允许甚至鼓励每个数据点记录多个测量值（metric），所以这个概念有歧义。写入速率现在通常是按...
概述
然而，在特殊情况下，如数据库存在频繁的数据定义语言（DDL）操作或大型事务，无法保证绝对的秒级转换延迟。Binlog 服务的功能说明 OceanBase Binlog 服务以租户为管理单位，不支持对数据库、表开启 Binlog。OceanBase Binlog 服务与 MySQL...
柱状层
当点位数据请求失败时 点位数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应...
散点层（线性渐变）
当散点层请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 ...
何时选择间隔（Interval）分区
如果分区范围设置为1个月，新插入的数据为当前转换点（当前存在的分区的最大边界值）两个月后的数据，将会创建该数据所在月份的分区，以及中间月份的分区。例如，您可以创建一个INTERVAL RANGE分区表，该表分区范围为1个月且当前的转换点为...
- 产品推荐
- 这些文档可能帮助您