什么是备份数据量
名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库磁盘空间 数据库磁盘空间由数据库的数据文件...
点热力层（v3.x版本）
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
区域热力层
图表样式 区域热力层是3D地球的子组件，支持独立的样式和数据配置，能够使用GeoJson数据展示区域边界信息并渲染区域样式，适用于在3D地球上展示某个区域的数据信息。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
功能特性
Paimon数据源 数据集成和可视化 功能集 功能 功能描述 参考文档 数据集成 通过DataWorks导入数据 云数据库 SelectDB 版支持使用DataWorks的数据集成功能，通过SelectDB Writer导入表数据。本文以MySQL数据源为例，介绍如何通过DataWorks...
区域热力层
图表样式 区域热力层是3D地球的子组件，支持独立的样式和数据配置，能够使用GeoJson数据展示区域边界信息并渲染区域样式，适用于在3D地球上展示某个区域的数据信息。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 ...
元数据采集
如果显示 测试连通性未通过：请确认数据源是否开启了白名单限制，如果需要采集已开启白名单访问控制的元数据，请参考 元数据采集的数据源有白名单访问控制时需要配置的白名单 配置白名单权限。如果数据源未开启白名单限制，请参考 资源组...
点热力层（v3.x版本）
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
智能压测
数据库类型 您的数据库实例类型，您可在如下三种中选择其中一种：MySQL：表示 RDS MySQL 实例。PolarDB for MySQL：表示 PolarDB MySQL版 实例。PolarDB-X：表示 PolarDB-X 2.0实例。说明 PolarDB-X 2.0目前仅支持华东1（杭州）、华东2...
管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
数据质量评估标准
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要保持一致...
ListDoctorHiveTables-批量获取Hive表分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。coldDataSize:冷数据的数据量大小。冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据数的据量大小。极冷数据指的是 90 日以内...
离线同步并发和限流之间的关系
同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...
互联网、电商行业离线大数据分析
方案优势 大规模存储：超大规模存储且自动扩容，最大可以支持EB级别的数据。高性能：性能更加高效、稳定。低成本：与自建数据库进行分析相比，成本更低。安全：原生的多租户系统，以工作空间进行隔离，所有计算任务在安全沙箱中运行。可视...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
新建普通维度逻辑表
重要 使用逻辑表作为另一个逻辑表的数据来源,会增加计算逻辑的复杂度和运维难度。对象别名 自定义来源表别名。例如：t1,t2。对象描述 请输入对象的描述信息。仅限1000字符以内。过滤条件 自定义SQL的过滤条件。单击 图标，在编辑框输入内容...
云产品集成
您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成功能，实现在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。在 DataWorks 添加 ApsaraDB For OceanBase ...
新建普通维度逻辑表
重要 使用逻辑表作为另一个逻辑表的数据来源,会增加计算逻辑的复杂度和运维难度。对象别名 自定义来源表别名。例如：t1,t2。对象描述 请输入对象的描述信息。仅限1000字符以内。过滤条件 自定义SQL的过滤条件。单击 图标，在编辑框输入内容...
账单数据订阅及查询分析
订阅成功后，账单数据将会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。背景信息 订阅并分析账单数据前，请先了解...
数据归档
受限于OSS的访问延迟，相比ESSD存储，冷表的数据访问会具有更大的延迟（10ms级别）。RDS MySQL归档表的数据大小不能低于6M。开启数据归档后，会影响实例的备份及部分功能项，详情如下：不支持功能项 说明 秒级备份 如需开启秒级备份，请...
限制说明
数据可靠性 云数据库 Memcache 版的数据存储在内存中，服务并不保证缓存数据不会丢失，有强一致性要求的数据不适合存储。数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不...
离线同步数据质量排查
copy on conflict do update PostgreSQL协议族的数据库写出模式，使用copy语法将数据写出到目标端，并且在遇到冲突时替换目标数据源已有数据，数据冲突不会导致脏数据；如果写出数据和目标存储已有数据没有发生数据约束，数据库则将来源...
数据总览
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。在数据地图 首页，单击 元数据采集 后的 数据总览。在数据总览页，查看当前地域阿里云主账号下所有的引擎资源。以...
使用MaxCompute控制台（离线）
同时您需拥有对应的数据权限，如：上传至已有表：需具备对应表的数据写入权限。上传至新增表：需具备对应项目的创建表权限。创建MaxCompute项目详情请参见 项目管理（新版），授权操作请参见 权限管理。基于阿里云对象存储OSS上传数据时，...
创建MaxCompute数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
创建MaxCompute数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Flink_SQL任务开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
合规&认证
当前Dataphin产品的开发、测试、运维和运营服务均已通过 ISO 27001、ISO 27018 认证，意味着Dataphin 及瓴羊在企业信息处理的安全性、技术先进性等方面已经达到国际水平，有能力为企业提供坚实的数据智能服务。ISO/IEC 27001:2013 作为国际...
新建TDengine数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...
新建TDengine数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Flink_SQL任务开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...
DML无锁变更概览
适用场景 历史数据清理 全表更新字段 支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL PostgreSQL：RDS PostgreSQL、PolarDB PostgreSQL版、MyBase PostgreSQL、其他来源PostgreSQL ...
新建Doris数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
新建Doris数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Flink_SQL任务开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
多表合并
本文介绍多表合并算子的使用方法及注意事项。...去重合并 多表合并算子默认不做去重合并，输出的数据包含来源节点的所有记录。勾选去重合并后，节点的输出数据将会过滤重复的记录。去重合并的效果示例参考 对齐字段 中的示意图。
创建Hologres数据源
在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中，您需要先创建Hologres数据源。本文为您介绍如何新建Hologres数据源。背景信息 Hologres即阿里云交互式分析Hologres，是阿里巴巴自主研发的一款交互式分析...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
- 产品推荐
- 这些文档可能帮助您