FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
权限管理与规范化数据开发
说明 关于简单模式与标准模式差异详情可参考文档：必读：简单模式和标准模式的区别 标准模式对使用流程的影响 如图，标准模式“生产、开发隔离”的模式将影响数据模型设计、数据处理逻辑代码发布等流程。实践操作流程 以下以一个具体的实践...
功能更新动态（2022年之前）
华北2（北京）、华东1（杭州）计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，研发效率...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
资源组说明
资源组分类 资源组是用于执行具体任务的服务，如接收调度引擎的指令执行SQL任务、数据同步任务，也包括按数据API的定义提供数据服务。按使用场景，资源组分为两类：系统资源组：由数据资源平台提供，供所有用户使用，对于QPS和并发有限制，...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
FineReport
如果您是第一次安装FineReport，需要安装MySQL服务器（例如阿里云RDS MySQL），用于导入FineReport的元数据，FineReport提供了两种数据链接方式：方式一：在数据决策系统中进行连接，请参见 JDBC连接数据库。方式二：在设计器中进行连接，...
资源组说明
资源组分类 资源组是用于执行具体任务的服务，如接收调度引擎的指令执行SQL任务、数据同步任务，也包括按数据API的定义提供数据服务。按使用场景，资源组分为两类：系统资源组：由企业数据智能平台提供，供所有用户使用，对于QPS和并发有...
功能更新动态（2024年）
创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务列表，支持批量提交...
公告
数据标准新增数据分级、数据分类、值域、是否唯一值等系统属性，此类属性内置质量监控配置，可通过一键引用系统属性实现在创建数据标准时快速配置质量监控模板，降低配置成本，提升监控配置的正确性。资产质量新增治理工作台功能，实现从...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 ...
概览
功能项 说明 任务编排 通过一个或多个任务编排而成的任务组，实现数据归档、数据集成、数仓数据开发、数据挖掘等需求。数据服务 将DMS上管控的数据以API的形式快速对外输出。数据可视化 提供灵活布局和丰富的自定义样式能力，及大量可视化...
IoT数据自动化同步至云端解决方案
但同步至大数据系统或传统数据库的数据，需要使用专业的数据同步系统。下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行...
订阅方案概览
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。数据订阅方案 说明 是否...
订阅方案概览
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。数据订阅方案 说明 是否...
汇总数据层（DWS）
汇总数据层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总表。汇总数据层的一个表通常会对应一个统计粒度（维度或维度组合）及该粒度下若干派生指标。汇总表设计原则 聚集是指针对原始明细粒度的数据...
通过数据同步功能同步Kafka至湖仓版（推荐）
说明 当数据源下存在数据同步或数据迁移任务时，此数据源无法直接删除，需先在 数据同步 页面，单击目标同步任务 操作 列的 删除，删除数据同步或数据迁移任务。JSON解析层级和Schema字段推断示例 解析层级指按相应层数解析出JSON中的字段...
通过数据同步功能同步SLS至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建SLS同步链路，通过同步链路从...说明 当数据源下存在数据同步或数据迁移任务时，此数据源无法直接删除，需先在 数据同步 页面，单击目标同步任务 操作 列的 删除，删除数据同步或数据迁移任务。
创建CDH Spark节点
Spark是一个通用的大数据分析引擎，具有高性能、易用和普遍性等特点，可用于进行复杂的内存分析，构建大型、低延迟的数据分析应用。...大规模ETL任务：进行大数据集的抽取、转换和加载，为数据仓库或其他存储系统准备数据。
数据归档至AnalyticDB PostgreSQL版
工单审批通过后，系统自动执行数据归档任务。若任务执行失败，您可在工单的执行区域，单击操作列下的 详情，查看归档任务日志，找出任务执行失败的原因。若是由于网络或数据库连接失败等偶然发生的问题，您也可以单击 断点重试，尝试重新...
数据归档至RDS MySQL
工单审批通过后，系统自动执行数据归档任务，等待归档任务执行完成。若任务执行失败，您可在工单的执行区域，单击操作列下的详情，查看归档任务日志，找出任务执行失败的原因。若是由于网络或数据库连接失败等偶然发生的问题，您也可以单击...
数据归档至PolarDB MySQL版
工单审批通过后，系统自动执行数据归档任务，等待归档任务执行完成。若任务执行失败，您可在工单的执行区域，单击操作列下的详情，查看归档任务日志，找出任务执行失败的原因。若是由于网络或数据库连接失败等偶然发生的问题，您也可以单击...
数据归档至AnalyticDB MySQL 3.0
工单审批通过后，系统自动执行数据归档任务，等待归档任务执行完成。若任务执行失败，您可在工单的执行区域，单击 操作 列下的 详情，查看归档任务日志，找出任务执行失败的原因。若是由于网络或数据库连接失败等偶然发生的问题，您也可以...
数据归档至Lindorm
本文介绍将数据归档至 云原生多模数据库Lindorm 的注意事项以及操作步骤。前提条件 支持如下类型的源数据库：MySQL类型：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。PostgreSQL类型：RDS PostgreSQL、PolarDB PostgreSQL版。...
数据归档至Lindorm
本文介绍将数据归档至 云原生多模数据库Lindorm 的注意事项以及操作步骤。前提条件 支持如下类型的源数据库：MySQL类型：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。PostgreSQL类型：RDS PostgreSQL、PolarDB PostgreSQL版。...
补数据任务概述
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
补数据任务概述
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
数据源和项目协同
背景信息 项目管理员创建一个项目成员后，项目成员可以创建数据源，并在项目中添加数据源中的数据库后，即可进行数据库变更任务。系统管理员在 Web 版 ODC 中创建项目，并为该项目指定成员。系统管理员或者拥有新建数据源角色权限的项目...
系统配置
您可在数据保护伞的系统配置页面，设置数据保护伞的识别内容、识别范围，水印文件保存时间，是否展示风险识别的数据安全等级，以及告警信息的接收邮件及WebHook地址，以便及时发现并处理潜在安全风险。进入系统配置页面 进入数据开发页面。...
RDS MySQL修改字符集（平滑方案）
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
实时同步任务延迟解决方案
说明 实时同步任务从一个系统读数据，并将数据写入另一个系统，当写数据比读数据慢时，则读数据一侧的系统会受到反压，导致速度变慢。即造成瓶颈的系统可能会由于反压导致另一侧系统的一些异常，此时要优先关注造成瓶颈的系统的异常情况。...
DataWorks On MaxCompute使用说明
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
Broker Load
本文介绍如何通过Broker Load导入数据至 云数据库 SelectDB 版 实例。背景信息 Broker Load是一种异步的导入方式，通过读取远端存储（如HDFS、S3）上的数据，导入数据到 云数据库 SelectDB 版 的表中。您可通过MySQL协议创建 Broker Load ...
行为模型学习配置
智能分析是指数据库审计系统可以学习用户的数据库操作习惯，通过对用户操作所涉及的IP、客户端操作工具等信息进行统计分析，实现对异常行为的告警，可以帮助您发现数据库异常行为。本文介绍了在云盾数据库审计系统中，如何添加行为模型学习...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
- 产品推荐
- 这些文档可能帮助您