简介
当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您解答数据的相关问题的工具时，您可以使用DMS的数据工作站功能。背景信息 Data Fabric是一种创新的数据管理方法，着重于迅速...
创建快照
再次创建快照，相对耗时较短，但依然取决于和上一份快照之间的数据变化量。变化越大，耗时越久。创建快照时，请注意：您不能修改ECS实例状态，如停止或重启ECS实例。数据库文件系统快照功能不另外单独收取费用，仅收取云盘快照费用，请参见...
SQL可视化图表
柱状图 柱状图适用于用来比较各组数据之间的差别，并且可以显示一段时间内的数据变化情况。图例 数据要素 X轴 Y轴 拆分 说明 单击 图标，支持根据数据要素进行升序、降序、不排序。X轴和Y轴同时配置了排序时，以X轴排序为准。单击 图标，可...
SQL可视化图表
柱状图 柱状图适用于用来比较各组数据之间的差别，并且可以显示一段时间内的数据变化情况。图例 数据要素 X轴 Y轴 拆分 说明 单击 图标，支持根据数据要素进行升序、降序、不排序。X轴和Y轴同时配置了排序时，以X轴排序为准。单击 图标，可...
计费常见问题
转换计费方式 从按量计费变为包年包月计费模式时，是否会引起数据变化或服务重启？MaxCompute项目采用包年包月计费模式后，可以切换为按量计费模式吗？如果可以切换，费用如何计算？续费 以按量计费模式开通了MaxCompute，如何停用自动续费...
数据集成支持的数据源
实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至目标端数据源中，实现 来源端数据源与目标端数据源 实时地保持数据同步。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 ...
数据传输作业：数据集成
实时同步 DataWorks提供的实时数据同步功能，使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至MaxCompute中，实现MaxCompute实时保持和源库的数据对应。一个实时同步任务支持多个转换插件进行数据清洗，并支持多个...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
表设计最佳实践
此种分区方式可避免发生因某一个地点或某一个时间的天气变化而造成其他无关数据变化。建议采集终端上使用DataHub进行数据汇聚，然后依据稳定的流量值选择合适的Shard通道数量，以批量数据传输的方式写入到天气日志表中，而非INSERT INTO。...
低成本历史库
方案架构 LTS数据同步服务对接MySQL等关系行数据库支持数据的全增量一体化同步，同时提供多表迁移、数据变化、DDL感知等企业级同步能力，帮助用户简单高效完成数据的迁移。云原生多模数据库Lindorm提供海量数据的低成本存储能力（0.12元/GB...
低成本RDS历史库
方案架构 LTS数据同步服务对接MySQL等关系行数据库支持数据的全增量一体化同步，同时提供多表迁移、数据变化、DDL感知等企业级同步能力，帮助用户简单高效完成数据的迁移。云原生多模数据库 Lindorm 提供海量数据的低成本存储能力（0.12元/...
应用场景：低成本历史库
方案架构 LTS数据同步服务对接MySQL等关系行数据库支持数据的全增量一体化同步，同时提供多表迁移、数据变化、DDL感知等企业级同步能力，帮助用户简单高效完成数据的迁移;云原生多模数据库 Lindorm 提供海量数据的低成本存储能力（0.11元/...
实时物化视图
例如，当某张10亿数据量的事实表JOIN一张1万数据量的维度表的实时物化视图中，10亿级的事实大表通常可以获得很高的写入性能，而1万数据量的较小维度表的数据变化由于增量计算时对结果集的影响存在放大，写入性能会成比例（写入放大的比例）...
数据库高级特性管理
说明 SQL Server默认会启用自动更新统计信息的机制，但在某些情况下，自动更新统计信息的频率可能会滞后于实际数据变化，从而导致查询性能下降。SQL Server自动更新统计信息的机制，请参见 微软官方文档。注意事项 更新统计信息操作可能会...
时间轴
图表样式 时间轴支持自定义时间轴的节点标签样式、事件节点样式以及交互等配置，适用于在可视化应用中展示不同时间段的数据变化情况，比如使用时间轴组件实现数据轮播。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
双轴折线图
图表样式 双轴折线图是折线图的一种，与基本折线图相比，双轴折线图的一个类目对应两个值，仅支持两个系列的数据配置，能够以折线和区域相结合的方式，智能地展示两维的数据变化趋势。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项...
时间轴
图表样式 时间轴支持自定义时间轴的节点标签样式、事件节点样式以及交互等配置，适用于在可视化应用中展示不同时间段的数据变化情况，比如使用时间轴组件实现数据轮播。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置...
新功能发布记录
功能发布更新 2024年 03月 功能名称 变更类型 功能描述 相关文档 数据工作站 新增 支持以文档形式交付查询的数据和数据变化趋势等信息，并支持在交付后使用智能工具解答数据相关问题。使用数据工作站功能可以提高数据交付效率和数据自助...
功能发布记录 2022年之前
提供的实时数据同步功能，可以将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。利用解决方案可以实现全增量一体化同步。2021.4.15 全部地域。解决方案介绍 实时同步介绍 2020-07 功能...
基于MaxCompute实现拉链表
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
Hudi概述
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。背景信息 通常，企业构建和应用数据湖需要经历数据入湖、数据湖存储与管理、数据探索与分析过程。MaxCompute基于阿里云DLF（Data Lake Formation）、RDS（Relational Database ...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
DataWorks版本到期降级后功能变化清单
DataWorks模块 功能点 到期降级变化 数据集成 自定义数据集成资源组 不影响使用自定义数据集成资源组的任务调度执行，但是不能对资源组进行任何管理操作。DataStudio 全文检索 功能停用。组件管理 功能停用。流程控制 功能停用、任务失败。...
TSDB数据源
DataWorks数据集成支持使用TSDB Writer将数据点写入到阿里巴巴云原生多模数据库Lindorm TSDB数据库中，本文为您介绍DataWorks的TSDB数据写入能力。支持的版本 TSDB Writer目前仅支持Lindorm TSDB全部版本以及HiTSDB 2.4.x及以上版本，其他...
产品计费
到期后资源状态变化 数据安全中心实例到期后，实例和相关资源变化如下：到期后，数据安全中心实例进入已过期状态。到期后15天内您可以续费实例，续费成功后保留所有资源。到期15天后，释放或关闭相关资源，具体如下：释放数据安全中心实例...
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、...数据质量为您解决以下问题：数据库频繁变更问题 业务频繁变化问题 数据定义问题 业务系统的脏数据问题 系统交互导致质量问题 数据订正引发的问题 数据仓库自身导致的质量问题
实时物化视图
增量刷新实时物化视图 基表的数据变化触发相应的Trigger。通过Trigger获取到基表的增量数据。根据实时物化视图的定义和当前基表的增量数据计算实时物化视图的增量。将计算出的增量应用到实时物化视图上，完成实时物化视图的增量刷新。删除...
实时物化视图
增量刷新实时物化视图 基表的数据变化触发相应的Trigger。通过Trigger获取到基表的增量数据。根据实时物化视图的定义和当前基表的增量数据计算实时物化视图的增量。将计算出的增量应用到实时物化视图上，完成实时物化视图的增量刷新。删除...
实时物化视图
增量刷新实时物化视图 基表的数据变化触发相应的Trigger。通过Trigger获取到基表的增量数据。根据实时物化视图的定义和当前基表的增量数据计算实时物化视图的增量。将计算出的增量应用到实时物化视图上，完成实时物化视图的增量刷新。删除...
数据迁移链路规格说明
说明 如果一条SQL语句中包含对多行数据的操作，则计为多条数据记录变化；对同一条记录反复增删改则计为多条数据记录变化。每次COMMIT操作也会被计为一次数据记录变化的次数。数据迁移规格说明 数据迁移根据迁移链路的迁移性能上限，定义了...
离线同步数据质量排查
因此在源头数据变化时会同步不到查询SQL之后的变化。这类原因导致的问题一般是符合预期的。这种情况一般多次运行同步任务每次同步的记录条数会有差异。错误的查询检查条件 以MySQL为例，可以配置数据抽取过滤where条件，在where条件中有...
三维折线图
图表样式 三维折线图是折线图的一种，与传统二维折线图相比，三维折线图主要以3D空间展示的方式，查看同一类目下不同数据的变化，智能地展示三维效果下的数据变化趋势。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
三维折线图
图表样式 三维折线图是折线图的一种，与二维传统折线图相比，三维折线图主要以3D空间展示的方式，查看同一类目下不同数据的变化，智能地展示三维效果下的数据变化趋势。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置...
基础折线图
图表样式 基础折线图是移动端组件中折线图的一种，与双轴折线图相比，基础折线图的一个类目只对应一个值，主要通过多系列数据配置的方式，展示同一类目下不同数据的变化，能够以折线和区域相结合的方式，智能地展示多维的数据变化趋势。...
基础折线图
图表样式 基础折线图是移动端组件中折线图的一种，与双轴折线图相比，基础折线图的一个类目只对应一个值，主要通过多系列数据配置的方式，展示同一类目下不同数据的变化，能够以折线和区域相结合的方式，智能地展示多维的数据变化趋势。...
数据扫描和识别
只有在您的数据库中的数据发生变化时，才会扫描有变化的文件或表。为了减少扫描对您数据库性能的影响，您可以参考以下规则配置全量扫描周期：增大全量扫描的扫描周期，有效减轻 DSC 扫描对数据库性能产生的影响。将扫描时间设置为数据库...
开通数据订阅
数据订阅功能可以帮助您获取Lindorm的实时增量数据，及时掌握数据的变化情况。您可以在Lindorm管理控制台开通数据订阅功能，并根据自身业务需求消费增量数据，搭建多种业务场景。本文介绍在控制台开通数据订阅功能的方法。前提条件 已开通...
区域图（v4.0以下版本）
当数据源给定的数据数量不一定时，可规定展示数据的数量以及动态的数据变化迁移。最大容量：可视化应用上最多显示的数据条数。动画：图表的动画效果样式，可单击 图标开启或关闭动画效果。初始动画时长：组件第一次渲染动画的时长，单位为...
基本折线图（v3.0及以上版本）
图表样式 基本折线图是折线图的一种，与双轴折线图相比，基本折线图的一个类目只对应一个值，主要通过多系列数据配置的方式，展示同一类目下不同数据的变化，能够以折线和区域相结合的方式，智能地展示多维的数据变化趋势。配置面板 搜索...
- 产品推荐
- 这些文档可能帮助您