未来规划
数据处理与分析：海量数据分析在线化（实时在线交互式分析）。如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠...
应用场景
EMR Serverless Spark可以满足企业级用户的多种数据处理与分析需求。本文介绍EMR Serverless Spark的应用场景以及相应的解决方案。建立数据平台 得益于其开放式架构设计，EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
概述
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
功能特性
支持数据质量检验和控制 可以设置数据质量规则和异常报警策略，及时发现和处理数据质量问题。支持实时监控任务运行状态和查看日志 用户可以实时了解任务的执行情况，并设置异常告警，保证任务的稳定运行。支持多种数据库产品组合 支持多种...
配置学区地图Tab列表交互
在 id=2：初中 的 串行数据处理 节点与 公办初中点 和 民办初中 的连线中分别添加两个 串行数据处理 节点，并分别命名为 schooltype=公办 和 schooltype=民办。串行数据处理 节点添加完成后，最终效果实现双重判断标准，部分截图如下所示。...
配置学区地图Tab列表交互
在 id=2：初中 的 串行数据处理 节点与 公办初中点 和 民办初中 的连线中分别添加两个 串行数据处理 节点，并分别命名为 schooltype=公办 和 schooltype=民办。串行数据处理 节点添加完成后，最终效果实现双重判断标准，部分截图如下所示。...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
什么是数据库备份DBS
常见问题和故障处理 使用DBS时遇到的各类问题，例如需要修改备份源数据库、数据库恢复失败、如何备份RDS只读实例等，您可以在 常见问题 或 常见报错 内查找，可以解决您的绝大部分问题。说明 若在文档中未找到您遇到的异常或报错，或按照...
数据组织优化
MaxCompute会根据系统状态自动触发执行，以保证Clustering服务的高效运行，减少对计算和I/O资源的消耗，从而解决读写放大的问题，从而提高整体的数据组织和处理性能。Compaction 当前痛点 Transactional Table 2.0支持Update和Delete格式的...
配置学区地图单选框交互
将 公办 的 串行数据处理 节点分别与 公办小学点 的 显示 动作和 民办小学 的 隐藏 动作连线。将 民办 的 串行数据处理 节点分别与 公办小学点 的 隐藏 动作和 民办小学 的 显示 动作连线。最终的连线效果如下。使用同样的方式对 初中 节点...
配置学区地图单选框交互
将 公办 的 串行数据处理 节点分别与 公办小学点 的 显示 动作和 民办小学 的 隐藏 动作连线。将 民办 的 串行数据处理 节点分别与 公办小学点 的 隐藏 动作和 民办小学 的 显示 动作连线。最终的连线效果如下。使用同样的方式对 初中 节点...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
产品架构
高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求，整体架构如下：TSCore 是时序引擎中负责数据组织的核心部分，其整体思想与LSM结构相似，数据先写入Memchunk，然后Flush到磁盘，但由于时序数据天然的顺序写入特征，定向...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
数据仓库研发规范概述
设计阶段：数据产品经理、数据开发者应如何综合性能、成本、效率、质量等因素，更好地组织与存储数据。开发阶段：数据研发者如何高效、规范地进行编码工作。测试阶段：测试人员应如何准确地暴露代码问题与项目风险，提升产出质量。发布阶段...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
2023年
SQL处理优化 2023-06-26 新增数据组织优化 新说明 本文为您介绍Transactional Table 2.0在数据组织优化服务上的架构设计。数据组织优化 2023-06-26 新增TimeTravel查询与Incremental查询 新说明 对于Transaction Table2.0类型的表，...
轮播列表
事件 事件 说明 当数据接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当点击单行时 当单击轮播列表...
配置学区地图区域热力层交互
将 top3 的 串行数据处理 节点分别与 第五步 中所有的 name、average 和 count 节点的 导入数据接口 动作连线。部分连线结果如下。在上一步的九条连线中各添加一个 串行数据处理 节点，分别命名为 1-name、1-count、1-average、2-name、2-...
配置学区地图区域热力层交互
将 top3 的 串行数据处理 节点分别与 第五步 中所有的 name、average 和 count 节点的 导入数据接口 动作连线。部分连线结果如下。在上一步的九条连线中各添加一个 串行数据处理 节点，分别命名为 1-name、1-count、1-average、2-name、2-...
双轴折线图
图表样式 双轴折线图是折线图的一种，与基本折线图相比，双轴折线图的一个类目对应两个值，仅支持两个系列的数据配置，能够以折线和区域相结合的方式，智能地展示两维的数据变化趋势。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项...
基本散点图
事件 事件 说明 当散点图接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当点击数据项时 当单击基本...
自定义区域下钻层（v4.x版本）
当自定义topojson数据接口请求完成时 自定义topojson数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当区域被点击...
自定义区域下钻层（v3.x版本）
当自定义topojson数据接口请求完成时 自定义topojson数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当区域被点击...
梯形柱状图
事件 事件 说明 当梯形柱状图接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当点击数据项时 当选中...
水平胶囊柱状图
事件 事件 说明 当水平胶囊柱状图接口请求完成时 数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当点击数据项时 当...
分组柱状图
图表样式 分组柱状图是柱状图的一种，支持根据数据类目自动分组展示，能够更加清晰智能地展示各类别之间和各类别内部的数据差异，但在数据看板中所占空间较大。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板...
斑马柱状图
图表样式 斑马柱状图是柱状图的一种，与基本柱图相比，斑马柱状图中的柱子是由不连续的可配置的线条组成，能够更加智能美观地展示多维的数据差异，但在可视化应用中占的空间较大。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标...
大数据安全治理的难点
数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有哪些资产？这些资产分布在哪里、承载着什么样的业务？资产内有哪些数据？数据业务属性及重要程度...
如何基于LSM-tree架构实现一写多读
其次是数据组织方式不一样，LSM-tree引擎采用分层存储，追加写入新数据，需要解决多个计算节点一致性物理快照以及Compaction问题。最后，作为数据库引擎，还需要解决一写多读模式下DDL的物理复制问题。同时，为了产品化，充分发挥B+tree...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
查看并管理整改流程
重新校验：仅待处理、已忽略可重新校验，发起重新校验后，如果数据质量问题已经处理，可以重新执行校验规则，会按照执行后的校验状态修改治理项状态：校验不通过-未处理，校验通过-已处理。关联知识库文档：规则关联知识后，可在质量规则和...
X-Engine简介
数据组织 X-Engine的每层都划分成固定大小的Extent，存放每个层次中的数据的一个连续片段（Key Range）。为了快速定位Extent，为每层Extents建立了一套索引（Meta Index），所有这些索引，加上所有的memory tables（active/immutable）一起...
Serverless模式
迁移类型 文档 是否支持 数据写入 使用INSERT ON CONFLICT覆盖写入数据 支持 使用COPY ON CONFLICT覆盖导入数据 支持 基于Client SDK数据写入 支持 表级迁移 通过DataWorks导入数据 支持 通过DTS从云数据库同步数据 支持 通过DTS从自建数据...
- 产品推荐
- 这些文档可能帮助您