路网轨迹层
当轨迹层请求完成时 轨迹层请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 ...
热力线层
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
点热力层（v3.x版本）
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
热力线层
当热力线层请求失败时 热力线层请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
2024年
操作审计事件数据迁移至MaxCompute 2024-03-26 新增Pandas API 新说明 MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据...
数据组织优化
超过一定时间跨度的文件也不会合并，因为时间跨度太大的数据合并在一起的话，当Time travel或者增量查询时，可能会读取大量不属于此次查询时间范围的历史数据，造成不必要的读放大问题。由于数据是按照 BucketIndex 来切分存储的，因此...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
离线同步能力说明
功能概述 离线同步支持的能力如下图所示：功能 描述 异构数据源间的数据同步 数据集成目前支持40+数据源类型，包括关系型数据库、非结构化存储、大数据存储、消息队列间的数据同步。您可以通过定义来源与去向数据源，并通过数据集成提供的...
DataStudio侧实时同步任务配置
实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已打通...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
账单数据订阅及查询分析
订阅成功后，账单数据将会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。背景信息 订阅并分析账单数据前，请先了解...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
数据迁移与同步FAQ
说明 DTS的数据同步功能可支持更加丰富的Redis同步场景和功能，建议通过DTS的数据同步功能来完成数据迁移。更多信息，请参见 Redis数据同步方案概览。使用DTS遇到预检查报错，如何解决？DTS在执行数据迁移或数据同步任务之前，会对源库和...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
场景：配置增量数据离线同步任务
离线同步任务支持您通过配置类似的数据过滤功能来决定同步全量数据还是增量数据，配置过滤条件时，将只同步满足过滤条件的数据。同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
什么是数据管理DMS
高效协同：提供覆盖数据全生命周期的 DevOps，内置阿里巴巴大规模实践的数据管控体系。保障数据安全的同时，提升企业研发效率。更多信息，请参见 产品优势。如何使用数据管理DMS 您可以通过以下方式使用DMS，进行数据资产管理、数据库开发...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
什么是MaxCompute
MaxCompute提供离线和实时的数据接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和...
敏感数据保护
Dataphin的数据分级可以在后续的数据脱敏保护、权限申请、权限下载等环节使用，支持按照不同的数据分级使用不同的管控策略。敏感数据识别 Dataphin支持通过自动识别和手动打标两种方式来生成敏感数据清单。自动识别 Dataphin支持使用识别...
敏感数据保护
Dataphin的数据分级可以在后续的数据脱敏保护、权限申请、权限下载等环节使用，支持按照不同的数据分级使用不同的管控策略。敏感数据识别 Dataphin支持通过自动识别和手动打标两种方式来生成敏感数据清单。自动识别 Dataphin支持使用识别...
我是安全管理员
数据分析 数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。数据服务 数据服务提供最小粒度数据输出、可视化制作、云市场售卖等功能。安全与规范 操作日志 操作日志中保存了数据变更...
管理数据源权限
审批中心支持管理员按源端、目的端数据源的组合来定义需要被审批的数据集成任务。详情请参见 数据集成审批策略。进入数据源管理页面 进入管理中心页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 管理中心，在下拉框中...
我是DBA
数据分析 数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。数据服务 数据服务提供最小粒度数据输出、可视化制作、云市场售卖等功能。安全与规范 安全规则 配置安全规则能够让所有SQL...
生成数据API
数据服务解决从数仓到应用的“最后一公里”，将数据源中的数据表快速生成数据API，在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次...
我是管理员
数据分析 数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。数据服务 数据服务提供最小粒度数据输出、可视化制作、云市场售卖等功能。解决方案 一键建仓 一键创建实时同步的数据仓库，...
数据地图概述
说明 如果RAM用户无某张表的查询权限，默认情况下将无法通过数据地图表详情页中的数据预览功能来查看该表数据。MaxCompute表数据预览权限控制 您可以在 配置管理>项目管理配置 中对具体工作空间的MaxCompute开发表或生产表开启预览权限，...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
01创建数据字典并物理化
数据字典帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量，创建并维护逻辑表中使用的数据字典，方便数据元引用数据字典来规范数据元的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量，本章节...
离线同步数据质量排查
copy on conflict do update PostgreSQL协议族的数据库写出模式，使用copy语法将数据写出到目标端，并且在遇到冲突时替换目标数据源已有数据，数据冲突不会导致脏数据；如果写出数据和目标存储已有数据没有发生数据约束，数据库则将来源...
概述
背景信息 DMS数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘或大屏中对数据集中的数据以表格、交叉表、折线图、柱条形...
数据安全
数据备份与恢复 云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对...
入仓解决方案
数仓开发的项目空间由入仓解决方案和业务场景两部分组成。入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近...说明 对于某些数据同步不支持的数据库（例如MongoDB实例），您可以通过增量数据迁移的方式来实现数据同步。
数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
创建Oracle数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
创建Oracle数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Flink_SQL任务开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
- 产品推荐
- 这些文档可能帮助您