数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
导入MongoDB数据
说明 如果迁移过程中需要对某些数据进行处理，例如对MongoDB数据中主键进行MD5散列，需要按照如下步骤操作：通过DataWorks将MongoDB数据迁移至MaxCompute（ODPS）。在MaxCompute（ODPS）上执行SQL处理数据。通过DataWorks将MaxCompute数据...
常见问题
相比自建HBase和EMR HBase的优势是什么？提供低成本，一站式的能力。线下或者ECS自建CDH/HDP怎么搬迁到云数据库HBase？HBase提供搬迁不停机搬迁服务，可以在不影响业务的情况下实现数据搬迁。Hive、MapReduce等组件可以两种处理方式。升级...
产品优势
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
入仓解决方案
入仓解决方案包括：实时同步任务：基于离线数据集成的数据传输服务。新建实时同步任务，请参见 新建实时同步任务。实时迁移任务：基于数据传输服务DTS的数据传输服务。新建实时迁移任务，请参见 新建实时迁移任务。说明 基于DTS的数据同步...
配置VPC数据源
这两种ID都可以在阿里云控制台中获取。通过 RDS控制台 获取 VPC ID 和 实例ID。图 1.获取数据库实例ID 图 2.获取VPC ID 如果您的数据库安装在VPC内的ECS上，则需要配置该ECS的 VPC ID 和 实例ID。图 3.获取ECS的实例ID 图 4.获取ECS的VPC ...
DataWorks数据服务对接DataV最佳实践
过去，如果您想要通过DataV展示海量数据的分析结果，需要自建一套离线数据计算自动导入MySQL的任务流程，过程繁琐且成本高。现在通过DataWorks为您提供的 数据集成>数据开发>数据服务 的全链路数据研发平台，结合MaxCompute即可快速搭建...
什么是数据管理DMS
数据集成：支持常见数据源的实时、离线数据集成，数据集成过程中支持灵活自定义数据的处理逻辑，帮助解决企业数据孤岛的痛点。简单易用：提供覆盖数据全生命周期的数据流转及处理能力。通过提供图形化、向导式的开发模式，智能预警及自主...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
C100售前支持相关问题
支持存储扩容，可以在控制台中进行扩容。存储空间满了，数据是否可以备份？审计数据可以通过控制台进行备份，备份的数据存储在对象存储OSS中。存储空间已经清空，为何控制台还是显示存储空间满？SLS清除数据任务一般会有1至2小时的延迟，...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
退订
本章节将为您介绍什么是CDP退订、退订的具体操作流程。CDP退订简介 CDP集群退订费用包含ECS硬件费用和云市场软件订单费用。退订操作步骤 重要 退订后，线上集群的数据及计算任务将被删除无法继续使用。因此在退订前，请确保您在线上集群的...
创建ClickHouse数据源
阿里云数据库ClickHouse的更多信息，请参见 云数据库 ClickHouse-什么是云数据库ClickHouse。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏 管理中心...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
新功能发布记录
什么是数据管理DMS 02月 功能名称 变更类型 功能描述 相关文档 数据库迁移 新增 通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的清理，保证数据...
按时间戳冷热分离
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
文档更新动态（2022年之前）
更新说明 什么是Dataphin 2021年10月9日 新增资产治理概述 资产治理概述中包括了应用场景、功能优势、相关概念和使用流程等内容。新增说明 治理概述 2021年09月 更新时间 特性 描述 类别 产品文档 2021年09月30日 新增案例介绍 新增了基本...
执行补数据并查看补数据实例（旧版）
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维中心。在左侧导航栏，单击 周期任务运维>周期任务，进入 周期任务 页面。目标节点补数据。单击周期任务...
离线同步常见问题
文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否...
组件使用常见问题
DataV中地图瓦片的坐标系格式及服务规范是什么？在DataV平台中，默认支持的地图瓦片格式是WGS84或者GCJ-02球面坐标，按照标准Web Mercator（SRID:3857）投影方式进行切片。关于瓦片服务，在谷歌地图中，使用的是标准的TMS瓦片服务；在高德...
Github实时数据同步与分析
公共数据源MySQL中保留近7天数据，离线数据将会通过全量进行同步，实时数据将在全量初始化完成后，实时写入Hologres。待数据同步成功后，前往Hologres进行实时数据分析。实时数据分析与可视化 实时数据分析。进入 HoloWeb SQL编辑器，查询...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
创建Hologres数据源
在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中，您需要先创建Hologres数据源。本文为您介绍如何新建Hologres数据源。背景信息 Hologres即阿里云交互式分析Hologres，是阿里巴巴自主研发的一款交互式分析...
创建Hologres数据源
在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中，您需要先创建Hologres数据源。本文为您介绍如何新建Hologres数据源。背景信息 Hologres即阿里云交互式分析Hologres，是阿里巴巴自主研发的一款交互式分析...
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
离线同步并发和限流之间的关系
脏数据限制 阅读此部分，您可以解决和理解如下问题：问题一：什么是数据同步的脏数据？问题二：如何配置数据同步任务脏数据限制？问题三：数据同步速率和脏数据有哪些关联关系？脏数据限制能力用来控制任务在遇到脏数据时的行为，所谓脏...
创建PolarDB数据源
连接重试次数将默认应用于 离线集成任务 与 全域质量（需开通资产质量功能模块），离线集成任务中支持单独配置任务级别的重试次数 单击 测试连接，测试数据源是否可以和Dataphin进行正常的连通。重要 如果连接测试失败，您可以根据网络连通...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
数据加工过程卡点校验
因此，保障数据加工过程中的质量是保障离线数据仓库整体数据质量的重要环节。您可以通过DataWorks、MaxCompute Studio、MaxCompute SDK提交各种任务加工MaxCompute中的数据。无论您使用什么工具，都会经历代码开发、测试、发布、运维及变更...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
通过DataWorks导入数据
您可以从 云数据库 SelectDB 版 控制台的 实例详情>网络信息 中获取 VPC地址（或 公网地址）和 MySQL协议端口。示例：jdbc:mysql:/selectdb-cn-4xl3jv1*.selectdbfe.rds.aliyuncs.com:9030/test_db 说明 当MySQL实例和 云数据库 SelectDB ...
通过函数计算节点实现GitHub实时数据分析与结果发送
以163邮箱为例，您可以参考 SMTP服务器是什么、如何使用授权码 获取相关信息。完成代码开发后，单击 部署代码。DataWorks侧操作：创建数据源并绑定计算引擎 创建MySQL数据源。本实践使用的公共Github数据存储在公共的MySQL数据库中，您需要...
基本概念
冷热分离 Lindorm宽表引擎实现了数据的冷热分离能力，系统会自动根据用户设置的冷热分界线自动将表中的冷、热数据分类归档到冷、热存储中。更多信息，请参见 冷热分离介绍。LTS LTS（Lindorm Tunnel Service）是面向Lindorm业务场景特点...
备份集查询功能概览
您需要选择目标备份集并创建数据湖，就可以在离线数据湖中通过SQL语句查询到该表在不同备份集中的数据。应用场景 高效查询备份集：在不恢复数据库的情况下，仅需简单的SQL语句即可查询到备份数据。搭建离线数据仓库：您可以将DBS备份数据...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
- 产品推荐
- 这些文档可能帮助您