DataWorks模块使用说明
数据集成 子模块：数据集成 功能说明：数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，支持离线、实时、以及两者混合的同步方式，同时具备表级别粒度以及库...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
使用限制
本文为您介绍数据资源平台的使用限制。限制分类 限制项 最大值 系统设置 工作组数量 1000 云计算资源数量（所有工作组中）1000 数据同步 离线任务数量 1000 实时同步任务数量 500 数据建模 数据建模-模型数量 10000 数据标准-数据元数量 ...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
分析平台概述
Dataphin提供了简单、快速、高效的数据分析平台，您可通过数据分析对数据仓库中的数据进行洞察、在线查询及可视化分析，提取出有效信息而形成结论，辅助决策。前提条件 需开通智能研发版。分析平台简介 在分析平台上，您可选择您有权限的...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
分析平台概述
Dataphin提供了简单、快速、高效的数据分析平台，您可通过数据分析对数据仓库中的数据进行洞察、在线查询及可视化分析，提取出有效信息而形成结论，辅助决策。前提条件 需开通智能研发版。分析平台简介 在分析平台上，您可选择您有权限的...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
构建数据仓库
用户的应用场景复杂，对非结构化的语音、自然语言文本进行语音识别、语义分析、情感分析等，同时融合结构化数据搭建企业级的数据管理平台，并且计算和存储成本最低。平台支撑多种形式的应用，包括使用机器学习算法进行复杂数据分析、使用BI...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
概述
系统设置为用户提供了工作组、云计算资源和成员的创建及管理等能力，为数据资源平台的运行和使用提供了必要的基础保障。工作组管理 工作组管理：支持工作组的创建、管理，以达到各工作组之间空间隔离的效果，并提供编辑、禁用、复制、删除...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
系统设置
系统设置为用户提供了工作组、云计算资源、成员的创建及管理等能力，为数据资源平台的运行、使用提供了必要的基础保障。工作组管理 工作组管理：支持工作组的创建、管理，以达到各工作组之间空间隔离的效果，并提供编辑、禁用、复制、删除...
DataWorks数据集成
数据集成（Data Integration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息...
数据服务概述
DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台，作为数据库和数据应用之间的“桥梁”，DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力，帮助用户统一管理面向内外部的API服务。例如，您可以将...
物联网设备数据上云存储
如何使用规则引擎转发数据到 TSDB 您可以通过在阿里云物联网平台的控制台上配置规则引擎将物联网平台中的数据转发到时间序列数据库（TSDB）的实例中。具体详情请参见 数据转发到实例内的时序数据存储。注意：目前发布的地域有“华东2”只...
DataHub通过数据集成批量导入数据
背景信息 数据集成是阿里云提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可以为20多种数据源提供不同网络环境下的离线数据进出通道。本文以配置DataHub数据源为例，如果您需要使用其它类型...
基于MaxCompute进行大数据BI分析
通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...
管理控制台功能概览
数据湖集成（湖仓一体）通过数据湖集成构建数据湖和数据仓库相融合的数据管理平台。注意事项 管理控制台存在RAM用户（即子账号）访问控制，若您无法看到部分界面功能或界面功能使用报错，请确认是否拥有对应权限。权限详情，请参见 产品及...
消除数据重分布
许多查询在执行中需要进行数据交换,比如redistribution和broadcast。数据交换所导致的费用在整个查询执行时间中所占比例比较可观，同时也消耗网络资源。所以应该尽量减少和避免数据交换。首先分析数据库系统的查询模式，确定系统中成本最高...
交换分区
当 ALTER TABLE…EXCHANGE PARTITION 命令执行完成时，原来位于 target_partition 中的数据将交换至 source_table 中，原来位于 source_table 中的数据将交换至 target_partition 中。ALTER TABLE…EXCHANGE PARTITION 命令可以交换LIST、...
功能简介
数据开发定义了各平台间的数据流转规范，以及各平台计算节点执行顺序的方法，从而让用户能够更加专注于计算逻辑的开发，不必关注底层的技术细节。数据开发规范了各个计算节点的接口，在一定程度上提高了计算节点复用的能力，降低了多人协作...
数据开发
数据开发定义了各平台间的数据流转规范，以及各平台计算节点执行顺序的方法，从而让用户能够更加专注于计算逻辑的开发，不必关注底层的技术细节。数据开发规范了各个计算节点的接口，在一定程度上提高了计算节点复用的能力，降低了多人协作...
导出数据
在页面左侧的 数据库实例 列表区域，找到目标数据库。左键双击数据库名称，进入SQL Console。右键单击目标表，选择 导出>导出表结构。说明 您也可以在页面右上方选择>整库表结构。在 导出表结构 页面，导出数据字典文档。支持导出Word、...
授权系统API
在OpenAPI场景，当外部应用需要对接 数据资源平台 组件的OpenAPI时，需要联系租户管理员，对外部应用调用 数据资源平台 组件的OpenAPI进行授权。本文介绍如何授权API。前提条件 已完成应用创建，具体操作，请参见 新建应用。如需进行API...
确认表血缘
未基于表血缘配置节点依赖的影响 场景一：存在强血缘依赖但未设置节点依赖，导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前...
使用DTS进行数据迁移是否会覆盖掉已存在数据
概述 本文介绍使用DTS进行数据迁移是否会覆盖掉已存在数据。详细信息 如果配置迁移任务时，只迁移几个表，那么预检查...因此在目标库有数据的情况下，DTS不支持进行数据迁移，所以DTS数据迁移不会覆盖掉已存在的数据。适用于 数据传输服务 DTS
产品优势
降低运维复杂度和运维能力要求 更专业的数据安全和治理，满足数据合规要求 提供完整一套基于元数据的安全和治理技术 简化多用户的数据访问和分析，对数据访问进行授权、跟踪和审核 符合法规要求，以减少安全原因导致的数据⻛险
补数据
产生原因 从平台维度来看，业务时间昨天的数据，今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。如果您需要过滤今天的周期实例，您需要在周期实例面板选择过滤业务时间昨天的实例，实例的定时时间...
数据资源平台服务关联角色
本文为您介绍数据资源平台服务关联角色（AliyunServiceRoleForDataQ）的应用场景以及如何删除服务关联角色。背景信息 数据资源平台服务关联角色（AliyunServiceRoleForDataQ）是在某些情况下，为了完成数据资源平台自身的某个功能，需要...
新建工作组
工作组是 数据资源平台 进行数据研发的基本单元，用于数据隔离的命名空间，通常为一个用户组、一个项目或一个应用。在使用 数据资源平台 时，可以通过创建工作组来隔离数据，对数据进行分域管理，以达到各工作组之间空间隔离的效果。本文...
数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
连通性检测
本文介绍云数据库HBase连通性检测和与云数据库HBase网络不通的可能原因。背景信息 云数据库HBase为了保障安全性，不提供Ping的ICMP协议，请不要使用Ping来访问，判断是否连通云数据库HBase，请使用Telnet。平台提供了公网访问及内网访问，...
产品优势
可视化DMS平台：专业的DMS数据管理平台，提供可视化的数据管理、数据查询工作台。数据库内核版本管理：提供数据库内核版本升级管理操作模块，降低内核版本管理成本。如需使用，请前往购买页开通集群 云数据库ClickHouse购买页。
离线同步常见问题
可能原因：数据库相关编码未设置为utf8mb4，导致同步表情符报错。源端的数据本身就是乱码。数据库和客户端的编码不一样。浏览器编码不一样，导致预览失败或乱码。解决方案：针对产生乱码的不同原因，选择相应的解决方法：如果您的原始数据...
任务管理器-WEB服务
4.补充说明 实际生产系统，一般日常开发环境的数据库和线上环境的数据库是不一样的，数据库配置可以定义成变量，比如application.properties中这样定义数据源：spring.datasource.driver-class-name=${ds_drivername} spring.datasource....
任务管理器-微服务端
3、配置补充说明 实际生产系统，一般日常开发环境的数据库和线上环境的数据库是不一样的，数据库配置可以定义成变量，比如application.properties中这样定义数据源：spring.datasource.driver-class-name=${ds_drivername} spring....
DLA Lakehouse实时入湖
Workload（⼯作负载）是围绕湖仓⼀体化而展开的核心工作的编排调度（由DLA Lakehouse统⼀调度），包括如下功能特点：入湖建仓 为了将其他源头的数据，汇总到整个湖仓内构建⼀个统⼀的数据平台，例如有DB类型的⼊湖建仓，也有Kafka的入湖建...
- 产品推荐
- 这些文档可能帮助您