01创建解决方案
数据来源说明如下：关联项 勾选情况 说明 应用 手动选中 来源于对应数据API上线时关联的应用。服务 默认选中 来源于统一服务模块创建的数据API，并上线。场景 来源于数据开发上线状态的生产场景。场景节点 来源于生产场景包含的节点。需在...
范围选择器功能介绍
说明 当前范围选择器页面内的地图数据来源于高德开放平台。选择区域范围 您可以通过两种方式选择地图中的区域范围，并展示选中区域范围的内容详情，包括展示当前选中区域范围的 地名 和 adcode 值。方法一：单击左侧地图处某个区域，即可在...
范围选择器功能介绍
说明 当前范围选择器页面内的地图数据来源于高德开放平台。选择区域范围 您可以通过两种方式选择地图中的区域范围，并展示选中区域范围的内容详情，包括展示当前选中区域范围的 地名 和 adcode 值。方法一：单击左侧地图处某个区域，即可在...
数据服务入门
操作流程 步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您...
一键MaxCompute数据同步节点
用于配置需要同步的MaxCompute数据来源于哪个表。此处是通过配置Hologres外部表来映射MaxCompute源表数据。关键参数说明如下。参数 描述 目标连接 Hologres外部表所在的Hologres实例。目标库 Hologres外部表存放于Hologres实例下哪个数据库...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
Spark概述
使用场景 离线ETL 离线ETL主要应用于数据仓库，对大规模的数据进行抽取（Extract）、转换（Transform）和加载（Load），其特点是数据量大，耗时较长，通常设置为定时任务执行。在线数据分析（OLAP）在线数据分析主要应用于BI（Business ...
新功能发布记录
当存储即将出现溢出时，集群的存储空间可自动进行扩容，保障线上业务的稳定性，主要适用于业务数据量比较大，或者业务量波动较大且频繁的场景。设置存储自动扩容 访问地址优化 支持多机房部署方案添加两个访问地址。当访问地址为 2 个时，...
功能简介
通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。模型标准设计 ...
功能简介
通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。模型标准设计 ...
数据标准
业务域：对数据模型来源于哪些系统信息进行创建、管理。数据域：提供对数据域的定义与管理，供逻辑表设计时进行使用。通用设置 数据建模基础信息：对逻辑表的属性进行配置、管理。字段标准通用信息：对字段标准的属性进行配置、管理。
什么是数据管理DMS
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。视频介绍 功能特性 详情信息，请参见 功能概览。为什么选择数据管理DMS 全域数据...
入门实践
背景信息 DataWorks接入数据建模前，主要集中于数据开发中和开发后的治理。而数据建模新增定义数据形态的流程，为您提供一站式的模型管理解决方案和数据开发前的治理能力。在数据建模时，您可以根据对业务流程的理解和需求的调研，定义企业...
数据表-数据概况
为您介绍数据表详情中“数据概况”的主要功能。功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、...
IoT数据自动化同步至云端解决方案
物联网专注于物物相连，大数据专注于数据的价值化，云计算则为大数据和物联网提供计算资源等服务支持。大数据是物联网体系的重要组成部分。物联网的体系结构包括设备、网络、平台、分析、应用和安全，其中分析部分的主要内容为大数据分析。...
文档更新动态（2022年之前）
更新说明 逻辑表实例 2021年08月24日 离线整库迁移 为了丰富元表的数据来源，支持基于Hologres数据源新建元表为了满足更丰富的场景，Dataphin支持将本地数据中心或在ECS上自建的数据库同步至Hive、MaxCompute、Oracle和AnalyticDB for ...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
东软案例
东软基于Lindorm打造，面向政企互联网化数字信息系统运维监控场景的新一代IT智能运维系统部署架构如下图所示，其中Lindorm作为核心运维数据存储、检索引擎全量接收来自移动终端、网络嗅探器、业务监控探针、日志采集器等多种数据来源实时...
DataV数字大屏设计介绍
但是对于设计的高级感有的时候来源于陌生感，适当地使用一些新颖的组件可以提升数字大屏的质感。确定了数据内容后，就进入布局阶段，您可以参考以下几种方式进行布局规划。您可以根据现代人的阅读习惯，由上至下和由左至右，串联故事线。如...
合规&认证
用户应对业务数据来源、内容及处理数据的合法性负责，请谨慎判断数据来源、内容及处理数据的合法性，依法获得处理此类数据所需的个人同意或政府部门许可、备案或评估。因用户业务数据的来源、内容及对用户业务数据的处理活动违反法律法规、...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
Doris概述
Apache Doris是一个高性能、实时的分析型数据库，能够较好的满足报表分析、即席查询、数据湖联邦查询加速等使用场景。本文为您介绍Apache Doris。背景信息 关于更多Apache Doris信息，详情请参见 ...说明 本文内容和图片来源于 Doris介绍。
BITMAP精准去重
传统数据仓库中的Bitmap去重功能，对亿级别以上Bitmap大基数的交并集计算性能较差，有两个主要原因：一是当Bitmap基数较大（超过1GB）时，网络和磁盘IO处理时间比较长；二是集群在扫描数据后，会全部传输到顶层节点进行并集运算，给顶层单...
产品架构
说明 该图片来源于社区StarRocks的 系统架构。FE FE是StarRocks的前端节点，负责管理元数据、管理客户端连接、进行查询规划、查询调度等工作。每个FE节点都会在内存保留一份完整的元数据，这样每个FE节点都能够提供无差别的服务。FE根据...
配置跨库Spark SQL节点
应用场景 跨库Spark SQL任务主要应用于跨库数据同步和跨库数据加工：跨库数据同步：在线库同步到数据仓库，用于数据加工。在线业务会产生大量的数据，当需要对这些数据进行加工分析时，一般需要将在线业务的数据同步到专门用于数据加工和...
Tablestore Stream配置同步任务
Tablestore Stream插件主要用于导出Tablestore增量数据，本文将为您介绍如何通过Tablestore Stream配置同步任务。背景信息 Tablestore Stream插件与全量导出插件不同，增量导出插件仅支持多版本模式，且不支持指定列。增量数据可以看作操作...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
MaxCompute数据源
离线读MaxCompute分区表时，不支持直接对分区字段进行字段映射配置，需要在配置数据来源时指定待同步数据的分区信息。例如，分区表t0其字段包含id、name两个字段，一级分区为pt，二级分区为ds。读取t0的pt=1，ds=hangzhou分区数据时，您...
采集数据
数据来源：数据来源选择 OSS，数据源名称选择 oss_workshop_log，即 步骤二：创建数据源 中新建的OSS数据源。我的资源组：选择 购买的独享数据集成资源组。数据去向：数据去向选择 MaxCompute，数据源名称选择 odps_first。说明 工作空间...
采集数据
数据来源：数据来源选择 OSS，数据源名称选择 oss_workshop_log，即 步骤二：创建数据源 中新建的OSS数据源。我的资源组：选择 购买的独享数据集成资源组。数据去向：数据去向选择 MaxCompute，然后选择对应数据源名称。2、配置同步任务 ...
离线同步并发和限流之间的关系
同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...
功能简介
在实际的业务系统中，数据来源多种多样的，不同数据对数据处理的时延和数据量的要求不同，这就需要综合多种不同的平台，包括批量、流式环境等。进行数据处理时，上一个平台计算完毕后把数据传递给下一个平台进行计算，多个平台互相配合来...
数据开发
在实际的业务系统中，数据来源多种多样，不同数据对数据处理的时延和数据量的要求不同，这就需要综合多种不同的平台，包括批量、流式环境等。进行数据处理时，上一个平台计算完毕后把数据传递给下一个平台进行计算，多个平台互相配合来完成...
导入概述
您可以根据不同的数据来源选择不同的导入方式：离线数据导入：如果数据源是Hive或HDFS，推荐使用 Broker Load。如果数据表很多导入比较麻烦可以使用Hive外表，性能会比Broker load导入效果差，但是可以避免数据搬迁。如果单表的数据量特别...
JindoFS实战演示
视频发布时间 描述 Fluid+JindoFS对OSS上的数据进行训练加速 Fluid+JindoFS对OSS上的数据进行训练加速 2021-07-06 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
调度依赖配置指引
自定义依赖配置具体如下：依赖工作空间根节点 例如，同步任务中的上游数据来源于其他业务数据库，SQL类型任务对实时同步任务产出的表数据进行加工等场景，您可直接选择挂载依赖至工作空间根节点下。依赖虚拟节点 当工作空间中业务流程较多...
DataWorks on EMR Serverless StarRocks最佳实践
创建离线同步节点，设置数据来源为MySQL，数据去向为StarRocks数据源。选择资源组后，并分别测试与来源数据源、去向数据源的连通性。设置调度周期，提交发布节点后周期执行任务。完成调试后，您可以单击侧边栏的 调度配置，配置调度周期、...
导入概述
您可以根据不同的数据来源选择不同的导入方式：离线数据导入：如果数据源是Hive或HDFS，推荐使用 Broker Load。如果数据表很多导入比较麻烦可以使用Hive外表，性能会比Broker load导入效果差，但是可以避免数据搬迁。实时数据导入：日志...
- 产品推荐
- 这些文档可能帮助您