数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
大数据专家服务
帮助用户构建和持续优化的大数据体系架构，赋能技术团队具备大数据平台建设、架构设计、AI算法建模以及运维保障能力。
离线同步数据质量排查
以下介绍最常见的关系型数据库的写出模式（不同数据源类型写出模式不同）：insert into 将数据使用insert into的SQL语句写出至目标端，如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），则来源数据会作为...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
每个新版本的发布都带来了许多改进和新特性，以提高性能、可用性和安全性。目前，升级到 PolarDB PostgreSQL版（兼容Oracle）2.0版本可以显著提升数据库性能与使用体验。2.0版本引入了新的查询优化算法和存储引擎，提高了查询速度和并发...
DM（达梦）数据源
支持的字段类型 DM Reader和DM Writer支持大部分通用的关系数据库数据类型，例如数字、字符等。但也存在部分类型没有支持的情况，请注意检查您的数据类型，根据具体的数据库进行选择。DM Reader针对DM类型的转换列表，如下所示。类型分类 ...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、...，帮助用户构建和持续优化的大数据体系架构...
新旧版本使用指引
新版与旧版的关系 相互独立使用 新版与旧版的项目、数据集（旧版称为媒体集）均为完全独立，相互不受任何干扰。例如：控制台界面，新旧版本可在控制台切换，以管理对应项目。SDK/API版本。旧版使用旧版SDK，API版本为2017-09-06。新版使用...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
外部表概述
随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
面临的业务挑战
这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑增加了企业存储和使用数据的成本。分析不实时 企业运营的形式越来越多样化，...
创建项目
元数据关系数量 每个数据集中元数据关系的最大个数。说明 当前该配置仅为预留，使用中并不做实际限制。文件总大小 每个数据集中文件总大小的最大值，单位为字节，超过限制后无法再添加索引。单击 确定，完成项目创建。
公告
2023年04月25日-Dataphin新版本发布 Dataphin于2023年04月25日发布V3.9版本，此次更新包含了多项重要功能的优化和改进，以更好地满足用户对数据管理和分析的需求。相比历史版本：新增支持Hologres计算引擎。新增支持OpenGauss数据源、SAP ...
API概览
数据绑定 数据绑定 CreateBinding 创建绑定任务 创建数据集（Dataset）和对象存储（OSS）Bucket的绑定关系，自动同步全量和增量文件并为其索引。GetBinding 查询绑定关系信息 查询指定的数据集和对象存储（OSS）Bucket绑定关系详情。...
基本概念
ABR在指定的文件大小内，以每50帧（30帧约1秒）为一段，低频和不敏感频率使用相对低的流量，高频和大动态表现时使用高流量，可以做为VBR和CBR的一种折衷选择。ABR在一定的时间范围内达到设定的码率，但是局部码率峰值可以超过设定的码率，...
功能更新动态（2023年）
新建和管理数据标准 新建和管理落标映射规则 已映射关系管理 无效映射关系管理 查看落标评估明细 资产质量 支持按照全局、项目、个人视角进行查看质量规则、校验记录、治理工作台、整改流程，并支持按照个人的权限控制个人所能查看的数据...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
新功能发布记录
2021-12-21 模型查看器 v6.0 DataV发布全新V6.0版本 发布五大新功能 适用用户：数据集及BI映射：企业版及以上用户 区块管理：专业版及以上用户 设计资产：企业版及以上用户 空间构建平台：需线下咨询购买 数据映射系统；BI分析功能帮助用户...
映射关系概述
映射关系是指资产对象和数据标准之间的映射关系，仅针对已确认映射关系的资产对象进行落标监控评估。映射关系说明 映射关系分为 有效映射 和 无效映射。有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据...
映射关系概述
映射关系是指资产对象和数据标准之间的映射关系，仅针对已确认映射关系的资产对象进行落标监控评估。映射关系说明 映射关系分为 有效映射 和 无效映射。有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
数据标准概述
映射关系 资产对象和数据标准之间的映射关系列表，包括已确认的映射关系和被指定为无效映射的关系。支持按资产粒度汇总查看或按映射关系全量平铺查看2种模式。其中，支持针对已映射关系配置质量监控规则。落标评估明细 为您展示全局所有...
数据标准概述
映射关系 资产对象和数据标准之间的映射关系列表，包括已确认的映射关系和被指定为无效映射的关系。支持按资产粒度汇总查看或按映射关系全量平铺查看2种模式。其中，支持针对已映射关系配置质量监控规则。落标评估明细 为您展示全局所有...
有效映射关系管理
有效映射关系是基于配置的落标映射规则自动生成或手动配置添加的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循，是进行落标监控的前提条件。本文为您介绍如何管理有效映射...
有效映射关系管理
有效映射关系是基于配置的落标映射规则自动生成或手动配置添加的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循，是进行落标监控的前提条件。本文为您介绍如何管理有效映射...
Binding
oss:/examplebucket State string 数据集和 OSS Bucket 绑定关系的状态。取值范围如下：Ready：绑定关系创建后准备中。Stopped：绑定关系已暂停。Running：绑定关系运行中。Retrying：绑定关系创建后重试中。Failed：绑定关系创建失败。...
数据库管理
创建数据库 使用 CREATE DATABASE 命令创建一个新的数据库，命令如下：CREATE DATABASE[[WITH][OWNER[=]]][ENCODING[=]]说明：<dbname>：待创建的数据库名称。拥有新数据库的数据库用户名，默认为执行该命令的用户。...
字段标准
在后期分析中可自动推荐两张表的关联关系和关联字段，极大地提升应用效率和准确性。注意层级关系 字段标准在创建时需要放在根目录、目录或标准集下方，相关说明如下。根目录：目录中最顶级的目录，所有的目录、标准集、标准只能放置在根...
快速实现数据分类分级
识别任务所需时间和需扫描的数据量有关系，如果需扫描的数据量较大时，需要花费较多时间，请您耐心等待。扫描状态为完成后，才可查看分类分级结果。说明 除系统默认任务外，您可以根据业务所处的行业将对应的行业模板设置为主用模板进行...
功能发布记录
新增 支持大规模Oracle与应用的迁移蓝图规划与评估，可帮助客户梳理复杂的数据库与大规模应用的整体关联关系、评估整体兼容性、评估应用和数据库的整体改造点及改造方案、并针对复杂场景提供分批改造建议、提供针对各应用的sql兼容性及改造...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
ListBindings-查询绑定关系列表
查询数据集和对象存储（OSS）Bucket绑定关系列表。接口说明 请确保在使用该接口前，已充分了解智能媒体管理产品的收费方式和 价格。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
2024年
时间 特性 类别 描述 产品文档 2024-04-28 新增MaxCompute近实时增全量一体化架构介绍 新说明 面对当前日益复杂且对数据时效性要求极高的近实时业务场景，MaxCompute基于Transaction Table2.0推出了集大规模存储、高效批量处理和近实时能力...
产品概述
产品特点 稳定 对于绝大部分应用而言，关系型数据库所承担的职责是整个数据管理系统中最为核心和基础的，不光直接影响到终端用户的服务体验，同时也是业务数据的最后一道保险，所以稳定性是数据库最核心的选型因素。PolarDB-X 1.0 的稳定性...
互联网金融：上海富友支付服务股份有限公司
业务挑战 随着业务规模和用户量的快速增长，高并发交易和海量数据给富友的数据库带来三大挑战：数据量大导致性能瓶颈：仅扫码业务每日有千万级交易量，加上互联网、跨境和SaaS富掌柜等业务，海量数据下传统商业数据库的性能明显不足。...
数据分析整体趋势
这些云原生数据仓库技术分别起源于数据库和大数据，提供标准SQL接口和ACID保证，底层存储通过Share Everything或Share Nothing实现资源池化和横向扩展能力。资源隔离，数据共享是目前业务应用对云原生数据仓库的普遍需求。综上所述，数据...
全球数据库市场发展与机遇
随着新金融、新零售、新制造、新技术、新能源、人工智能、IoT新场景不断涌现，企业对数据存储和计算分析的能力要求不断加强。SQL和NoSQL的边界正在消失，软硬件一体化将成为未来数据库的发展方向。云数据库天然具备云上灵活性，能够提供...
新零售：杭州数云信息技术有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍杭州...
- 产品推荐
- 这些文档可能帮助您