数据分析整体趋势
技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九十年代得到了发展。近些年来，随着业务数据量的...
技术发展趋势
近些年来，数据在国民经济各个领域扮演着愈发重要的作用，其使用特点较之以往也发生了诸多变化，其趋势主要有几个方面。规模爆炸性增长 随着8K、5G、...挑选DBMS 解决方案的数据和分析负责人慢慢接受这样一个事实，即云DBMS是未来的发展方向。
简介
DMS Data Copilot：是DMS基于阿里云大模型构建的数据智能助手。其结合了DMS熟练的数据管理、数据使用能力，可帮助开发、运维、产品等人员，更高效、规范地使用和管理数据。更多信息，请参见 Data Copilot智能助手。Notebook：一个交互式的...
产品概述
相比于全自研分布式NewSQL数据库，PolarDB-X 1.0 产品始终以持续稳定性和可运维性作为第一要务，同时通过标准数据库技术弥补与单机数据库的体验差异，让用户便捷、快速地上手使用，充分发挥产品的业务价值。高度可扩展 相比传统单机关系型...
高效数据治理实施指南
DataWorks数据治理中心可协助数据治理团队建立数据治理框架、优化治理过程、提升治理效率，从而实现治理目标的高效突破。本文通过治理负责人的实操过程，为您介绍如何通过数据治理计划能力，高效设定和达成数据治理目标。背景信息 在多人...
全球数据库市场发展与机遇
数据库起源于上世纪70年代，在技术发展浪潮中历久弥新，已成为IT科技的核心技术之一，支撑着现代社会的经济活动和商业文明。长期以来，全球商业化数据库主要以Oracle、IBM、Microsoft、SAP传统四大厂商为主。随着新金融、新零售、新制造、...
应用场景
图数据库GDB针对高度互联数据的存储和查询场景进行设计，并在内核层面进行了大量优化，非常适合营收增长、金融风控、商品推荐、社交推荐、循环担保检测、异常指标监控和违规团伙挖掘等场景。营收增长 图数据库GDB提供智能搜索推荐一体化...
功能特性
结构初始化涉及的数据类型映射关系 异构数据库间的数据类型映射关系 数据校验 数据校验是DTS提供的用于监控源库与目标库数据差异的功能，支持在不停服的情况下对源库和目标库进行校验，帮助您及时发现数据和结构不一致的问题 功能集 功能 ...
通用数据查询与管理
如果需要快速地查找数据，例如查找工作空间、数据源中的表、数据分析和数据服务中的代码或API，您可以在数据地图中进行查找。进入数据地图 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
概述
背景信息 随着互联网和物联网的飞速发展、数据规模急剧增长、数据来源多样化，同时数据分析需求及业务流程复杂性不断增加，这使得传统手动处理数据的方式无法满足现有需求。因此，需要一个自动化流程来确保数据处理、分析、备份等多种需求...
东软案例
企业面向客户、合作伙伴和内部员工建设IT系统及应用复杂度和数量会随着产品智能、互联化的深入持续增长，对映可用性保障运维监控采集数据采集种类，以及需要存储的数据量同步激增，现有监控系统基于RRD数据库或关系数据库搭建的单模引擎的...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
新建补数据任务
补数据任务能够支持您以不同的调度方式对历史数据进行回刷。对于需要定期进行补数据的场景，您可以通过补数据的定时调度功能进行定期补数据；对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补...
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
功能发布记录（2022年）
英国（伦敦），美国（硅谷），美国（弗吉尼亚），阿联酋（迪拜）所有DataWorks用户 数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发...
产品架构
业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案，为了满足多种类型...
指定对象导出发布包
指定对象导出发布包适用于已知变更的对象时，需要快速地将该对象导出的使用场景（当需要导出大量对象时，不建议使用该模式）。本文为您介绍在来源环境中如何指定对象导出发布包文件。前提条件 需在跨租户发布设置中配置发布凭证、发布包的...
指定对象导出发布包
指定对象导出发布包适用于已知变更的对象时，需要快速地将该对象导出的使用场景（当需要导出大量对象时，不建议使用该模式）。本文为您介绍在来源环境中如何指定对象导出发布包文件。前提条件 需在跨租户发布设置中配置发布凭证、发布包的...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
公告
2022年06月10日-Dataphin更名通知 为了更好地帮助广大客户解决数据资产建设问题，显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费...
功能更新动态（2024年）
创建数据表质量规则 创建全域数据表质量规则 创建数据源质量规则 创建实时元表规则 创建指标质量规则 批量上传质量规则 数据安全 识别规则新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障自动继承结果的数据可以...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
DataWorks V2.0
DataWorks V2.0版本操作差异 您可参见DataWorks V2.0系列详解视频，对DataWorks V2.0各功能模块的特性进行深入学习：DataWorks V2.0数据开发功能与用法解析 DataWorks V2.0数据集成简介与最佳实践 DataWorks V2.0智能监控简介与最佳实践 ...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
查看并管理脚本任务
脚本任务DAG节点支持的操作 DAG图清晰地为您展示任务节点的上下游依赖关系，同时系统支持对上下游节点进行运维和管理。DAG图默认展示Main节点（选中节点）及上下游第一层节点。选中脚本任务节点，您可以对任务进行相关的运维操作。Dataphin...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
概述
本节为不熟悉关系数据库管理系统的人介绍 SQL 语言。将讨论创建、填充、查询和更新表等基本操作以及示例。还将讨论视图、外键和事务等更高级的概念。PolarDB PostgreSQL版（兼容Oracle）是关系数据库管理系统（RDBMS）。这意味着它是用于...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
概述
PolarDB for AI 功能通过一系列MLOps和内置的模型解决了数据、特征和模型的割裂状态，实现了基于数据库的数据智能的一站式服务。本文介绍了 PolarDB for AI 功能的相关特性。背景信息 随着数据的累积，数据驱动的智能应用（例如：搜索、...
什么是数据管理DMS
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。视频介绍 功能特性 详情信息，请参见 功能概览。为什么选择数据管理DMS 全域数据...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，当前租户还需开通智能研发模块。在开始执行操作前...
数据看板
功能概述 要实现智能对话机器人能够“智能”地回答用户问题，大致需要按以下步骤进行机器人配置：首先是需要创建机器人；其后是需要“赋予”机器人有关业务知识——配置机器人；再后是需要对具有知识的机器人的问答效果进行测评，以保证...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，请升级当前版本。升级版本，请参见 升级。在开始...
- 产品推荐
- 这些文档可能帮助您