常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
基本概念
数据建模 数据模型：是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架，数据资源平台支持逻辑模型和物理模型。逻辑模型：反映的是系统分析设计人员对数据存储...
产品优势
数字化精准营销：营销引擎云码 产品数字化地对接线上、线下媒体资源，提供阿里巴巴集团的数据、三方数据、线下IoT设备数据服务。通过阿里云智能算法平台，帮助客户深度洞察消费者需求和行为，构建面向各行各业不同营销场景需求的数字化、...
2.0数据类型版本
本文为您介绍MaxCompute 2.0数据类型版本的定义、使用场景、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为2.0数据类型版本时，项目空间的数据类型属性参数定义如下。setproject odps.sql.type.system.odps...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
典型应用
云数据库ClickHouse应用场景介绍。交互式报表 基于ClickHouse和BI工具构建实时运营监控报表 利用ClickHouse构建实时交互式报表，实时分析订单、收入、用户数等核心业务指标；构建用户来源分析系统，跟踪各渠道PV、UV来源。海量数据实时多维...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
大数据用户画像解决方案
方案总览 作为面向大数据场景的半结构化、结构化存储系统，Lindorm可以很好的满足用户画像：没有强事务要求，大数据量、高并发读写场景这样的业务特征。其架构如下图所示：方案优势 1.低成本：集群内单表冷热分离能力、独有的压缩优化能力...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
应用场景
市场营销地图 在市场营销领域，以城市房地产营销为例，房地产公司可以将销售团队的销售价格、房屋类型、位置、面积等信息导入可视化分析地图进行分析，从而帮助销售团队和客户直观地了解每个房屋的位置、特征和价格，更好地进行市场研究和...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
配置MySQL输入
参数 描述 数据源 选择已经配置好的MySQL数据源，此处仅支持MySQL数据源。如果未配置数据源，请单击右侧的 新建数据源，进入 工作空间管理>数据源管理 页面进行新建。表 选择当前数据源下需要同步的表名称。您可以单击右侧的 数据预览 进行...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
数据服务
数据服务访问RDS实例情况说明 为了更好地保障用户通过DataWorks数据服务访问RDS实例的安全性，新增数据源 时，选择的数据源类型不同（实例模式、连接串模式），在DataWorks数据服务中封装API时将会有不同的提示和建议，详情如下：数据源...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
质量规则参数配置
数据源：选择该物理表所属的数据源 选择比较表：选择物理表中需要比较的表及该物理表需要比较的字段。校验表数据过滤：填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 对比表数据过滤：填写数据过滤内容，例如：...
质量规则参数配置
数据源：选择该物理表所属的数据源 选择比较表：选择物理表中需要比较的表及该物理表需要比较的字段。校验表数据过滤：填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 对比表数据过滤：填写数据过滤内容，例如：...
面临的业务挑战
此外，大数据平台的组合方案在细粒度的访问权限控制、高可靠性方面，特别对于金融等行业客户的数据容灾、高可用的需求无法很好支持。使用成本高 数据在企业中的使用，具有明显的周期性和不确定性。一方面，业务发展变化很快，其数据规模...
分析业务过程
用户在业务系统中，通过埋点或日常积累的方式，获取了充足的业务数据。为梳理数据之间的逻辑关系和流向，需要理解用户的业务过程及数据系统。您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完...
数据模型架构规范
良好的数据模型可以帮助我们更好地存储数据，更有效率地获取数据，保证数据间的一致性。模型设计的基本原则 高内聚和低耦合 一个逻辑和物理模型由哪些记录和字段组成，应该遵循最基本的软件设计方法论中的高内聚和低耦合原则。主要从数据...
创建数据板块
功能说明 为了更好地满足业务诉求，Dataphin支持创建Dev-Prod和Basic模式的数据板块，详细说明参见下表。模式 描述 Dev-Prod模式 生成相互隔离的Dev和Prod数据板块，更强保障Prod数据板块中的数据安全。如果您管理诉求较强，数据研发人员较...
创建数据板块
功能说明 为了更好地满足业务诉求，Dataphin支持创建Dev-Prod和Basic模式的数据板块，详细说明参见下表。模式 描述 Dev-Prod模式 生成相互隔离的Dev和Prod数据板块，更强保障Prod数据板块中的数据安全。如果您管理诉求较强，数据研发人员较...
DataWorks数据集成
AnalyticDB PostgreSQL版 的管理控制台进行IP 白名单设置，详情请参见 添加白名单 数据导入 源端的数据源需要在DataWorks管理控制台进行添加，数据源添加的详细步骤请参考 配置AnalyticDB for PostgreSQL数据源 配置同步任务：配置好数据源...
TPC-DS数据
声明 MaxCompute公开数据集中的TPC-DS的数据生成与分析基于TPC-DS的基准测试，并不能与已发布的TPC-DS基准测试结果相比较，因为通过MaxCompute公开数据集进行的测试并不符合TPC-DS基准测试的所有要求。MaxCompute提供的TPC-DS只能用于产品...
DLA Lakehouse实时入湖
⽬前开源社区有Hudi、Delta、Iceberg等数据湖方案，阿⾥云数据湖分析团队选择了比较成熟的Hudi作为DLA Lakehouse的湖仓⼀体化格式。关于Lakehouse的更多介绍，请参见 Lakehouse介绍。DLA Lakehouse核心概念和相关约束说明 Lakehouse（湖仓...
概述
PolarDB PostgreSQL版 的冷数据分层存储功能具备易用性好、灵活度高、性能优良、覆盖场景广泛、安全可靠的特点，可以帮助用户便捷地实现冷热分层存储：易用性好 SQL透明：数据库的SQL操作完全透明，无需进行任何改写，支持OSS表联合查询；...
概述
PolarDB PostgreSQL版（兼容Oracle）的冷数据分层存储功能具备易用性好、灵活度高、性能优良、覆盖场景广泛、安全可靠的特点，可以帮助用户便捷地实现冷热分层存储：易用性好 SQL透明：数据库的SQL操作完全透明，无需进行任何改写，支持OSS...
概述
PolarDB PostgreSQL版（兼容Oracle）的冷数据分层存储功能具备易用性好、灵活度高、性能优良、覆盖场景广泛、安全可靠的特点，可以帮助用户便捷地实现冷热分层存储：易用性好 SQL透明：数据库的SQL操作完全透明，无需进行任何改写，支持OSS...
数据治理
任务开发上线之后，数据正在稳定生产中，您需要对对应的业务表通过可视化查看、自动的数据质量监控、敏感数据管理等多种不同方式进行治理，而以下这些模块就可以很好的帮助您对数据进行治理。可视化元数据管理 数据地图可以可视化的查看表...
数据分析整体趋势
近些年来，随着业务数据量的增多，企业需要能够对数据进行分析，助力商业决策，更好地发挥数据价值，而传统开源及商业关系型数据库通常为单机版，在海量数据分析场景下扩展能力有限，性能无法满足需求。以Teradata，Oracle Exadata为代表的...
入门概览
本文旨在介绍如何购买实例、创建账号、设置白名单、导入数据、...查询和分析图 连接图数据库GDB实例后，您可以通过数据管理DMS或GDB开源可视化控制台GDB Console对创建好的图数据库进行查询和分析。查询和分析图的操作，请参见 查询和分析图。
开发前准备：绑定数据源或集群
前提条件 您需根据后续要开发和调度的任务类型，提前创建好对应的数据源或集群。该数据源或集群需参考本文绑定至数据开发（DataStudio）。数据开发（DataStudio）支持绑定的数据源或集群如下：创建MaxCompute数据源 创建Hologres数据源 ...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
合规&认证
价格，财务及营销规划，业务战略，客户信息，客户数据，研发，软件硬件，API应用数据接口，技术说明，设计，特殊公式，特殊算法等），无论上述信息和资料以何种形式或载于何种载体，无论披露方在披露时是否以口头、图像或书面等方式表明其...
配置SQLServer数据源
在创建好的SQLServer数据库中写入测试数据。在DataWorks中创建了一个项目。详情，请参见 创建一个项目。背景信息 标准模式的工作空间支持数据源隔离功能，您可以分别添加并隔离开发环境和生产环境的数据源，以保护您的数据安全。详情请参见...
权限管控与隔离
同时为了更好保护生产数据，还支持设置生产数据安全模式，开启后将不能在开发环境对生产环境进行DDL，从而更好保护生产数据。同一部署实例下的不同租户的逻辑隔离：使用不同的租户分别用户开发、测试和生产环境，并配置底层计算引擎的隔离...
权限管控与隔离
同时为了更好保护生产数据，还支持设置生产数据安全模式，开启后将不能在开发环境对生产环境进行DDL，从而更好保护生产数据。同一部署实例下的不同租户的逻辑隔离：使用不同的租户分别用户开发、测试和生产环境，并配置底层计算引擎的隔离...
通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
创建同步任务
已准备好结果表 result_table，详情请参见 建表并上传数据。已创建虚拟节点（start）和ODPS SQL节点（insert_data，详情请参见 创建业务流程。背景信息 在DataWorks中，通常通过数据集成功能，定期导入系统中产生的业务数据至工作区。SQL...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
- 产品推荐
- 这些文档可能帮助您