离线同步数据质量排查
没有合理的节点依赖 数据同步任务和数据分析任务没有配置合理的节点依赖，但是有数据依赖，比如下游使用max_pt找到MaxCompute的最大分区并读取分区的数据，但是最大分区对应的数据同步任务还未完成。上下游节点要建立节点依赖，避免使用max...
什么是数据资源平台
数据建模：帮助用户在数据标准的约束下构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据资产，确保数据的完整性、一致性、准确性、可用性，通过客观量化评估指标帮助客户...
高效数据治理实施指南
成效难跟踪：缺乏及时的数据分析和治理效果跟踪，也无法快速根据目标达成情况调整治理策略。数据治理中心是DataWorks中践行主动化、自动化数据治理理念的产品模块。为了解决以上问题，治理中心提供了多个场景化治理计划模板，包含数据稳定...
应用场景
数据实时分析 传输方式：数据订阅 数据分析在提高企业洞察力和用户体验方面发挥着举足轻重的作用，且实时数据分析能够让企业更快速、灵活地调整市场策略，适应快速变化的市场方向和消费者体验。DTS提供的数据订阅功能，可以在不影响线上...
无感集成（Zero-ETL）
云原生数据仓库 AnalyticDB PostgreSQL 版 提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月1日至6月30日。公测地域 华东2（上海）。方案概述 ...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
通过MySQL分析实例同步至数仓版
MySQL分析实例和RDS MySQL只读实例区别 MySQL分析实例一般适用于慢查询（RT大于或等于10s）、SQL语句复杂（例如 JOIN、LIKE、GROUP BY、ORDER BY、COUNT、DISTINCT）的场景，尤其是大数据量下的复杂查询，性能提升十倍，甚至百倍。...
常见问题
目前主要覆盖了全基因分析、全外显子分析、肿瘤分析等内容。如果不在用户的业务或者兴趣范围内，也可联系我们来评估建设。问：除WDL外，是否支持其他流程语言标准？答：基因数据的生信信息分析流程，目前还不存在一个唯一的流程语言标准，...
数据引入层（ODS）
数据引入层存储 为了满足历史数据分析需求，您可以在ODS层表中添加时间维度作为分区字段。实际应用中，您可以选择采用增量、全量存储或拉链存储的方式。增量存储 以天为单位的增量存储，以业务日期作为分区，每个分区存放日增量的业务数据...
功能发布记录（2022年）
2022.11.16 所有地域 所有DataWorks用户 业务视角管理：数据专辑 DataWorks数据分析新版升级，全新的SQL查询体验 DataWorks数据分析，新增功能如下：支持用户统一管理个人名下的所有SQL文件及辅助取数工作常用的数据表集合。支持有权限的...
数据引入层（ODS）
数据引入层存储 为了满足历史数据分析需求，您可以在ODS层表中添加时间维度作为分区字段。实际应用中，您可以选择采用增量、全量存储或拉链存储的方式。增量存储 以天为单位的增量存储，以业务日期作为分区，每个分区存放日增量的业务数据...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
瀑布图
联动 当需要分析的数据存在于不同的图表，您可以通过图表联动，把多个图表关联起来，形成联动进行数据分析。具体设置请参见 联动。跳转 当需要分析的数据存在于多个仪表板时，您可以通过仪表板跳转，把多个仪表板关联起来，进行数据分析。...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
升级
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据 上，单击 数据开发和治理 列下的 Dataphin。在Dataphin产品详情页，单击 产品控制台，进入Dataphin管理控制台页面。在Dataphin管理控制台页面，单击已开通版本详情后...
使用须知
如果您是数据分析师 如果您是数据分析师，建议熟读 SQL 模块的内容。您可以查询并分析存储在MaxCompute上的大规模数据。MaxCompute SQL支持如下主要功能。功能项 说明 DDL操作 支持管理表、分区、列、生命周期及视图。DML操作 支持插入或...
什么是DataV-Card可视分析创作间
产品价值 自动化的数据洞察：对业务人员提供真正友好的数据分析工具，经验与AI的碰撞获取分析灵感，零代码开发就可完成的可视数据分析。智能可视化作品：5分钟内，通过简单、生动、形象的可视分析过程，实现数据作品创作；一次发布，自动...
同步方案选取指南
大数据离线同步场景（可实现最快分钟级的离线数据采集任务）。需要自定义查询语句，以及多表联合查询后同步数据的场景。同步整个数据库中数据的场景。需要开通DataWorks服务。对于传输速度要求较高或复杂环境中的数据源同步场景，需要...
开发运维建议
建议避免全表扫描（大数据量扫描的数据分析除外），PostgreSQL支持几乎所有数据类型的索引。索引接口包括：B-Tree、Hash、GIN、GiST、SP-GiST、BRIN、RUM（扩展接口）、Bloom（扩展接口）、PASE（扩展接口）。主键索引建议以 pk_开头，唯一...
创建逻辑模型：明细表
明细表创建配置完成后，可发布物化至计算引擎，后续在计算引擎中使用明细表进行数据分析。创建明细表 进入智能数据建模页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据...
创建数仓分层
数仓分层、数据域、业务过程、数据集市、主题域等要素，共同确定了您此次建模的逻辑数仓架构。其中，数据域及业务过程位于公共层，用于公共层数据模型的构建。数据集市及主题域位于应用层，用于面向具体业务应用的模型构建。数仓分层保障了...
PolarDB HTAP实时数据分析技术解密
除云上OLTP场景外，大量客户也对PolarDB提出了实时数据分析的性能需求。对此，PolarDB技术团队提出了In-Memory Column Index（IMCI）的技术方案，此方案在复杂分析查询场景获得了数百倍的加速效果。MySQL生态HTAP数据库解决方案 MySQL是一...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
文档修订记录
订阅成功后，账单数据会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。账单数据订阅及查询分析 2024.2.21 新增功能...
查询报错问题
查询时报错，提示 scanRows exceed limit 分析型数据库MySQL版查询时报错，错误信息为：ErrMsg:ErrCode:2001 ErrType:QUERY_EXCEED_LIMIT ErrMsg:scanRows exceed limit:xxx>为避免用户输入的SQL误写或性能较差，从而导致扫描表的大量数据...
实施步骤
通过DTS实时同步PolarDB for MySQL数据到分析型数据库MySQL版...如果需要同步的表数量较少且分析型数据库MySQL版表结构与源表差异较大，可以在分析型数据库MySQL版中提前 创建表，配置同步链路 时需要把步骤7中的中 结构初始化 选项去掉即可。
数据域
查看数据域详情并添加业务过程 成功创建数据域后，您可以查看目标数据域的详细信息，并基于该数据域创建需要分析的业务数据活动（即业务过程）。在 数据域 页面，单击已创建的数据域，进入该数据域的详情页。查看数据域的详细信息。在 基本...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
后续可通过映射的MaxCompute项目对External Project进行数据分析操作。仅MaxCompute项目的所有者（Project Owner）或具备Admin、Super_Administrator角色的用户可以创建External Project。说明 tenant的Super_Administrator角色可以在...
产品优势
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
企业版和标准版功能对比
支持 不支持 高性能 列存索引（IMCI）PolarDB MySQL版 重磅推出的列存索引面向OLAP场景大数据量复杂查询。通过列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式HTAP数据库产品解决方案。通过一套...
列存索引技术架构介绍
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行能力等，MySQL社区一直将其放在比较低优先级上，因此，MySQL的数据分析能力提升进展缓慢。随着MySQL发展为世界上最为流行的开源数据...
概述
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
2020年
PolarDB MySQL集群间的双向同步 支持从SQL Server同步至AnalyticDB for PostgreSQL，可应用于实时数据分析场景。从RDS SQL Server同步至云原生数据仓库AnalyticDB PostgreSQL 从ECS上的自建SQL Server同步至云原生数据仓库AnalyticDB ...
产品架构
数据迁移工作原理 数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。结构迁移：...
数仓构建流程
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
概述
脱敏方案 在数据库使用中，需要实时地从生产环境中的数据库（即生产库）获取最新的客户数据来进行报表生成、数据分析、开发测试等。但为了不泄露真实的客户个人信息（Personal Identifiable Information），需要将这些数据进行脱敏处理后...
表设计最佳实践
拉链表的设计 在数据仓库的数据模型设计过程中，经常会遇到如下需求：数据量较大。表中的部分字段被更新。例如，用户的地址、产品的描述信息、订单的状态和手机号码等。需要查看某一个时间点或时间段的历史快照信息。例如，查看某一个订单...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
OceanBase 4.x 简介
更多规格选择 OceanBase 数据库 4.x 版本提供更多规格选择，最小支持 4C16G 小规格单机部署，支持客户业务从小到大的全生命周期，在云上可以满足小微客户的诉求，降低分布式数据库的使用门槛。4.x 版本兼容 MySQL 8.0，支持更多的 SQL MODE...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
- 产品推荐
- 这些文档可能帮助您