从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
您需要在云原生数据仓库AnalyticDB PostgreSQL的同步目标表中增加_dts_data_source 列（类型为text）来存储数据来源。DTS将以数据同步实例ID>:<源数据库名>.<源Schema名>.<源表名>的格式写入列值用于区分表的来源，例如 dts*:dtstestdata....
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
您需要在云原生数据仓库AnalyticDB PostgreSQL的同步目标表中增加_dts_data_source 列（类型为text）来存储数据来源。DTS将以数据同步实例ID>:<源数据库名>.<源Schema名>.<源表名>的格式写入列值用于区分表的来源，例如 dts*:dtstestdata....
从RDS MySQL同步至Tablestore
说明 DTS会在Tablestore实例的同步目标表中增加_dts_data_source 列（类型为varchar）来存储数据来源。DTS将以数据同步实例ID>:<源数据库名>.<源表名>的格式写入列值用于区分表的来源，例如 dts*:dtstestdata.customer1。多表归并功能基于...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
如何处理Redis集群数据倾斜
在 Redis 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Redis 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
如何处理Tair集群数据倾斜
在 Tair 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Tair 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
管理数仓规划待发布对象
数据源对象信息：包括数据源名称、数据源类型、发布状态/完成时间、负责人、数据源格式、变更类型、环境变更（从上一次导入后，当前目标环境是否有过变更）、同名同类型（当前环境中是否包含与来源环境同名同类型的数据源，且仅包含新增...
管理数仓规划待发布对象
数据源对象信息：包括数据源名称、数据源类型、发布状态/完成时间、负责人、数据源格式、变更类型、环境变更（从上一次导入后，当前目标环境是否有过变更）、同名同类型（当前环境中是否包含与来源环境同名同类型的数据源，且仅包含新增...
核心概念
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以...
数据引入层（ODS）
ODS（Operational Data Store）层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，...
通过HTTP API写入数据
数据写入的时候，需要设置参数 db 的值，该值必须是一个已有的数据库。如果您没有通过参数 rp 来设置数据保留策略的话，那么数据会写到 db 默认的数据保留策略中。想要获得完整的参数信息，请参阅文档 HTTP API 。我们称POST的主体内容，...
产品架构
节点可以在线水平扩展，元数据和业务数据都有副本机制，确保整个系统无单点。StarRocks提供MySQL协议接口，支持标准的SQL语法，您可以通过MySQL客户端方便地查询和分析StarRocks中的数据。随着StarRocks产品的发展，系统架构从存算一体...
导入发布包
本文为您介绍如何把来源环境导出的发布包文件导入至目标环境。前提条件 当前发布人具备 跨租户发布使用人 的角色，且有发布对象类型的权限。权限说明，请参见 发布对象权限说明。导入发布包文件前需开启跨租户发布模式，如何开启，请参见 ...
适用场景
按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展，适用于如下场景：对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...
导入发布包
本文为您介绍如何把来源环境导出的发布包文件导入至目标环境。前提条件 当前发布人具备 跨租户发布使用人 的角色，且有发布对象类型的权限。权限说明，请参见 发布对象权限说明。导入发布包文件前需开启跨租户发布模式，如何开启，请参见 ...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
DRDS（PolarDB-X）数据源
DRDS（PolarDB-X）数据源为您提供读取和写入DRDS（PolarDB-X）双向通道的功能，本文为您介绍DataWorks的DRDS（PolarDB-X）数据同步的能力支持情况。支持的版本 实时读取 支持DRDS（PolarDB-X 1.0）和PolarDB-X 2.0的非只读实例。创建DRDS...
SQL结果集导出
前提条件 数据库类型如下：数据库类型 关系型数据库：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL Server PostgreSQL：RDS PostgreSQL...
案例介绍
本案例以某公司的零售事业群为例，为您介绍在构建数据中台时，如何规划业务模型中的业务板块、项目、数据域和指标等，帮助您更好的理解Dataphin的核心概念。案例场景简介 某公司是一家横跨多个行业领域的大型企业，以零售商超起家，逐步...
EMR+DLF数据湖解决方案
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
技术原理
HTAP PolarDB-X 1.0 解决了OLTP数据库面对海量数据下的存储、并发方面的扩展性问题，但由于缺失多机并行查询加速能力和列存储等能力，无法满足对实时性计算和复杂查询都要求较高的在线业务场景，同时还面临着ETL（Extract-Transform-Loa）...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
范围选择器功能介绍
说明 当前范围选择器页面内的地图数据来源于高德开放平台。选择区域范围 您可以通过两种方式选择地图中的区域范围，并展示选中区域范围的内容详情，包括展示当前选中区域范围的 地名 和 adcode 值。方法一：单击左侧地图处某个区域，即可在...
数据开发
本文为您介绍数据开发的相关问题。在配置维度逻辑表的调度参数时，无法添加上游依赖节点？维度已提交，但事实逻辑表无法以该维度逻辑表作为关联维度。查询数据表报错 发布维度逻辑表报错 代码任务中的变量如何编写？添加事实逻辑表的事实...
范围选择器功能介绍
说明 当前范围选择器页面内的地图数据来源于高德开放平台。选择区域范围 您可以通过两种方式选择地图中的区域范围，并展示选中区域范围的内容详情，包括展示当前选中区域范围的 地名 和 adcode 值。方法一：单击左侧地图处某个区域，即可在...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
多表合并
计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 来源节点 多表合并算子必须指定2个或者2个以上的 来源节点（又称为输入节点，每个来源节点可视为一张表），以求取这些来源节点数据合并的...
管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
什么是备份数据量
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
SQL增强操作
功能 是否支持 限制 云原生大数据计算服务MaxCompute-EXPLAIN 是 无 云原生大数据计算服务MaxCompute-CLONE TABLE 是 无 云原生大数据计算服务MaxCompute-参数化视图 是 创建参数化视图 不支持表值参数table。支持any以及MaxCompute的所有...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
两表并集
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 来源节点 两表并集算子必须指定两个 来源节点（又称为输入节点，每个来源节点可视为一张表），以求取这两个 来源节点 的...
- 产品推荐
- 这些文档可能帮助您