离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
高压缩引擎（X-Engine）介绍
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
DataWorks On CDP/CDH使用说明
二、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
安全白皮书
云数据库Redis版 从网络、存储、备份、容灾等方面，提供全面的安全加固功能来保障您的数据安全。包括但不限于：网络：白名单、VPC网络、TLS加密 等。存储：开启透明数据加密TDE、自动或手动备份 等。容灾：自动主备切换、同城容灾（双可用...
安全白皮书
Tair 从网络、存储、备份、容灾等方面，提供全面的安全加固功能来保障您的数据安全。包括但不限于：网络：白名单、开启TLS加密 等。存储：开启透明数据加密TDE、自动或手动续费 等。容灾：自动主备切换、同城容灾（双可用区实例）、全球多...
产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
产品优势
数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等多种数据源之间的数据传输。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具，DTS提供丰富多样、高性能、高安全可靠的...
DataHub数据源
DataHub数据源作为数据中枢，为您提供读取和写入DataHub数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据...
功能发布记录（2022年）
数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发调度、数据质量、数据地图、数据安全、数据分析（独享资源组）、数据服务等数据全周期...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
深度解析Lindorm搜索索引（SearchIndex）特性
索引是加速数据库查询的重要手段，Lindorm除了提供高性能的二级索引外，同时支持搜索索引(SearchIndex)，主要面向复杂的多维查询场景，并能够覆盖模糊查询、聚合分析、排序、分页等场景。本文主要介绍SearchIndex的技术原理和核心能力。...
创建 Serverless 实例
双机房部署具备跟多机房部署一致的可用性，但在性价比上有较大提升。可用区 选择要部署的可用区。最小算力配置 设置 Serverless 实例可使用的 OCU 资源下限，取值范围为 1OCU～15OCU。最大算力配置 设置 Serverless 实例可使用的 OCU 资源...
应用场景
双11使用场景 每年一度的双11购物狂欢节，数据库自治服务DAS以持续的创新为之保驾护航，同时也在延续它一次次华美的蜕变。从最初面向DBA的工具化辅助诊断，到Self-driving Platform理念提出，开始孵化和锤炼数据库自治能力，随后DAS自治...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
什么是云原生内存数据库Tair
如今，云原生内存数据库Tair 已经是阿里巴巴集团调用量最大的系统之一，在多年的阿里巴巴双十一全球狂欢节上提供了核心的在线访问加速能力，承受住了每秒数亿次的调用。时间 事件 2022年10月 发布 内存型（兼容Redis 6.0），相比较同规格的...
聚水潭：云原生数据仓库助力企业实现商业洞察
本文介绍聚水潭通过引入 AnalyticDB PostgreSQL版 构建企业级云原生数据仓库，解决业务需求过大、资源弹性扩展难等问题。客户介绍 上海聚水潭网络科技有限公司成立于2014年，是一家从事SaaS ERP应用服务研发且拥有完全自主知识产权的软件...
查看与减少数据备份
查看备份大小 备份大小=全量数据备份的大小+增量数据备份的大小 登录 DBS控制台。单击左侧导航栏中的 备份计划，然后在上方选择目标地域。单击目标备份计划名称，进入 备份任务配置 页面。在 付费信息 区域，查看全量备份数据量和增量备份...
云数据库Redis实例间单向数据迁移
如果您需要将一个 云数据库 Redis 版 实例的数据迁移到另一个 云数据库 Redis 版 实例中，且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission ...
解决方案与客户案例
然而，大部分传统容灾方案如同城容灾、同城双活、异地容灾、两地三中心等很难达到国标5-6级要求，同时还存在成本浪费，灾备单元健壮性不足等问题。异地多活是新一代的容灾解决方案，在保证业务持续高可用的同时还能实现成本优化、地域级...
使用限制
在使用云数据库MongoDB前，您需要了解不同类型云数据库MongoDB实例本身存在的约束信息，使您初步了解不同类型云数据库MongoDB实例的使用限制，以帮助您选择更适合业务场景的实例。单节点实例 功能 约束 实例部署 目前不是所有地域和可用区...
整库离线同步至OSS
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至OSS为例，为您讲解如何将整库数据离线同步至OSS。前提条件 已完成数据源配置。您需要...
大小写不敏感
使用限制 创建和使用以下数据库对象时，无双引号、双引号+全大写和双引号+全小写名称具有相同的结果，双引号+大小写交错名不受影响。数据库名。模式名。表名（包括cte、索引、视图、物化视图等relation类对象）。列名。别名。说明 函数和包...
大小写不敏感
使用限制 创建和使用以下数据库对象时，无双引号、双引号+全大写和双引号+全小写名称具有相同的结果，双引号+大小写交错名不受影响。数据库名。模式名。表名（包括cte、索引、视图、物化视图等relation类对象）。列名。别名。说明 函数和包...
申通快递迁移Oracle到Lindorm
每年双十一大促客户业务都会面临大幅度上涨。解决方案 Lindorm历经阿里众多核心服务的大规模验证，拥有相关技术领域的技术团队，保障了使用过程的持续稳定、可靠。Lindorm为云原生多模数据库，可同时支持宽表引擎和搜索引擎，并且可通过...
恢复全量数据
如果您拥有原实例的数据备份和日志备份，可以将其恢复到新实例中，可用于误操作后恢复以及分析历史数据等场景。前提条件 原实例需要满足如下条件：实例运行状态为 运行中 且没有被锁定。当前没有进行中的迁移任务。已完成备份。RDS默认有...
功能概览
产品优势 1.1 稳定性 脱胎于阿里内部实时传输系统，支持历年双十一，久经考验，稳定可靠。1.2 高吞吐 最高支持单主题(Topic)每日T级别的数据量写入，每个分片(Shard)支持最高每日百GB级别的写入量。1.3 低成本 随开随用，按量付费，每一分...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
典型使用场景
传统方案数据生产者需要双写数据库和消息队列，但是这样一方面增加了应用的复杂度，同时要保证一致性，又会牺牲应用的可用性和效率，因为数据库和消息队列任务一个出问题都会影响应用系统。应用可以将消息队列的消息投递解耦，交由...
PolarDB-X适用场景
PolarDB-X 已通过中国信通院《金融级分布式事务数据库稳定性专项评测》，且持续12年支撑“双十一”全球购物狂欢节，集稳定性与高性能于一身。大峰谷差流量 场景描述 大峰谷差是指特定周期内系统峰值负载是谷值负载的20倍以上的系统访问场景...
Napatech案例
基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过Lindorm存储，在数据的存储和索引性能方面得到极大的提升，同时也极大地降低整个系统的运维成本。客户价值 支持多个100G数据流量采集点的数据包元数据存储...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
账单数据订阅及查询分析
背景信息 订阅并分析账单数据前，请先了解如下产品：用户中心：提供用户上云所涉及到的企业财务经营管理全链路能力，用于查看账单并进行成本分析，详情请参见 成本分析。DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持...
客户案例
迁移完成后，飞天大数据平台覆盖数据采集>存储&计算>实时/离线分析等游戏数据运营全链路。游戏行业：37手游重构数据体系建设 客户简介 37手游致力于手机游戏发行业务，在中国大陆地区，存在近10%的市场占有率。迄今为止，成功发行二十余款...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
- 产品推荐
- 这些文档可能帮助您