Presto FAQ
解决方案：您可以查看自己的OSS的数据是否正常同步。性能相关问题 如何解决查询报错：“Query exceeded distributed user memory limit of 2.00TB or Query exceeded per-node user memory limit of xxGB”？DLA Presto中一个查询能使用的...
实时同步常见问题
实时同步字段格式问题 数据集成实时同步在同步MySQL、Oracle、Loghub和PolarDB类型的数据至DataHub或Kafka时，会在同步的目标端添加5个附加列，以进行元数据管理、排序去重等操作。详情请参见 实时同步字段格式。为什么实时同步任务延迟较...
数据质量概述
避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的时间成本，避免任务重新运行带来的资源费用浪费。费用说明 数据质量规则运行产生的费用由两部分组成：DataWorks相关收费 根据数据质量规则实例数...
什么是数据传输服务DTS
RDS：阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，解决数据库运维的烦恼。PolarDB：PolarDB是阿里云自研的下一代关系型云数据库...
常见问题
以下为您介绍实时同步数据至Hologres操作失败的常见问题和解决方案。PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
常见问题
以下为您介绍实时同步数据至 AnalyticDB for MySQL 3.0操作失败的常见问题和解决方案。PolarDB数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
应用场景
同时，各个业务单元分布在不同的地域，可以有效解决单地域的基础设施限制业务扩展的问题。加速全球化业务访问速度 对于全球化业务，如果按照传统架构只在单个地区部署业务，那么跨境访问的用户访问服务时，访问延迟非常大，用户体验较差。...
什么是云原生内存数据库Tair
云原生内存数据库Tair 是阿里云国产自研的云原生内存数据库。在完全兼容Redis的基础上，提供了丰富的数据模型和企业级能力来帮助客户构建实时在线场景。同时，Tair与新型存储介质——持久内存的高效结合，相比内存型，成本降低30%以上，并...
数据风险点监控
DQC以数据集（DataSet）为监控对象，当离线MaxCompute数据发生变化时，DQC会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。DQC还提供了历史校验结果的管理，方便数据质量的分析和定级。通过配置DQC的数据质量校验规则，可以...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
通过脚本模式配置离线同步任务
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
使用须知
加盐通常用来解决数据热点和范围查询同时存在的场景。原理介绍请参见：Phoenix社区文档 和 中文文档。加盐有较强的适用场景要求，场景不合适将会达不到预期期望：写热点或写不均衡：比如以时间作为第一列主键，永远写表头或者表尾。需要...
聚合支付：Ping+
Mycat前期人力成高、后期需要部署维护，问题解决成本高、时间长。PolarDB-X 商务成本相对可接受，产品化能力丰富，运维便捷，最后选型阿里云 PolarDB-X。解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿...
解决方案与客户案例
数据层：数据层解决数据库跨地域的部署与同步问题，并在灾难发生时对流量切换动作提供相应的数据质量保护策略。针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行...
知识库
查看治理项问题解决方案 在 知识库>治理项 页面，您可以通过不同维度，查看目标维度下数据治理中心提供的治理项问题基本信息及解决方案详情。下图以研发维度示例，为您展示治理项问题相关信息。区域 描述 ① 在该区域，您可以选择使用 研发...
数据源概述
使用域名配置数据源 如果您的数据源IP地址经常变动，或者无法通过IP直接访问数据源，您可通过为独享数据集成资源组绑定Host方式解决此问题。独享数据集成资源组配置Host详情请参见：绑定专有网络。数据源权限管控 完成数据源配置后，您可以...
互联网服务：小打卡
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍小打卡如何通过 PolarDB-X 应对业务挑战。所属...
常见问题总览
本文档介绍了 数据安全中心DSC（Data Security Center）服务的常见问题和解决方法。功能相关 数据安全 数据授权 数据扫描和识别 数据脱敏 水印使用限制 支持列表 支持识别的原子模型 支持识别的OSS文件类型 支持的数据脱敏算法
Binlog日志服务
X），并不是将所有DN的binlog归并到一个全局队列，而是将数据进行Hash打散并分发到不同的日志流，在一定程度上牺牲了事务的完整性，但大大提升了扩展性，可以解决大规模集群下单流binlog存在的单点瓶颈问题。单流形态 将所有DN节点的原始...
什么是云原生数据库PolarDB分布式版
全局Binlog和全局一致性备份，分别解决分布式数据库各节点数据库向下游流转的难题，以及各节点备份时间差造成的恢复一致性问题。集中式和分布式一体化 PolarDB-X 全面构建集中式和分布式一体化的架构能力（简称“集分一体”），兼具分布式...
解决方案与客户案例
数据层 数据层解决数据库跨地域的部署与同步问题，并在灾难发生时对流量切换动作提供相应的数据质量保护策略。针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
客户案例
客户诉求 帮助企业和开发者解决数据系统独立，无法融合分析的问题。帮助企业和开发者解决BI分析系统灵活性与业务可用性难以平衡的问题。解决方案 友盟+联合MaxCompute构建开发者数据银行，为企业提供面向分析的、实现友盟域数据与企业私域...
数据源配置常见问题
本文介绍在DataV中连接数据源时，遇到的常见问题及相应的解决方法。数据库连接不成功，如何解决？请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的...
数据源配置常见问题
本文介绍在DataV中连接数据源时，遇到的常见问题及相应的解决方法。数据库连接不成功，如何解决？请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的...
Logview诊断实践
要解决这个问题，可以考虑先将右表的行做聚合，变成两行数据，这样Join的结果就不会膨胀了。由于Grouping Set导致的数据膨胀。Grouping Set操作会有一个扩展过程，输出数据会按照Group数倍增。目前的plan没有能力适配Grouping Set并做下游...
基于Delta lake的一站式数据湖构建与分析实战
这些数据湖格式有自己的数据meta管理能力，能够支持Update、Delete等操作，以批流一体的方式解决了大数据场景下数据实时更新的问题。数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统...
银泰商业
但是在进行数据库改造时，希望在尽量不修改以往应用代码的情况下，通过数据库的技术解决这样的问题。解决方案 PolarDB PostgreSQL版（兼容Oracle）高度兼容Oracle语法。例如存储过程，当Oracle转MySQL上云时，需要投入了大量的研发精力将...
产品概述
专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。PolarDB-X 1.0 核心能力采用标准关系型数据库技术实现，配合完善的...
新零售：特步
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍特步（中国）有限公司如何通过 PolarDB-X 应对...
技术架构
节点间只需要同步内存里的元数据信息，通过MVCC机制的保证，就能支持跨节点读取数据的一致性，非常巧妙地解决了主实例和副本之间的数据同步问题，大大节约了跨节点的网络开销，降低副本间的同步延迟。PolarDB PostgreSQL版（兼容Oracle）的...
功能发布记录（2023年）
2023.3.15 所有地域 所有DataWorks用户 处理治理项问题 数据服务的加速服务启动商业化 加速服务面向MaxCompute数据源生成在线API服务，无需导出MaxCompute数据，即可提供良好的查询性能与效率，满足在线查询需求。2023.3.1 华东2（上海）、...
DAS Auto Scaling弹性能力
针对上述两类问题，数据库自治服务DAS进行了服务创新，使数据库服务具备自动扩展存储和计算资源的技术能力，可从容应对。本文将对DAS Auto Scaling服务的架构进行详细的介绍，包括技术挑战、解决方案和关键技术。技术挑战 计算资源规格调整...
为什么要升级到MongoDB的新版本
说明 如果您的数据库实例已经是5.0版本却不支持这两个参数，您可以 升级数据库小版本 解决该问题。分片实例数据不均衡而导致的负载不均 受影响的版本及架构：5.0及以下版本实例（小版本低于6.0.3版本）。简要描述：Balancer按照分片间的...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
方案背景
表格存储作为阿里云提供的一款全托管、分布式NoSql型数据存储服务，具有【海量数据存储】、【热点数据自动分片】、【海量数据多维检索】等功能，天然地解决了数据大爆炸这一挑战；在应对数据横向、纵向扩展上能充分发挥其优势。多元索引...
Tunnel命令常见问题
问题现象 在DataStudio上执行Tunnel Upload命令上传分区数据时，返回报错如下。FAILED:error occurred while running tunnel command.产生原因 DataStudio不支持Tunnel Upload命令。解决措施 根据DataWorks提供的可视化导入数据功能进行...
MySQL系统文件导致实例空间满的解决方法
解决方法 步骤一：解锁实例。扩容实例存储空间后可解锁实例。扩容存储空间的详细操作请参见 变更配置。步骤二：清理undo文件。对于 RDS MySQL 5.7：连接RDS MySQL实例并执行如下语句，查询 innodb_undo_tablespaces 参数的值。连接实例的...
MySQL系统文件导致实例空间满的解决方法
解决方法 步骤一：解锁实例。扩容实例存储空间后可解锁实例。扩容存储空间的详细操作请参见 变更配置。步骤二：清理undo文件。对于 RDS MySQL 5.7：连接RDS MySQL实例并执行如下语句，查询 innodb_undo_tablespaces 参数的值。连接实例的...
磁盘型
需要搭配其他数据库或存储解决持久化问题。最大存储容量受限于单机瓶颈及集群规模。阿里云基于 ESSD云盘 与 SSD本地盘 存储介质，推出了ESSD型、SSD型产品，成本最低可达到全内存版本的15%，拥有超高性价比；容量可达到百TB级别，在降低...
- 产品推荐
- 这些文档可能帮助您