确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
SDK概述
解决添加OSS数据源时部分hadoop命令不可用问题。解决“java.text.ParseException:Unparseable date”问题。优化emr-core支持本地调试运行。兼容老版本的产生的“_$folder$”文件，解释成目录，不再当作普通文件处理。Hadoop和Spark读写OSS...
数据类云产品专家服务
6、数据库空间使用率异常等问题排查与解决 7、数据库的数据恢复等问题排查与解决 8、由于数据库响应慢等问题导致业务异常 9、数据库主从同步延迟问题排查与解决 10、数据库系统内存占用异常高导致内存溢出问题等问题排查与解决 11、非SQL或...
排查Mongo Shell登录问题
您可以通过DMS或Mongo Shell登录MongoDB数据库，本文介绍使用Mongo Shell登录数据库时出现的典型问题及解决方法。提示connection attempt failed错误 现象：#mongo-host ali12345678.mongodb.rds.aliyuncs....
工作负载管理介绍
为了解决上述问题，AnalyticDB MySQL 在数据库系统中设计了工作负载管理模块，通过工作负载管理模块对工作负载的控制，可以提高集群的整体执行状态，满足集群更精细化控制的目的。基本概念 工作负载（Workload）：在数据库中具有一些共同...
数据保护机制
在实际业务处理过程中，用户可能会同时具备多个项目的访问权限，此时会存在数据在项目间流转的安全问题。MaxCompute提供了数据保护机制，支持对数据流出行为进行控制，为项目数据的安全性提供保障。本文为您介绍MaxCompute的数据保护机制...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
本文为您介绍如何使用数据传输迁移 RDS PostgreSQL 实例 的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
收费常见问题
本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的？数据集成收费包含三种途径，详情请参见 独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费、公网流量计费说明。
实时同步任务延迟解决方案
此时将无法通过数据集成任务设置解决延迟问题，需要从Kafka、DataHub和Loghub系统的上游数据生产侧解决数据写入倾斜问题后，延迟问题才能恢复。您可以通过在上述任务 运行详情 中切换到 运行信息 页签，查看不同Reader线程总字节数统计，...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
待迁移的表需要具备主键或唯一约束，且字段具有唯一性，否则可能导致目标端数据库出现数据不一致的问题。数据传输仅支持迁移库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及.|"'`()=;的对象。目标端是数据库的情况下，...
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、...数据质量为您解决以下问题：数据库频繁变更问题 业务频繁变化问题 数据定义问题 业务系统的脏数据问题 系统交互导致质量问题 数据订正引发的问题 数据仓库自身导致的质量问题
版本说明
修复问题 解决Windows下进程监控Top5和进程内存超4GB时，只上报4GB监控数据的问题。解决域名解析卡死的问题（某些系统下域名解析超过20秒）。解决部分Prometheus指标解析失败的问题。解决日志采集占用大量CPU的问题。解决可用性监控如果...
云数据库RDS简介
RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，帮助您解决数据库运维的烦恼。安全稳定可靠 历经考验：已支撑数十万用户的业务稳定运行，且经过双十一高并发、大数据量...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
后续指引
介绍：数据迁移 实践：数据迁移最佳实践 常见问题：数据上传下载常见问题 大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各...
权限说明
例如进行权限查询，角色管理时提示对应操作没有权限，错误码为NoPermission，有几种途径可以解决问题 授予用户数据湖admin/super_administrator角色。参考 角色管理。授予用户dlf-dss权限，DLF在RAM上已内置AliyunDLFDSSFullAccess及...
数据管理DMS的数据追踪功能无法追踪到数据
本文解释数据管理DMS的数据追踪功能无法追踪到数据的原因及解决方案。问题描述 数据管理DMS的数据追踪功能无法追踪到数据。问题原因 数据追踪的筛选条件可能选择错误。解决方案 请参考下列步骤进行排查：请检查时间和区域的选择是否正确。...
语义挖掘工具
【分析结果】数据总量：表示进行语义挖掘的数据总量 命中意图：表示进行语义挖掘时命中的意图的数量 命中条数：表示进行语义挖掘时有效命中意图数据的全部数量 未命中条数：表示进行语义挖掘时无法有效命中意图数据的全部数量【命中意图】...
如何基于LSM-tree架构实现一写多读
B+tree并发回放有它自身的复杂性，比如需要解决系统页回放与普通数据页回放先后顺序问题，并且还需要解决同一个mtr中多个数据页并发回放可能导致的物理视图不一致问题。LSM-tree需要解决多个节点在同样位置SwitchMemtable，以及2PC事务回放...
XYZ栅格，为什么出现了蓝色的地球
栅格数据中是否存在透明的瓦片，如果存在透明瓦片则可能会出现蓝色的地球，解决这个问题可以尝试新增一个栅格数据源并在Tab中拖动到后面，或者新增一个可被浏览器访问的静态图片地址作为新增XYZ数据源的地址。栅格数据源是否只在指定城市...
性能优化与诊断简介
自动SQL优化 可以进行自动SQL诊断优化和索引创建，在数据库实例出现慢SQL问题时，及时进行诊断和优化，帮助数据库系统运行在最佳状态。存储自动扩容 当数据库实例的已使用存储空间大于等于设置的扩容阈值时，系统会进行自动扩容，保障您的...
数据科学计算概述
Scikit-Learn：用于数据分析和数据挖掘任务的算法。为满足用户基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求，MaxCompute提供了一套Python开发生态，让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及...
功能简介
洞察是一款自助式数据挖掘分析型，面向业务管理者、运营、业务分析师等人员提供低使用门槛的智能、自动化、全面、精准的数据诊断和分析能力，智能发现数据规律或异常，实现从数据到知识的提取，辅助业务决策。几乎每个业务每天都存在业务...
性能优化与诊断简介
自动SQL优化 可以进行自动SQL诊断优化和索引创建，在数据库实例出现慢SQL问题时，及时进行诊断和优化，帮助数据库系统运行在最佳状态。自动SQL限流 可以设置触发条件，当相关条件满足时会自动触发SQL限流来控制数据库请求访问量和SQL并发量...
数据扫描和识别
本文介绍敏感数据扫描和识别的常见问题及解决方法。数据扫描会影响我的数据库性能吗？DSC支持扫描的数据源有哪些？数据源授权完成后需要多长时间完成扫描？DSC对于非结构化数据源（OSS）的扫描机制是怎样的？是否支持对已扫描过的OSS文件...
Transaction Table2.0概述
它带来的优势非常显著，比如，可有效解决纯离线系统处理增量数据导致的冗余计算和存储、时效低等问题，也能避免实时或流系统高昂的资源消耗成本，同时可消除Lambda架构多套系统的不一致问题和减少冗余多份存储成本以及系统间的数据迁移成本...
数据库安全解决方案
本文介绍云数据库、DTS（数据迁移上云）、DMS（数据安全管理）、DBS（数据备份）几个产品实现企业数据资产的安全管理解决方案，避免数据泄露、删库跑路等恶性事件的出现。详情参考：数据库安全解决方案。
大数据安全治理的难点
数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有哪些资产？这些资产分布在哪里、承载着什么样的业务？资产内有哪些数据？数据业务属性及重要程度...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
应用场景
推荐搭配使用 RDS+Quick BI 交易数据权限管控 数据对某支付平台的每个城市经理来说都至关重要，需要通过数据去掌握城市业务的发展情况，及时发现异常，并对数据下钻来定位问题解决问题。作为数据团队，除了分析数据，对数据权限管控也同样...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。数据源标识和用户账号等，在数据传输系统内全局唯一。Oracle 数据库的增量日志解析最大支持 5T/天。Oracle 数据库 11G 及之前版本不支持创建超过 30 个字节的数据库对象。...
知识库
查看治理项问题解决方案 在 知识库>治理项 页面，您可以通过不同维度，查看目标维度下数据治理中心提供的治理项问题基本信息及解决方案详情。下图以研发维度示例，为您展示治理项问题相关信息。区域 描述 ① 在该区域，您可以选择使用 研发...
解决SQL Server表中的中文乱码问题
解决方法 为了解决在SQL Server表中查询生僻字出现乱码的问题，您需要使用Unicode编码格式的数据类型，例如NVARCHAR，并在向该数据类型插入数据时，使用前置词N。N代表国家语言，必须大写。如果没有使用前置词N，则SQL Server会将字符串...
RDS连接失败的排查方法
概述 本文主要介绍如何排查无法连接RDS实例的问题。详细信息 您可以从以下五个方面排查问题：...ECS实例无法通过内网访问RDS实例 若是ECS实例无法通过内网访问RDS实例，您可以参见 解决无法连接RDS实例的问题 解决问题。适用于 云数据库RDS
聚合支付：Ping+
Mycat前期人力成高、后期需要部署维护，问题解决成本高、时间长。PolarDB-X 商务成本相对可接受，产品化能力丰富，运维便捷，最后选型阿里云 PolarDB-X。解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿...
Spark
本文汇总了使用 AnalyticDB MySQL Spark的常见问题及解决方案。常见问题概览 如何查看Spark应用信息？如何解决提交Spark应用时，出现User%s do not have right permission[*]to resource[*]报错？如何解决运行Spark应用时，出现No space ...
客户案例
客户诉求 帮助企业和开发者解决数据系统独立，无法融合分析的问题。帮助企业和开发者解决BI分析系统灵活性与业务可用性难以平衡的问题。解决方案 友盟+联合MaxCompute构建开发者数据银行，为企业提供面向分析的、实现友盟域数据与企业私域...
- 产品推荐
- 这些文档可能帮助您