Quick BI连接MaxCompute
数据源权限控制问题请参见 Quick BI关于业务分析人员连接MaxCompute数据源权限控制问题解决方案及常见报错解析。测试成功后，单击 确定，完成数据源的添加。此时您可以在数据源列表中，看到您创建的数据源。说明 Quick BI添加MaxCompute云...
确定需求
您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的...
HTTP API 概览
默认数据交换是通过 JSON。所有返回的结果都使用标准的 HTTP 响应代码，并使用特定的格式返回错误。下表列出了 TSDB 提供的与数据读写和管理相关的所有 API。关于如何使用每个 API 的具体说明，请点击描述中提供的链接查看相应文档。API ...
如何处理Tair集群数据倾斜
数据倾斜的临时方案 若实例已产生数据倾斜，您可以通过如下临时方案进行过渡，但以下临时方案无法解决数据倾斜的根源问题。同时，您也可以在短时间内可降低大Key、热Key的请求量，暂缓数据倾斜问题，但大Key、热Key问题只能通过业务上的...
如何处理Redis集群数据倾斜
数据倾斜的临时方案 若实例已产生数据倾斜，您可以通过如下临时方案进行过渡，但以下临时方案无法解决数据倾斜的根源问题。同时，您也可以在短时间内可降低大Key、热Key的请求量，暂缓数据倾斜问题，但大Key、热Key问题只能通过业务上的...
SDK概述
解决添加OSS数据源时部分hadoop命令不可用问题。解决“java.text.ParseException:Unparseable date”问题。优化emr-core支持本地调试运行。兼容老版本的产生的“_$folder$”文件，解释成目录，不再当作普通文件处理。Hadoop和Spark读写OSS...
处理慢SQL问题
您可以通过DAS对数据库进行监控，及时发现并优化慢SQL，解决数据库的性能问题。操作视频 解决方案 您可以通过DAS从以下三个方面来解决慢SQL问题：查看并优化单个实例的慢SQL 查询治理所有实例上的慢SQL 开启自动SQL优化 查看并优化单个实例...
地图数据格式
GeoJSON是基于JavaScript对象表示法的地理空间信息数据交换格式，详情请参见 地理空间数据格式 GeoJSON。您可以通过GeoJSON在线编辑工具 DataV.GeoAtlas，获取或编辑GeoJSON格式的地理数据。您可以使用GeoJSON行政区划边界提取小工具 DataV...
地图数据格式
GeoJSON是基于JavaScript对象表示法的地理空间信息数据交换格式，详情请参见 地理空间数据格式 GeoJSON。您可以通过GeoJSON在线编辑工具 DataV.GeoAtlas，获取或编辑GeoJSON格式的地理数据。您可以使用GeoJSON行政区划边界提取小工具 DataV...
MongoDB 分片集群介绍
MongoDB分片集群技术用于解决海量数据的存储问题，本文介绍MongoDB分片集群相关的常用知识。什么情况下使用分片集群？当您遇到如下问题时，可以使用分片集群解决：存储容量受单机限制，即磁盘资源遭遇瓶颈。读写能力受单机限制，可能是CPU...
支持的云服务
MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。更多DataWorks...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
数据扫描和识别
本文介绍敏感数据扫描和识别的常见问题及解决方法。数据扫描会影响我的数据库性能吗？DSC支持扫描的数据源有哪些？数据源授权完成后需要多长时间完成扫描？DSC对于非结构化数据源（OSS）的扫描机制是怎样的？是否支持对已扫描过的OSS文件...
配置项常见问题
本文介绍组件配置项的常见问题及解决方法。数据系列与配置项系列有什么关系？数据系列 很多基础二维组件（如折线图、柱状图等）都支持多个不同系列的系列展示，您只需在配置面板的 数据 页签中配置不同的 s 字段即可。配置项系列 支持多...
配置项常见问题
本文介绍组件配置项的常见问题及解决方法。数据系列与配置项系列有什么关系？数据系列 很多基础二维组件（如折线图、柱状图等）都支持多个不同系列的系列展示，您只需在配置面板的 数据 页签中配置不同的 s 字段即可。配置项系列 支持多...
如何基于LSM-tree架构实现一写多读
B+tree并发回放有它自身的复杂性，比如需要解决系统页回放与普通数据页回放先后顺序问题，并且还需要解决同一个mtr中多个数据页并发回放可能导致的物理视图不一致问题。LSM-tree需要解决多个节点在同样位置SwitchMemtable，以及2PC事务回放...
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓...
云数据库录入
A：可根据如下操作步骤解决此问题：登录 数据管理DMS 5.0。在DMS首页左侧的 数据库实例>未登录实例 列表中，找到并右键单击目标Redis实例，单击 编辑实例。在 高级信息 区域 开启SSL。开启后，单击 测试连接。待测试成功后，单击 保存。...
恢复数据库
数据库备份DBS 提供数据恢复能力，通过创建恢复任务将已完成备份的数据恢复到云数据库、本地数据库或DBS沙箱中，可用于误操作后恢复以及分析历史数据等场景。前提条件 DBS备份计划的运行状态为 运行中。已完成数据库备份。相关操作，请参见...
云数据库录入
A：可根据如下操作步骤解决此问题：登录 数据管理DMS 5.0。在DMS首页左侧的 数据库实例>未登录实例 列表中，找到并右键单击目标Redis实例，单击 编辑实例。在 高级信息 区域 开启SSL。开启后，单击 测试连接。待测试成功后，单击 保存。...
标准架构
支持数据备份功能，用户可以针对备份集回滚实例或者克隆实例，有效地解决数据误操作等问题。同时，在支持容灾的可用区（例如杭州可用区H+I）创建的实例，还具备同城容灾的能力。兼容性 标准架构完全兼容Redis协议，自建的Redis数据库可以...
新功能发布记录
2024年 4月 类别 功能名称 功能描述 发布时间 相关文档 新增 数据归档OSS RDS SQL Server通用云盘新增支持数据库级别的数据归档至对象存储OSS能力，该功能允许用户在控制台数据库管理页面或通过API将不经常访问的在线数据库转为冷存数据库...
大数据用户画像解决方案
进入互联网，特别是移动互联网时代，用户随时随地都会在...多维度&复杂查询：原生全局二级索引、Lindorm Search满足多维度查询需求 方案详情&专家服务 解决方案详情参见：基于Lindorm的大数据用户画像解决方案 任何问题，欢迎联系 技术支持。
什么是云原生数据湖分析
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
产品整体介绍
技术架构 以下为 AnalyticDB PostgreSQL版 的架构图，主要包含Master Node和Compute Node两大组件，中间通过Interconnect进行互联通信和数据交换传输。Master Node和Compute Node提供多副本保障服务高可用和数据高可靠，同时均支持通过...
创建集群
是EMR平台上提供的实时计算一站式解决方案，拥有分布式、高吞吐量和高可扩展性的消息系统Kafka和基于Apache Flink官方产品Ververica提供的Flink商业内核两大组件，专注于解决实时计算端到端的各类问题，广泛应用于实时数据ETL和日志采集...
SQL其他常见问题
问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合预期？如何解决DECIMAL数据类型精度溢出问题？新创建的MaxCompute项目不支持数据...
RDS连接失败的排查方法
概述 本文主要介绍如何排查无法连接RDS实例的问题。详细信息 您可以从以下五个方面排查问题：...ECS实例无法通过内网访问RDS实例 若是ECS实例无法通过内网访问RDS实例，您可以参见 解决无法连接RDS实例的问题 解决问题。适用于 云数据库RDS
外部表常见问题
问题现象 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型（例如2019-11-11 06:43:36），会返回如下报错。FAILED:ODPS-0123131:User defined function exception-Traceback:java.lang.IllegalArgumentException at ...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
产品概述
数据规范统一：采用维度事实建模理论，对维度、维度属性、业务过程、指标字段等进行严格的标准化、规范化定义，保障资产质量，避免数据指标定义的二义性。自动化编码：高效且自动化的编码：基于函数化理念，对通用数据计算逻辑进行组件化...
数据代理请求常见问题
本文主要介绍请求数据代理时遇到的问题及解决方法。DataV数据代理请求无法连接时如何处理？当您使用DataV数据代理请求无法连接时，可以通过以下步骤排查。判断界面请求是否出现 配置错误 的信息。是，一般是Key和Secret解析错误导致，请...
数据治理
数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有时候查询不脱敏 为什么数据地图数据总览页存储量和存储趋势图相差较...
大数据安全治理的难点
数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有哪些资产？这些资产分布在哪里、承载着什么样的业务？资产内有哪些数据？数据业务属性及重要程度...
数据迁移
MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和计算问题，有效降低企业成本。DataWorks 为MaxCompute提供一站式的数据集成、数据开发、数据管理和数据运维等功能。其中：数据集成 为...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
- 产品推荐
- 这些文档可能帮助您