权限说明
权限常见问题 问题一：访问时提示无RAM DLF API相关权限 具体表现为：页面提示需要RAM进行授权dlf:xxx权限，需要在RAM上授予AliyunDLF相关OpenAPI层权限，DLF在RAM上已内置AliyunDLFFullAccess及AliyunDLFReadOnlyAccess权限，用户可参考...
登录数据库
本文主要介绍在阿里云数据管理DMS控制台登录数据库时，常见的问题及解决方案。如何正确的填写登录DMS的数据库账号与密码？数据库账号指用户账号，密码指用户账号的密码。如下以在DMS登录RDS MySQL数据库举例。获取数据库账号与密码。在 RDS...
云原生大数据计算服务 MaxCompute
云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
数据湖管理FAQ
本文汇总了数据湖管理相关的常见问题及解决方案。Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关...
拒绝推断
拒绝推断（Reject Inference）是一种在金融场景经常和评分卡模型一起使用的数据增强方法，可以用来解决样本偏差问题。本文为您介绍拒绝推断组件的配置方法。算法简介 以信贷场景为例，用评分卡模型对用户的偿还、违约情况进行建模时只用到...
配置任务时测试连接失败的排查及解决方法
解决方法 请登录数据库所在服务器，通过执行 iptables-L 命令，确认是否设置了iptables。如果设置了iptables，那么请根据迁移任务的目标实例所在区域，选择对应区域的 DTS IP地址段，在iptables中放开DTS的访问限制。若您所在的网络环境有...
客户端FAQ
常见问题 Q：JDBC读取数据报错：java.lang.NumberFormatException:For input string:"xxxx"A：尝试按照普通数据类型解析密文数据，例如 getInt/getBigDecimal/getBoolean/getLong/getFloat/getDouble，由于密文不符合普通数据类型格式要求...
收费常见问题
本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的？数据集成收费包含三种途径，详情请参见 独享数据集成资源组计费说明：包年包月、公共数据集成（调试）资源组：按量计费、公网流量计费说明。
云数据库RDS简介
阿里云关系型数据库RDS（Relational Database Service）是一种安全稳定可靠、高性价比、可弹性...常见问题和故障处理 使用RDS时遇到的各类问题，例如CPU过高、实例锁定等，您可以在 Q&A 或 常见问题 内搜索查看，可以解决您的绝大部分问题。
连接失败常见报错
常见的解决方法请参见如下文档：如何查询及限制连接数 排查因连接数耗尽导致的数据库连接问题 Mongo Shell连接时显示Connection reset by peers错误 Failed to connect to 10.*.*.8:3717 after 5000 milliseconds,giving up.Error:couldn't...
2024年产品更新公告
模型数据 模型数据支持创建不同数据类型的数据集，包括训练集、评测集，支持多版本数据管理，发布后可前往模型调优/评测功能使用。全新多版本模型数据管理能力，更高效的管理机制。优化数据展示、数据配置逻辑。知识索引 创建和管理用于RAG...
查看监控信息
在进行数据库日常维护或处理数据库故障时，查看数据库相关的...常见问题 MySQL CPU使用率高的原因和解决方法 MySQL 实例空间使用率过高的原因和解决方法 MySQL IOPS使用率高的原因和解决方法 MySQL实际内存分配情况 操作视频 查看监控及报警
客户案例
解决方案 友盟+联合MaxCompute构建开发者数据银行，为企业提供面向分析的、实现友盟域数据与企业私域数据全面融合的自助分析服务“U-DOP数据开放”。该服务通过订阅数据包返还数据到MaxCompute，预置分析模板并结合可视化分析BI工具来快速...
功能简介
全局设置 业务应用：对数据模型支撑的应用系统信息进行创建、管理。业务域：对数据模型来源于哪些系统信息进行创建、管理。数据域：提供对数据域的定义与管理，供逻辑表设计时进行使用。通用设置 数据建模基础信息：对逻辑表的属性进行配置...
功能简介
全局设置 业务应用：对数据模型支撑的应用系统信息进行创建、管理。业务域：对数据模型来源于哪些系统信息进行创建、管理。数据域：提供对数据域的定义与管理，供逻辑表设计时进行使用。通用设置 数据建模基础信息：对逻辑表的属性进行配置...
DDL 问题
DDL 任务创建常见问题 SQL 格式错误 SQL 语法错误 DDL 任务执行常见问题 无法获取分库分表拓扑 找不到物理数据节点 SQL 执行失败 DDL 任务创建常见问题 SQL 格式错误 错误信息：sqlContent Format error.must end with;解决方法：每条 SQL ...
SDK概述
解决添加OSS数据源时部分hadoop命令不可用问题。解决“java.text.ParseException:Unparseable date”问题。优化emr-core支持本地调试运行。兼容老版本的产生的“_$folder$”文件，解释成目录，不再当作普通文件处理。Hadoop和Spark读写OSS...
权限管理与规范化数据开发
进入 数据建模 阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案，我们将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
概述
发布数据模型：仅 空间管理员、运维 角色支持发布已创建的数据模型。如果您需要执行该操作，则可授权目标用户拥有对应的角色权限。授权详情请参见 空间级模块权限管控。概述 DataWorks数据建模支持数仓规划设计、制定并沉淀企业数据标准、...
概述
阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案（DATABLAU），将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上夯实数据...
常见错误码及排查方法
解决方法1：请查看源库中用于增量数据解析的日志（如Binlog或Redolog等），其时间范围是否包括该时间点，如包括，请联系阿里云技术支持由后台尝试重新读取数据，若不包括，则需重新创建任务。解决方法2：需重新创建任务。后续执行任务时，...
基本概念
训练 机器在模拟人类大脑思维方式的过程中高度依赖于过往解决问题的经验数据，要把这种解决问题的规律告诉机器就需要进行训练，而在真实业务场景中，单纯的根据已知数据训练出来的模型并不能真正满足用户的预期，所以自学习平台将已知数据...
数据迁移
MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和计算问题，有效降低企业成本。DataWorks 为MaxCompute提供一站式的数据集成、数据开发、数据管理和数据运维等功能。其中：数据集成 为...
超出备份空间免费额度怎么办
费用说明 不同引擎备份费用存在差异，具体如下：MySQL备份费用 SQL Server备份费用 PostgreSQL备份费用 解决方法 您可以先删除数据备份降低备份空间占用。手动删除数据备份请参见如下文档：MySQL删除数据备份 PostgreSQL删除数据备份 说明 ...
多值数据写入
时序多值模型 多值的模型是针对数据源建模，我们每一行数据针对的是一个数据源，它的被测量的多个指标在同一行上，所以每一个数据源，数据的来源在每一个时间点上都有一行，这就是多值的模型。比如某个机器的cpu，mem和load指标。每次是...
后续指引
介绍：SQL SQLML PyODPS MapReduce Mars Spark Graph 外部表 Java SDK Python SDK JDBC 实践：数据开发最佳实践 常见问题：错误码 SQL常见问题 PyODPS常见问题 MapReduce常见问题 Spark常见问题 外部表常见问题 Java SDK常见问题 Python ...
技术架构选型
根据阿里巴巴OneData方法论最佳实践，在设计数据模型前，您需要完成技术架构的选型。本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责...
支持的云服务
MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。更多DataWorks...
常见报错
解决方法：请参考本文配置备份计划时常见报错中的 源库测试连接失败 解决方法处理。数据库权限检查失败 报错场景：备份计划启动预检查、恢复任务启动预检查。可能原因：备份计划配置的数据库账号没有数据库数据访问权限。恢复任务配置的...
实时同步常见问题
实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决方案 实时同步Kafka数据报错：Startup mode for the consumer set to timestampOffset,but no begin timestamp was...
如何处理Tair集群数据倾斜
数据倾斜的原因与处理方法 请提前规划业务增长率，合理地拆分大Key，并保持规范的数据写入，才能解决数据倾斜的根源问题。产生倾斜原因 说明 处理方法 大Key 大Key通常以Key的大小和Key中成员的数量来综合判定。常见于在KKV（Key-key-value...
如何处理Redis集群数据倾斜
数据倾斜的原因与处理方法 请提前规划业务增长率，合理地拆分大Key，并保持规范的数据写入，才能解决数据倾斜的根源问题。产生倾斜原因 说明 处理方法 大Key 大Key通常以Key的大小和Key中成员的数量来综合判定。常见于在KKV（Key-key-value...
管理数据模型
在数据模型页面，您可以根据业务需要，查看并管理已创建的数据模型。查看数据模型 在数据模型列表页，您可以查看所有数据模型及其绑定的 API 数量与创建时间。说明 API 的请求数据模型和响应数据模型同时被使用，则 绑定的 API数量 按照 1 ...
示例：模型设计
数据模型 在用户上下文v1.0.0版本的 数据模型 页面，单击 数据模型设计器，在数据模型设计器页面您可以通过可视化方式查看数据模型信息。用户上下文的数据模型与模型间关联关系如下：更多信息，请参见 使用数据模型设计器。数据模型中支持...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
知识库
查看治理项问题解决方案 在 知识库>治理项 页面，您可以通过不同维度，查看目标维度下数据治理中心提供的治理项问题基本信息及解决方案详情。下图以研发维度示例，为您展示治理项问题相关信息。区域 描述 ① 在该区域，您可以选择使用 研发...
常见问题
本文介绍了DDL语句的常见问题及解决方法。在执行一条DDL前，如何评估它对业务的影响？通常在分布式数据库上执行DDL，需要关注该DDL是否会锁表、是否存在数据回填步骤（这关系到DDL执行耗时多少）、是否对业务流量造成较大影响这三方面。...
解决方案
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
什么是图数据库自动机器学习？
GDB Automl帮助用户高效的构建、训练和部署模型，缩短了开发者的研发周期并降低了模型迁移复用成本，使用户能够专注于试图解决的数据和业务问题。产品功能 GDB Automl支持数据处理、模型训练、数据预测和导出部署。详细产品功能介绍，请...
- 产品推荐
- 这些文档可能帮助您