数据迁移
数据迁移和脚本迁移遇到的问题及解决方案请参见 迁移自建Hadoop数据至MaxCompute实践。迁移Oracle数据至MaxCompute，详情请参见 迁移Oracle数据至MaxCompute。迁移消息队列for Apache Kafka集群数据至MaxCompute，详情请参见 迁移消息队列...
ODC 常见问题
场景 解决方案 SQL 窗口执行 SQL 结果集中包含中文字符乱码 ODC 安装服务器：mac OBserver的字符集编码：GBK 查看现象 在数据库中执行如下命令：show variables like '%character%';得到结果：character_set_client gbk character_set_...
通过操作审计查询行为事件日志
DIBatchDeleteAlarmRule 运维中心数据集成批量删除告警规则 DIUpdateAlarmRule 运维中心数据集成修改告警规则 DISaveSolution 数据集成主站新建或修改保存解决方案 DIDeleteSolution 数据集成主站删除解决方案 DIStartSolution 数据集成主...
常见问题
扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、数据脱敏、智能异常检测等数据安全解决方案提供基础。...
Spark
本文汇总了使用 AnalyticDB MySQL Spark的常见问题及解决方案。常见问题概览 如何查看Spark应用信息？如何解决提交Spark应用时，出现User%s do not have right permission[*]to resource[*]报错？如何解决运行Spark应用时，出现No space ...
配置同步任务
重要 冲突解决策略仅在AnalyticDB for PostgreSQL内核版本高于4.3时的Copy模式下有效，内核低于4.3或不明版本时请谨慎选择，避免造成任务失败。解析方案 非必填项。数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
版本说明
写入单点数据时，空格引发的JSON解析失败问题修复。多值模型下的NullPointerException问题修复。TSDB时间线没有限制住增长的问题修复。修复删除时间线失败时多值 schema 信息删除遗漏的问题。V2.5.0 2019年4月13日 时序结构化查询语言TSQL ...
离线同步能力说明
脏数据个数控制 数据集成默认允许脏数据产生，支持您对同步过程中产生的脏数据个数设置阈值，并定义其影响：当不允许脏数据产生时，则同步任务执行过程中如果产生脏数据，任务将失败退出。当允许脏数据并设置其阈值时：若产生的脏数据在...
区域热力层
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法请参考 基础平面地图 中 区域热力层 子组件内的 文字标注偏移解决方案。热力值数据接口 您可以通过配置热力值数据接口，自定义区域热力层的样式。区域热力层支持数据优先...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
版本发布记录
2024年01月 功能名称 描述 相关文档 社区兼容版22.8 优化 从MaxCompute外表导入数据时，增加支持独享Tunnel和在网络传输过程中进行数据压缩功能。默认打开text_log日志，记录日志等级为Warning、Error和Fatal的日志，可通过system.text_log...
查看解决方案日志
解决方案日志包括实例化详情、创建日志、实例化日志和导入日志等，通过查看日志，方便定位操作中遇到的问题。本文介绍如何查看解决方案日志。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 ...
Spark作业异常排查及处理
本文介绍Spark作业异常的排查方法和解决方案。内存问题引起的报错 Container killed by YARN for exceeding memory limits 报错原因：提交App时申请的内存量较低，但JVM启动占用了更多的内存，超过了自身的申请量，导致被YARN NodeManager...
EMR Spark功能增强
用户可以创建Relational Cache对数据进行预计算，在执行用户查询时，Spark Optimizer自动发现合适的Cache，并改写SQL执行计划，基于Cache的数据继续计算，从而提升查询速度，适用于报表、Dashboard、数据同步和多维分析等场景。通过DDL，...
数据保护机制
在实际业务处理过程中，用户可能会同时具备多个项目的访问权限，此时会存在数据在项目间流转的安全问题。MaxCompute提供了数据保护机制，支持对数据流出行为进行控制，为项目数据的安全性提供保障。本文为您介绍MaxCompute的数据保护机制...
内建函数概述
MaxCompute自身预置了诸多函数，可以满足大部分业务场景的数据处理需求。本文为您介绍MaxCompute提供的函数类型及函数使用相关说明。背景信息 使用MaxCompute内建函数过程中，需要注意的事项请参见 注意事项。MaxCompute预置的函数类型如下...
JSON数据类型
Lindorm宽表引擎支持在建表、插入数据和更新数据时使用JSON数据类型。JSON（JavaScriptObject Notation）是一种可以在多种语言之间进行数据格式交换的数据类型。JSON数据的格式为键值对，结构清晰，语法易读，同时也方便前后端的数据传输。...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
概览
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
组件使用常见问题
使用地图瓦片组件时的常见问题 本节主要介绍DataV地图瓦片相关的常见问题及相应的解决方法。在局域网中，如何调用地图瓦片？在局域网中您可以将在线瓦片缓存在您的Web服务器上，按照标准文件夹命名的形式进行存放，例如：[缩放等级]/[行号]...
Oracle数据源
使用限制 当前数据集成同步数据时，仅支持UTF8、AL32UTF8、AL16UTF16及ZHS16GBK编码格式。Oracle单实例，当天实时同步最大支持同步500G增量数据。DataWorks的数据集成实时同步Oracle数据是基于Oracle Logminer日志分析工具实现的，Oracle仅...
RDS MySQL I/O高问题
RDS MySQL的I/O性能受硬件层存储介质、软件层数据库内核架构和具体SQL语句（扫描或修改数据量）的影响。本文介绍实例I/O高的原因和解决方案。高吞吐导致实例I/O高 现象 如果表上有很多索引或大字段，频繁地更新、删除、插入，读取数据和...
备份数据库
数据库备份DBS 的 批量备份 功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例，向您介绍如何备份数据库。说明 关于各类数据库备份方案，请参见 备份方案概览。前提条件 已添加数据源。如何添加数据源，请参见 手动...
如何排查无法连接MongoDB实例的问题？
解决方案：删除 0.0.0.0/0 白名单，将正确的IP地址添加到云数据库MongoDB实例的白名单中。如何设置白名单，请参见 设置白名单。检查网络环境 云数据库MongoDB支持私网和公网两种连接方式，不同网络环境需满足以下条件才能连接云数据库...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
2021年
新功能 MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。MaxCompute湖仓一体概述 2021年2...
API参考
强烈建议传入该字段 是 是 2023-06-21 v1.6.10 分销逆向申请退款接口错误码优化 优化错误码返回，方便客户理解接口返回的错误码 是 是 2023-04-26 v1.6.9 分销交易、订单接口返回值code更正 更正交易、订单主动调用接口成功时的code描述 ...
2021年
2021-03-16 全部地域 支持压缩格式数据 MaxCompute SQL支持FROM_JSON/TO_JSON函数 FROM_JSON函数可以将JSON转换成MaxCompute的数据类型，或提取JSON中的信息，根据JSON字符串jsonStr和schema信息，返回ARRAY、MAP或STRUCT类型。TO_JSON函数...
解决SQL Server表中的中文乱码问题
解决方法 为了解决在SQL Server表中查询生僻字出现乱码的问题，您需要使用Unicode编码格式的数据类型，例如NVARCHAR，并在向该数据类型插入数据时，使用前置词N。N代表国家语言，必须大写。如果没有使用前置词N，则SQL Server会将字符串...
Logtail限制说明
本文简介Logtail采集数据时在运行环境、文件采集、容器采集、CheckPoint管理、Logtail采集配置、机器组、性能、错误处理等方面的限制。运行环境 限制项 限制说明 体系结构 Linux Logtail版本支持x86_64和arm64。Windows Logtail版本支持x86...
实例化解决方案
实例化是指将解决方案包中的数据写入到当前工作组对应模块中，以便当前工作组复用解决方案包中的数据。本文介绍如何实例化解决方案。前提条件 已成功导入解决方案，具体操作，请参见 导入解决方案。操作步骤 登录 数据资源平台控制台。在...
OSS上传回调时出现“The callback configuration is ...
问题描述 在使用阿里云OSS上传回调功能时，发送给对象存储OSS的请求中携带相应的回调参数后，返回了以下报错信息。Code>InvalidArgument</Code><Message>The callback configuration is not json format.问题原因 Callback参数必须...
解决方案
本文介绍解决方案的相关问题。导出的解决方案中没有新导入的模型怎么解决？导出的解决方案中没有新导入的模型怎么解决？在数据资源平台中，解决方案会在首次导入模型后生成快照，而在快照生成后再进行导入模型操作时，将不会对该解决方案中...
Logtail
警告 如果日志文件为其它编码格式则会出现乱码、数据丢失等问题。日志文件大小 无限制。日志文件轮转 日志轮转队列大小默认为20。您可通过启动参数 logreader_max_rotate_queue_size 进行调整。具体操作，请参见 设置Logtail启动参数。支持...
CREATE TABLE
参与Join的两个表，按相同的分布键（Join列）进行数据分布，使得两个表相同键值的数据被分布到同一分片，可直接在同一分片进行Join操作，无需在分片之间进行数据传输，能够有效减少查询过程中的数据重分布，提升查询性能。例如，需要按照...
操作流程
流程图及说明 任务项 说明 创建解决方案 通过创建解决方案，将工作组内已加工完成的数据标准、数据模型、数据加工场景、数据服务API配置等信息，进行版本化解决方案封装。以整体解决方案为例，具体操作，请参见 新建解决方案。创建类型：...
通用参考
SPL读取存储在SLS的LogGroup结构数据作为输入（LogGroup定义详情请参见 数据编码方式），如果原始写入日志服务的数据不符合标准LogGroup编码规范，即某些保留字段并未按照标准编码在对应位置，而是放在LogContent中，则SPL在读取此类保留...
外部表常见问题
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
- 产品推荐
- 这些文档可能帮助您