创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
通过向导模式配置离线同步任务
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
通过创建元数据库来管理DLF湖中的数据。登录 数据湖构建控制台，在左上角选择地域，例如 华东2（上海）。创建元数据库。例如datalake。在左侧导航栏，选择 元数据管理，在 数据库 页签，单击 新建数据库。在 新建数据库 对话框，配置相关...
聚合支付：Ping+
Mycat前期人力成高、后期需要部署维护，问题解决成本高、时间长。PolarDB-X 商务成本相对可接受，产品化能力丰富，运维便捷，最后选型阿里云 PolarDB-X。解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿...
区域热力层（v1.x版本）
GeoJSON提取工具中的数据已更新，需使用新的GeoJSON数据文件。修改参数。以 肇庆市 的区县级GeoJSON数据为例，高要区 文字标注有偏移。使用 DataV.GeoAtlas边界生成器 工具，上传 肇庆市 的区县级GeoJSON数据文件，在 属性表面板 中添加 ...
区域热力层（v2.x版本）
GeoJSON提取工具中的数据已更新，需使用新的GeoJSON数据文件。修改参数。以 肇庆市 的区县级GeoJSON数据为例，高要区 文字标注有偏移。使用 DataV.GeoAtlas边界生成器 工具，上传 肇庆市 的区县级GeoJSON数据文件，在 属性表面板 中添加 ...
区域热力层
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法请参考 基础平面地图 中 区域热力层 子组件内的 文字标注偏移解决方案。热力值数据接口 您可以通过配置热力值数据接口，自定义区域热力层的样式。区域热力层支持数据优先...
区域热力层（v3.x版本）
GeoJSON提取工具中的数据已更新，需重新下载新的GeoJSON数据文件。修改参数。以 肇庆市 的区县级GeoJSON数据为例，高要区 文字标注有偏移。使用 DataV.GeoAtlas边界生成器 工具，上传 肇庆市 的区县级GeoJSON数据文件，在 属性表面板 中...
数据保护机制
MaxCompute已提供数据保护机制能力，如果项目中的数据敏感度很高，则需要项目所有者自行设置数据保护机制。MaxCompute项目的数据保护机制默认为关闭状态。项目所有者可以在项目中执行 set projectProtection=true;命令开启数据保护机制，...
解决SQL Server表中的中文乱码问题
正确示例 将上述示例中的数据类型VARCHAR改为NVARCHAR，执行如下代码，查询SQL Server表中的生僻字“䅇”（su）。使用tempdb数据库 USE tempdb;GO-如果已经存在名为temp的表，则删除该表 IF OBJECT_ID('temp','U')IS NOT NULL DROP TABLE ...
XYZ栅格，为什么出现了蓝色的地球
栅格数据中是否存在透明的瓦片，如果存在透明瓦片则可能会出现蓝色的地球，解决这个问题可以尝试新增一个栅格数据源并在Tab中拖动到后面，或者新增一个可被浏览器访问的静态图片地址作为新增XYZ数据源的地址。栅格数据源是否只在指定城市...
离线同步数据质量排查
环境信息排查 问题 解决方案 查询了错误或不完整的数据源、表、或者分区等。DataWorks标准项目分为开发数据源、生产数据源，在开发环境运行任务使用开发数据源，在生产环境运行任务使用生产数据源，再对数据数量和内容比对时，需要确认下...
UpdateDIProjectConfig
当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL消息处理规则时会读取此处的全局配置为默认配置。您也可以根据实际业务需求修改目标同步任务...
操作流程
通过操作流程图，便于直观的了解到解决方案生成及使用需进行的一系列任务。...实例化解决方案 通过将导入的解决方案包实例化至工作组，以便当前工作组复用解决方案包中的数据。以整体解决方案为例，具体操作，请参见 实例化解决方案。
JindoFS实战演示
本视频为您介绍如何将HDFS中的文件载入Hive表，然后将Hive中的数据按照分区归档到OSS。OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单...
常见问题
扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、数据脱敏、智能异常检测等数据安全解决方案提供基础。...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
数据服务
API分组是一个特定功能或场景的API集合，是数据服务中API的最小组织单元，对应于API网关中的分组概念。数据服务中的API发布至API网关时，系统会在API网关中自动创建一个同名的分组。如何合理设置API分组？通常将解决同一个问题或者相似功能...
后续指引
开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各版本支持的数据类型、适用场景及各版本间的差异，避免开发过程中出现数据类型无法解析问题。介绍：数据类型 常见问题：数据类型常见问题 常用命令 提供开发过程中的针对 表...
数据质量管理流程
本文为您介绍数据质量管理概念、数据管理流程。数据质量管理是通过划分数据资产等级和...根据业务过程中出现的问题，对监控方案进行汇总分析和改进。详情请参见 数据质量追溯。icmsDocProps={'productMethod':'created','language':'zh-CN',};
04解决方案实例化
实例化是指将解决方案包中的数据写入到当前工作组对应模块中，以便当前工作组复用解决方案包中的数据。本文介绍如何进行解决方案实例化操作。前提条件 已成功导入解决方案，具体操作，请参见 新建工作组并导入解决方案。操作步骤 登录 数据...
X-Engine简介
数据组织 X-Engine的每层都划分成固定大小的Extent，存放每个层次中的数据的一个连续片段（Key Range）。为了快速定位Extent，为每层Extents建立了一套索引（Meta Index），所有这些索引，加上所有的memory tables（active/immutable）一起...
管理问题数据
若存在数据不唯一，系统生成的问题数据表会保留该字段的重复数据，即重复的数据就是问题数据。唯一值个数/总行数。唯一值个数与总行数的比率与一个固定值进行比较。空值 空值个数，固定值。取该字段的空值数与固定值进行比较。说明 是否为...
2023年
新说明 使用PyODPS DataFrame编写数据应用时，同一个脚本文件中的代码会在不同位置执行，可能导致一些无法预期的问题，本文为您介绍当出现相关问题时，如何确定代码的执行环境，以及提供部分场景下的解决方案。PyODPS DataFrame的代码运行...
数据质量保障原则
例如，成绩单中分数出现负数或订单中出现错误的买家信息等，这些数据都是问题数据。确保记录的准确性也是保证数据质量必不可少的一部分。一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，...
文档修订记录
绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。开发前准备：绑定数据源或集群 2023.12.29 新增功能 数据源 为给您带来更统一的产品使用体验，DataWorks将MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for ...
数据开发概述
进入数据开发 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。数据开发主要功能 数据开发（DataStudio）的主要功能介绍如下。您可参考 数据开发相关概念 辅助理解。...
时序引擎版本说明
功能优化 修复TSQL条件中出现BOOLEAN数据类型的数据时可能出现异常的问题。3.4.17（稳定版本）发布日期 类型 说明 2022年06月17日 新特性 支持设置写入的最大时间（即当前时间和偏移时间），超过偏移时间后写入的数据会被丢掉。功能优化 ...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感...如果实例中的数据库不再需要敏感数据保护功能，可以关闭该功能。具体操作，请参见 关闭敏感数据保护。了解分类分级扫描原理详情，请参见 DMS分类分级扫描原理介绍。
新功能发布记录
购买实例 集群实例工作台 标准版（Key-Value）标准版（Key-Value）是 OceanBase 的 No SQL 数据库模型，可以绕过 SQL 引擎直接读取存储引擎中的数据。同时，提供多种更加简单高效的非关系型 API 接口，充分发挥 NoSQL 和 SQL 共处的新架构...
表引擎
Kafka 将Kafka Topic中的数据直接导入到 云数据库ClickHouse。MySQL 将MySQL作为存储引擎，直接在 云数据库ClickHouse 中对MySQL表进行 select 等操作。JDBC 通过指定JDBC连接串读取数据源。ODBC 通过指定ODBC连接串读取数据源。HDFS 直接...
二级索引
仅支持为通过SQL或API写入的数据构建二级索引，不支持为Bulkload（批量导入）至Lindorm的数据构建二级索引。问题答疑 对于索引使用上的任何问题，您可以通过钉钉联系云Lindorm答疑或工单咨询，具体操作，请参见 技术支持。
Spark
如何解决Spark应用日志中出现的ClassNotFound报错？如何解决Spark应用日志中出现的NoSuchMethod报错？如何解决Spark SQL应用读JSON外表（包含日志投递自建）时，出现ClassNotFoundException:org.apache.hadoop.hive.serde2.JsonSerDe报错？...
地形
地形和建筑遮挡问题示意图 地形子组件参数调整前 地形子组件调整参数后 参数调整后遮挡问题解决示意图 说明 目前建筑、道路、绿地、水系等要素并不是严格匹配地形高度的，所以当前因和地形高度不匹配导致的遮挡的问题，只能够通过参数调整...
运行失败
Seek阶段pk重复导致运行失败 报错信息 解决方法 打开运行MaxCompute任务的Logview，并查看StdOut中的值。Loview使用方法请参考 使用Logview查看作业运行信息。如果该实例的record number比其它实例大很多，请检查数据是否存在pk相同、但...
常见问题
如果更新的是自定义时间列中的数据，则需要根据新写入的时间内容来重新划分冷热数据。假设一个表的主键列为p1，p2，非主键列为c1，c2，某一行为p1=row1，p2=2023.1.28日，c1=”c1“，c2=”c2“，冷热分界线CHS=1天，当前时间为2023.1.30日...
数据源配置常见问题
如果您的API使用了DataV暂不支持的数据源或接口，例如调用函数计算等，此类API也可以通过阿里云API网关中的数据源来获取数据。数据库数据源配置时报timeout，该如何处理？确认您是否已经完成 数据库白名单的配置。如果您的数据源为阿里云...
数据源配置常见问题
如果您的API使用了DataV暂不支持的数据源或接口，例如调用函数计算等，此类API也可以通过阿里云API网关中的数据源来获取数据。数据库数据源配置时报timeout，该如何处理？确认您是否已经完成 数据库白名单的配置。如果您的数据源为阿里云...
地形
地形是三维城市构建器的基底图层，用于表示程序化生成的...参数调整后遮挡问题解决示意图 说明 目前建筑、道路、绿地、水系等要素并不是严格匹配地形高度的，所以当前因和地形高度不匹配导致的遮挡的问题，只能够通过参数调整的方式来解决。
地形
地形是三维城市构建器的基底图层，用于表示程序化生成的...参数调整后遮挡问题解决示意图 说明 目前建筑、道路、绿地、水系等要素并不是严格匹配地形高度的，所以当前因和地形高度不匹配导致的遮挡的问题，只能够通过参数调整的方式来解决。
- 产品推荐
- 这些文档可能帮助您