常见问题
公共问题 崩溃分析如何...iOS Pod集成移动监控引入FBRetainCycleDetector的问题处理 崩溃分析手动集成报错 iPad获取不到数据 使用cocopods集成服务造成utdid依赖库与阿里巴巴依赖库冲突 iOS SDK同时集成数据分析&崩溃分析Pod进来framwork冲突
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
什么是数据库备份DBS
常见问题和故障处理 使用DBS时遇到的各类问题，例如需要修改备份源数据库、数据库恢复失败、如何备份RDS只读实例等，您可以在 常见问题 或 常见报错 内查找，可以解决您的绝大部分问题。说明 若在文档中未找到您遇到的异常或报错，或按照...
MaxFrame概述
背景信息 基于Python语言的易读性、高效开发及开放生态等优势，Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言，其整合了数据分析、机器学习等各类第三方包，如Pandas（数据处理与分析）、NumPy（数值计算）、...
数据模型架构规范
公共处理逻辑下沉及单一 底层公用的处理逻辑应该在数据调度依赖的底层进行封装与实现，不要让公用的处理逻辑暴露给应用层实现，不要让公共逻辑在多处同时存在。成本与性能平衡 适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复制...
配置学区地图单选框交互
将 公办 的 串行数据处理 节点分别与 公办小学点 的 显示 动作和 民办小学 的 隐藏 动作连线。将 民办 的 串行数据处理 节点分别与 公办小学点 的 隐藏 动作和 民办小学 的 显示 动作连线。最终的连线效果如下。使用同样的方式对 初中 节点...
配置学区地图单选框交互
将 公办 的 串行数据处理 节点分别与 公办小学点 的 显示 动作和 民办小学 的 隐藏 动作连线。将 民办 的 串行数据处理 节点分别与 公办小学点 的 隐藏 动作和 民办小学 的 显示 动作连线。最终的连线效果如下。使用同样的方式对 初中 节点...
Oracle同步至Tablestore
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
Delta Lake概述
但该套方案存在如下问题：数据导入可能会失败，失败后清理脏数据和恢复作业困难。方案中没有ETL（Extract Transform Load）过程，缺少必要的数据质量监管。方案中没有事务将读和写隔离，致使流式和批式读写无法相互隔离。Delta数据湖方案...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。操作步骤 重要 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的...
查看血缘关系
数据血缘关系描述了数据在来源、处理、传输和消费过程中形成的关系，包括元数据之间的流向、依赖关系以及元数据与流批作业的生产消费关系。在Flink全托管中，我们提供了N层作业的表级别和字段级别的数据血缘关系的查看和分析能力，具体的...
SDK概述
v1.1.3.1 解决MNS与Spar或Hadoop包的依赖冲突问题。解决Spark Streaming+MNS某些场景下抛空指针问题。解决python sdk的部分BUG。Spark Streaming+Loghub支持自定义时间位置的功能。解决Hadoop无法支持原生Snappy文件问题。目前E-MapReduce...
概述
Spark全密态数据计算引擎常用于解决数据存储与计算安全、敏感数据合规和数据安全共享场景中的数据安全问题。以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析...
技术支持的范围和方式
管控平台功能如下：集群购买流程 集群创建流程 集群扩缩容流程 集群添加服务流程 集群弹性伸缩 集群告警监控功能 数据开发功能 负责EMR产品自研组件的使用、咨询服务、稳定性问题和产品缺陷问题处理。自研组件如下：SmartData Bigboot ESS ...
MaxCompute UDF（Java）常见问题
类或依赖问题 调用MaxCompute UDF运行代码时的常见类或依赖问题如下：问题现象一：运行报错描述为 ClassNotFoundException 或 Some dependencies are missing。产生原因：原因一：创建MaxCompute UDF时指定的资源JAR包不正确。原因二：...
任务运行诊断
上游任务是否为成功状态，决定当前任务是否执行 节点依赖关系设置后，默认当前任务与当前任务依赖的上游存在数据依赖（即上游任务未执行，将导致当前节点依赖的上游数据未产出，当前节点执行会产生数据质量问题）。因此，当前任务除了要...
功能简介
数据开发帮助用户优化智能系统的架构，提高系统的工程化水平，让用户能够集中精力处理计算逻辑问题，提高开发效率。数据开发除了在系统层面上集中管理计算节点，降低计算节点和系统其他组件的耦合之外，也对计算节点内部的实现提供了一组...
功能简介
数据开发帮助用户优化智能系统的架构，提高系统的工程化水平，让用户能够集中精力处理计算逻辑问题，提高开发效率。数据开发除了在系统层面上集中管理计算节点，降低计算节点和系统其他组件的耦合之外，也对计算节点内部的实现提供了一组...
ADAM概览
异构数据库迁移ADAM（Advanced Database&Application Migration）提供数据库平滑迁云解决方案，全面评估上云可行性、成本和云存储选型，内置实施协助、数据迁移、应用迁移等工具，覆盖数据库迁移的全生命周期，帮助企业降低数据库和应用...
数据开发
数据开发帮助用户优化智能系统的架构，提高系统的工程化水平，让用户能够集中精力处理计算逻辑问题，提高开发效率。数据开发除了在系统层面上集中管理计算节点，降低计算节点和系统其他组件的耦合之外，也对计算节点内部的实现提供了一组...
权限管理与规范化数据开发
说明 关于简单模式与标准模式差异详情可参考文档：必读：简单模式和标准模式的区别 标准模式对使用流程的影响 如图，标准模式“生产、开发隔离”的模式将影响数据模型设计、数据处理逻辑代码发布等流程。实践操作流程 以下以一个具体的实践...
使用SDK示例代码消费订阅数据
完成数据订阅通道的配置后，您可以使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍该示例代码的使用说明。操作步骤 重要 若数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的操作步骤请参见 使用SDK示例代码消费PolarDB-X 1.0...
Lindorm for Cassandra应用实践
云原生多模数据库 Lindorm 简介 云原生多模数据库 Lindorm 是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，提供宽表、时序、搜索、文件等多种数据模型，兼容HBase、Cassandra、Phoenix、...
MySQL节点
您可以通过创建MySQL节点，直接使用SQL语句对目标MySQL数据源进行数据开发。本文为您介绍如何创建并使用MySQL节点。前提条件 MySQL节点仅支持使用独享调度资源组，独享调度资源组的使用请参考文档：新增和使用独享调度资源组。已通过连接串...
数据集成概述
您需要确保数据集成用于执行数据同步的资源组与您将同步的数据来源端与目标端网络环境的连通，数据集成支持您根据数据源所在网络环境，选择对应的网络同步任务，关于网络连通方案选择与配置资源组与数据源的网络连通，详情请参见：配置资源...
配置学区地图区域热力层交互
将 top3 的 串行数据处理 节点分别与 第五步 中所有的 name、average 和 count 节点的 导入数据接口 动作连线。部分连线结果如下。在上一步的九条连线中各添加一个 串行数据处理 节点，分别命名为 1-name、1-count、1-average、2-name、2-...
配置学区地图区域热力层交互
将 top3 的 串行数据处理 节点分别与 第五步 中所有的 name、average 和 count 节点的 导入数据接口 动作连线。部分连线结果如下。在上一步的九条连线中各添加一个 串行数据处理 节点，分别命名为 1-name、1-count、1-average、2-name、2-...
如何基于LSM-tree架构实现一写多读
最基础的DDL操作，例如Create或Drop操作，在一写多读架构下，要考虑数据与数据字典，数据与字典缓存一致性等问题。一写多读的基础是物理复制，物理复制日志只在引擎层流动，不涉及到Server层，因此需要新增日志来解决DDL操作导致的不一致...
自定义区域下钻层（v4.x版本）
当自定义topojson数据接口请求完成时 自定义topojson数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。当区域被点击...
MaxCompute数据离线同步至ClickHouse
背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到其他目标端，也支持从其他目标端同步数据到ClickHouse。本文以MaxCompute离线同步写入ClickHouse为例，为您介绍ClickHouse离线同步的完整...
无锁结构变更方案对比
有无触发器对比 有触发器：基于触发器设计的工具代码逻辑相对简单，大部分数据上的工作交给了触发器去完成，包含数据库的隐式处理、数据类型以及切换等相关操作，简化了进行实时表迁移的大量流程。无触发器：无触发器设计最大的优点是和...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
任务冻结与解冻
您可以手动针对当前周期任务触发补数据和测试操作，并根据当前实例快照信息生成补数据实例与测试实例，根据以上说明的周期任务与周期实例，测试实例和补数据实例的关系，您需要先查看以下几点。请确认您冻结的任务是周期任务。周期任务的...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
导入发布包
发布报错：依赖对象不存在时，监控对象发布报错，需要解决依赖问题后才可以发布。安全 需开通数据安全功能。新增密钥 针对变更类型为新增的密钥，密钥值支持选择 导入原值、系统自动生成 或 系统生成的密钥自动刷新，手动生成的密钥导入后...
镜像管理
内置镜像说明 功能分类 镜像名称 内置三方包及版本信息 编程语言及版本 说明 科学计算 numpy numpy 1.21.6 Python 3.7 数值计算 scipy scipy 1.7.3 Python 3.7 科学计算 数据分析 pandas pandas 1.3.5 Python 3.7 数据处理与分析 统计建模 ...
创建业务流程
您可以通过操作业务流程的方式，实现对数据的处理和相互依赖。一个工作空间下支持创建多个业务流程，详情请参见 创建业务流程。创建业务流程 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间...
导入发布包
发布报错：依赖对象不存在时，监控对象发布报错，需要解决依赖问题后才可以发布。安全 需开通数据安全功能。新增密钥 针对变更类型为新增的密钥，密钥值支持选择 导入原值、系统自动生成 或 系统生成的密钥自动刷新，手动生成的密钥导入后...
- 产品推荐
- 这些文档可能帮助您