概述
整合了多项技术，来解决用户的痛点问题：引入全新的高可用模块Voting Disk（简称VDS），该模块基于共享存储架构，实现自治的集群节点管理，大幅降低故障检测和集群选主耗时；新增支持全局预热系统的热备节点，通过对存储引擎内部的多个模块...
通用
各业务模块的“资源、代码”等核心要素实现完美区隔，而“日志、存储、数据同步”等核心业务实现集中维护，提升研发效能的同时让端上架构更开放、更灵活。客户价值 打造出属于“海尔”的移动中台——借助 mPaaS 统一的客户端开发框架与标准...
产品优势
数据传输服务DTS（Data ...DTS提供链路断点续传功能，解决网络或系统异常等导致的链路中断问题，且定期监测所有链路的状态，一旦发现链路异常，先尝试自动修复重启。如果链路需要用户介入修复，用户可以直接在控制台修复并重启链路。
DataWorks On Hologres使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力，您可将其他数据源的数据同步至Hologres数据源，或将Hologres数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、全增量同步任务等场景...
功能发布记录 2022年之前
配置同步到 AnalyticDB for MySQL 3.0的全增量解决方案 DataWorks数据开发模块新增FTP Check功能节点。FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在，则启动调度下游任务，不存在，则按照配置的间隔时间重复...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
事件协同处理（基于钉钉）
常规而言，运维事件中心相关的事件处理，仅支持在阿里云控制台进行相应操作，但由于运维场景存在大量问题需要研发人员共同参与处理过程，为了实现与研发的协同，需在阿里云控制台开通大量研发的RAM账号并进行授权，以及相应的通知订阅配置...
新建 Kafka 数据源
SCRAM-SHA-256 SCRAM（Salted Challenge Response Authentication Mechanism）认证方式通过执行用户名和密码认证的传统机制来解决安全问题。Kafka 支持 SCRAM-SHA-256，可以和 TLS 一起使用执行安全认证。该认证方式可以实现动态变更用户，...
DataWorks On MaxCompute使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至MaxCompute数据源，或将MaxCompute数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、全增量同步任务...
2022年
v2.8.6.1 2022年08月 模块 功能名称 功能概述 支持地域 版本号 应用监控 支持应用日志接入 解决部分用户应用日志的接入问题。请参见 应用监控目前支持的地域。v2.8.5.3 发布2.7.3.5版本探针 新增支持JDK8和JDK11。支持Webflux 5.3.x及以上...
DataWorks On EMR使用说明
通过 空间级模块权限管控，管理DataWorks空间级模块（例如，允许用户进入数据开发执行相关开发操作）与全局模块的使用权限（例如，禁止用户访问数据保护伞模块）。开始使用 一、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
灾备方案
借助阿里云的 Tair 全球分布式缓存功能，可帮助您解决业务因跨地域访问导致延迟大的问题，分布式缓存功能具有如下优势：可直接创建或指定需要同步的子实例，无需通过业务自身的冗余设计来实现，极大降低业务设计的复杂度，让您专注于上层...
Logstash FAQ
本文介绍使用阿里云Logstash的常见问题。Logstash支持将数据源配置为DRDS吗？如何将公网数据导入或导出到Logstash中？使用自建Kafka作为Logstash的输入或者输出时，出现错误日志，如何处理？阿里云Logstash的JDBC支持MySQL数据库吗？...
灾备方案介绍
借助阿里云的Redis全球分布式缓存功能，可帮助您解决业务因跨地域访问导致延迟大的问题，分布式缓存功能具有如下优势：可直接创建或指定需要同步的子实例，无需通过业务自身的冗余设计来实现，极大降低业务设计的复杂度，让您专注于上层...
管理控制台功能概览
功能模块 您可通过控制台了解DataWorks各模块的功能及使用流程，并快速进入指定工作空间的 数据集成、智能数据建模、数据开发、运维中心、数据质量、数据分析、数据地图、安全中心、数据治理中心、数据服务、管理中心 模块执行相关操作。...
出错提示S9磁盘分区头数据同步出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S9_*磁盘分区头数据同步出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S9_*磁盘分区头数据同步出错”。其中S9_*可能的错误码如下：S9_F4 S9_F40 问题...
如何解决同步实例关于表的报错？
本文介绍如何使用修改同步对象功能，解决DTS同步实例运行过程中表报错的问题。前提条件 没有业务读取目标库的数据，或业务可以短时间不读取目标库的数据。源库和目标库处于正常运行的状态。除报错信息中的表以外，同步实例有其他待同步的...
添加应用
本文介绍如何创建一个全新的空白应用。操作步骤 登录 魔笔。在平台首页，单击 添加应用。在弹出的对话框中选择...创建应用的同时，会同步在模块管理中创建一个同名的主模块，您也可以在模块编辑页面对此模块进行编辑。具体请参见 模块开发。
出错提示S3磁盘分区数据同步出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S3磁盘分区数据同步出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S3_*磁盘分区数据同步出错”。其中S3_*可能的错误码如下：S3_F30 S3_F32 S3_F6 S3_...
查看运维大屏
运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的整体概况，及时发现并处理异常任务，提升运维效率。使用说明 运维...
出错提示S8磁盘分区数据同步准备出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S8_*磁盘分区数据同步准备出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S8_*磁盘分区数据同步准备出错”。其中S8_*可能的错误码如下：S8_U28 S8_U7 ...
出错提示S7磁盘分区头数据同步准备出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S7_*磁盘分区头数据同步准备出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S7_*磁盘分区头数据同步准备出错”。其中S7_*可能的错误码如下：S7_U28 S7...
如何构建自定义模块
当您需要对一个特定领域的问题创建一个完整的解决方案时，您可以尝试使用自定义模块将解决方案进行封装，以便在多个项目中复用。本文介绍如何构建一个自定义模块，包括如何构建自定义模块的各个功能部件以及如何在应用中引用和使用自定义...
概述
自定义模块 当您需要对一个特定领域的问题创建一个完整的解决方案时，您可以尝试使用自定义模块将解决方案进行封装，以便在多个项目中复用。模块可以承载解决方案所需要的组件、页面、前后端逻辑流、数据模型以及需要接入的API服务。例如，...
Windows系统同步时间报错
问题描述 W indows系统同步时间报错，时间同步服务无法启动，提示找不到文件。问题原因 注册表错误导致系统同步时间报错。解决方案 查看系统日志中相关的错误信息，可以看到有注册表相关的错误信息。根据日志检查注册表中如下项是否有错误...
数据传输作业：数据集成
为了解决上述问题，DataWorks提出了面向业务场景的同步任务配置化方案，支持同步至MaxCompute的一键同步功能：一键实时同步至MaxCompute、整库离线同步至MaxCompute。注意事项 在数据集成同步任务配置前您需要在DataWorks 数据源管理 页面...
UpdateDIProjectConfig
调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL...
出错提示S12数据同步密钥获取出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S12_*数据同步密钥获取出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S12_*数据同步密钥获取出错”。其中S12_*可能的错误码如下：S12_U28 S12_U7 S12...
如何使用钉钉连接模块集成钉钉侧能力
适用场景 钉钉连接模块通过连接器接入了钉钉开放平台中和组织架构相关的API，用户可以通过调用钉钉连接模块中的集成API和钉钉进行数据的双向同步。模块介绍 钉钉连接模块集成了钉钉开放平台中用户管理、角色管理、角色组管理、部门管理的...
Quick BI中 MongoDB数据源数据没有实时同步
问题描述 Quick BI中 MongoDB数据源数据没有实时同步。问题原因 MongoDB数据源有默认的1天延迟。解决方案 等待1天后数据会自动同步。适用于 Quick BI 公共云
网络时间同步助手
您可以通过物联网边缘计算提供的边缘函数计算功能，很好的解决设备本地时间与网络时间不同步的问题。一、创建时间同步函数 下载时间同步函数 syncNetworkTime-code.zip。该函数会自动和NTP服务器同步网络时间。登录 函数计算控制台。如尚未...
内存型
常见问题 Q：客户端不支持新模块的命令怎么办？A：您可以先在应用代码中定义需要使用的新模块命令，然后再使用这些命令，或者通过Tair客户端直接调用Tair扩展数据结构，更多信息，请参见 Tair Clients。相关文档 内存型性能测试 步骤1：...
IoT数据自动化同步至云端解决方案
本文将为您介绍IoT数据自动化同步至云端的解决方案。背景信息 物联网（The Internet of Things，简称IoT）是指通过信息传感器等各种装置和技术，实时采集任何需要的信息。通过各类网络的接入，实现物与物、物与人的连接，实现对物品和过程...
常见问题
以下为您介绍实时同步数据至Hologres操作失败的常见问题和解决方案。PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
模块化开发概述
目前 SOFABoot 提供以下两种形式的服务发布和引用，实现不同级别模块间的调用：JVM 服务发布和引用：解决一个 SOFABoot 工程内部各个模块之间的调用问题，参考 发布和引用 JVM 服务。RPC 服务发布和引用：解决多个 SOFABoot 工程之间的远程...
离线同步并发和限流之间的关系
实践内容 并发数 阅读此部分，您可以解决和理解如下问题：问题一：如何配置数据同步任务的并发数？问题二：为什么我的数据同步任务跑的比较慢，实际运行的并发数不够？问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很...
启用PAM认证模块后，无法登录Linux实例的解决方案
解决问题。方法一：等待PAM设置的冻结时长（例如50秒），待系统解冻账户后，再重新登录实例。方法二：修改配置文件（下文/etc/pam.d/system-auth 为例进行说明，其他配置文件修改方法类似）。执行如下命令，打开/etc/pam.d/system-auth ...
仓库同步
针对三方导入的代码库，默认同步功能模块已启用（“启用”指允许该代码库使用同步功能，但何时触发同步需要在功能内设置），如后续不再有同步需求，可手动关闭同步服务，在源文件页面也将不再显示同步状态标识。步骤二：设置授权账号 设置...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
- 产品推荐
- 这些文档可能帮助您