配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
离线同步并发和限流之间的关系
来源端读取支持最大连接数：同步解决方案的离线全量数据初始化阶段，会基于JDBC建立到数据库连接并读取全量历史数据。此连接数即用来控制数据来源端支持的最大JDBC连接数，避免大量任务同时启动打满数据库连接池，影响数据库的稳定性。请...
数据库安全解决方案
本文介绍云数据库、DTS（数据迁移上云）、DMS（数据安全管理）、DBS（数据备份）几个产品实现企业数据资产的安全管理解决方案，避免数据泄露、删库跑路等恶性事件的出现。详情参考：数据库安全解决方案。
快速入门
如果您初次使用阿里云关系型数据库RDS，请参见快速...阿里云关系型数据库MariaDB完全兼容社区版MariaDB，良好兼容Oracle，对PL/SQL有优秀的兼容性，提供技术支持以及专家服务，为您提供企业级数据库解决方案。当前RDS MariaDB支持10.3版本。
通过数据库网关DG备份本地或第三方云的私网数据库到云...
具体方法：登录 数据管理DMS 5.0，在顶部菜单栏中，选择 解决方案>数据库网关，进入目标网关详情页查看数据库地址和端口。更多详情，请参见 数据库网关。端口 填写数据库的连接端口，可前往DMS控制台获取。MySQL默认端口为3306。数据库账号...
LtoGenerateToken
生成IoT设备端数据令牌。函数原型 int ltoGenerateToken(LtoInfo*ltoInfo);功能描述 LTO 生成IoT设备端数据令牌。参数描述 typedef struct LtoInfo { IN char*userPlainData;用户明文数据 IN int userPlainDataLen;用户明文数据长度 IN ...
数据归档至用户OSS
在顶部菜单栏中，选择 解决方案>数据归档。在页面右上角，单击 数据归档。在 新建数据归档工单 页面，配置以下信息：配置项 说明 任务名 请输入明确、清晰的任务名，方便后续查询。归档目标 选中 OSS。OSS实例 选择存放归档数据的目标实例...
Dataphin支持的数据源
Flink_SQL任务开发方式 全域质量 全域质量即资产质量，是基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。资产质量概述 数据服务 数据服务...
功能发布记录 2022年之前
配置同步到 AnalyticDB for MySQL 3.0的全增量解决方案 DataWorks数据开发模块新增FTP Check功能节点。FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在，则启动调度下游任务，不存在，则按照配置的间隔时间重复...
计费逻辑说明
智能数据建模计费标准 DATABLAU数据建模 DATABLAU是DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供的一体化数据建模解决方案。用于将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力您实现数据资产价值化...
Iceberg概述
适用场景 Iceberg作为通用数据湖解决方案中最核心的组件之一，主要适用于以下场景。场景 描述 实时数据导入和查询 数据实时从上游流入Iceberg数据湖，查询侧即可查询该数据。例如，在日志场景中，启动 Iceberg 或 Spark 流作业，实时地将...
入门实践
而数据建模新增定义数据形态的流程，为您提供一站式的模型管理解决方案和数据开发前的治理能力。在数据建模时，您可以根据对业务流程的理解和需求的调研，定义企业的业务标准和规范。同时，基于数据标准进行引用和实行，生成表结构，实现...
Dataphin支持的数据源
Flink_SQL任务开发方式 全域质量 全域质量即资产质量，是基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。资产质量概述 本文仅列举了支持接...
数据导入常见问题
解决方案 通过 seq-w 0 n 拆分数据文件。通过 curl-XPOST http:///be_host:http_port/api/update_config?streaming_load_max_mb=<file_size>调整BE配置项中 streaming_load_max_mb 的取值来扩大文件大小上限。BE配置项的更多信息，请参见 ...
常见问题
扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、数据脱敏、智能异常检测等数据安全解决方案提供基础。...
数据治理中心概述
知识库：数据治理中心提供的，针对常见检查项事件及治理项问题给出的解决方案。数据治理流程 数据治理流程如下图所示。配置治理工具。启用治理方案模板并自定义检测项。细分操作 操作目的 操作指导链接 启用治理模板 数据治理中心的整体...
什么是云原生数据库PolarDB分布式版
DBStack：轻量级数据库管理服务平台，集成阿里云核心数据库产品，满足构建高性能、高可用、低成本的全场景数据库解决方案用户需求。开源软件版（PolarDB-X Lite）：在Lite版本中，用户可体验最新的产品特性并以最小资源构建一个分布式数据...
DataWorks On CDP/CDH使用说明
环境准备 一、资源准备 类别 描述 相关文档 版本选择 DataWorks基础版服务可满足 CDP或CDH 基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的 标准版、专业版、企业版 ...
如何使用解决方案开发项目
IoT Studio中可通过个人、授权或公开解决方案创建项目，该项目中会自动创建并复制解决方案中的应用、服务或产品配置，您可根据实际需求修改相关配置，完成项目开发。您也可根据解决方案内容，自行创建并开发项目。本文主要介绍使用个人、...
什么是MaxCompute
MaxCompute提供离线和实时的数据接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和...
DataWorks数据服务对接DataV最佳实践
数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的TB、PB和EB级数据仓库解决方案。当今社会数据收集的方式不断丰富，行业数据大量积累，导致数据规模已增长到传统软件行业无法承载的海量级别。MaxCompute服务...
UpdateDIProjectConfig
调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL...
如何处理Tair集群数据倾斜
数据倾斜的临时方案 若实例已产生数据倾斜，您可以通过如下临时方案进行过渡，但以下临时方案无法解决数据倾斜的根源问题。同时，您也可以在短时间内可降低大Key、热Key的请求量，暂缓数据倾斜问题，但大Key、热Key问题只能通过业务上的...
如何处理Redis集群数据倾斜
数据倾斜的临时方案 若实例已产生数据倾斜，您可以通过如下临时方案进行过渡，但以下临时方案无法解决数据倾斜的根源问题。同时，您也可以在短时间内可降低大Key、热Key的请求量，暂缓数据倾斜问题，但大Key、热Key问题只能通过业务上的...
操作流程
流程图及说明 任务项 说明 创建解决方案 通过创建解决方案，将工作组内已加工完成的数据标准、数据模型、数据加工场景、数据服务API配置等信息，进行版本化解决方案封装。以整体解决方案为例，具体操作，请参见 新建解决方案。创建类型：...
互联网教育：尚学博志（上海）教育科技有限公司
业务挑战 尚学数字化教学解决方案基于移动终端和各类物联网设备进行广泛的数据采集，数据类型也不断扩展，涵盖了教学、学习、生活等不同方面。现有的数据库系统采用的是基于MySQL Share Nothing的部署方案，即依赖主备部署的方式提供高可用...
PolarDB HTAP实时数据分析技术解密
MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP场景设计的开源数据库。开源社区的研发方向侧重于加强其事务处理的能力，例如：提升单核性能、多核扩展性能、增强集群能力以提升可用性等。在处理大数据量下复杂查询所需要的能力方面...
应用场景
实时数据分析场景解决方案 步骤如下：实时摄入：通过直接读取Kafka数据来实现。提供了Flink-Connector来支持Flink数据流的直接写入，并保证了exactly-once语义。此外，还支持Flink CDC来捕捉TP数据更新，并实时地将结果更新到StarRocks中。...
DataWorks On Hologres使用说明
类别 描述 相关文档 版本选择 DataWorks基础版服务可满足Hologres开发中基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的标准版、专业版、企业版服务。DataWorks标准版...
列存索引技术架构介绍
技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力，以提升可用性等。在处理大数据量下复杂查询所需要的能力...
ListDIProjectConfig
调用ListDIProjectConfig查看当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL消息...
DataWorks On MaxCompute使用说明
类别 描述 相关文档 版本选择 DataWorks基础版服务可满足MaxCompute开发中基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的标准版、专业版、企业版服务。DataWorks标准...
复制解决方案
基于原有解决方案，通过复制的方式生成新解决方案。本文介绍如何复制解决方案。前提条件 已有创建的解决方案。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 ...
迁移失败常见原因及解决方案
本文主要介绍在线迁移中，数据迁移失败的常见原因及解决方案。如果迁移任务失败，您可以 查看迁移失败文件列表，分析迁移失败的原因并排除问题。之后，在迁移任务列表中，单击失败任务的 管理，然后单击 重试，重新迁移失败的文件。下面...
GetDISyncInstanceInfo
获取实时同步任务和同步解决方案任务的运行状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
功能简介
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
与标准SQL的主要区别及解决方法
解决方案请参见 在执行MaxCompute SQL过程中，使用NOT IN后面接子查询，子查询返回的结果是上万级别的数据量，但当IN和NOT IN后面的子查询返回的是分区时，返回的数量上限为1000。在必须使用NOT IN的情况下，该如何实现此查询？如果业务上...
解决方案
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
云原生多模数据库Lindorm助力蚂蚁链IoT数据降本
业务挑战 业务增速快，数据总量不断增大，MySQL出现性能瓶颈 日增数据量大，一年数据增量超6TB，存储成本压力大 数据冷热区分明显，和数据生成时间强相关 数据需要实时归档到离线进行分析 解决方案 阿里云Lindorm历经阿里众多核心服务的大...
入仓解决方案
入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近实时增量迁移和集成数据，用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据量需求，创建入仓解决方案同步线上库数据。入仓解决方案...
- 产品推荐
- 这些文档可能帮助您