Dataphin支持的数据源
Flink_SQL任务开发方式 全域质量 全域质量即资产质量，是基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。资产质量概述 数据服务 数据服务...
数据归档至RDS MySQL
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。在页面右上角，单击 数据归档。在新建数据归档工单页面，配置工单信息。配置项 是否必填 说明 任务名 是 请输入明确、清晰的任务名，以...
数据归档至PolarDB MySQL版
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。在页面右上角，单击 数据归档。在新建数据归档工单页面，配置工单信息。配置项 是否必填 说明 任务名 是 请输入明确、清晰的任务名，以...
数据归档至AnalyticDB PostgreSQL版
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。在页面右上角，单击 数据归档。在 新建数据归档工单 页面，配置工单信息。配置项 是否必填 说明 任务名 是 请输入明确、清晰的任务名，...
Dataphin支持的数据源
Flink_SQL任务开发方式 全域质量 全域质量即资产质量，是基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。资产质量概述 本文仅列举了支持接...
数据归档至DBS内置OSS
在顶部菜单栏中，选择 解决方案>数据归档。在页面右上角，单击 数据归档。在 新建数据归档工单 页面，配置工单信息。配置项 说明 任务名 请输入明确、清晰的任务名，以减少沟通成本。归档目标 选中 DBS内置OSS。数据库 搜索并选择待归档的...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
数据归档至AnalyticDB MySQL 3.0
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。在页面右上角，单击 数据归档。在 新建数据归档工单 页面，配置工单信息。配置项 是否必填 说明 任务名 是 请输入明确、清晰的任务名，...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
计费逻辑说明
智能数据建模计费标准 DATABLAU数据建模 DATABLAU是DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供的一体化数据建模解决方案。用于将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力您实现数据资产价值化...
数据库安全解决方案
本文介绍云数据库、DTS（数据迁移上云）、DMS（数据安全管理）、DBS（数据备份）几个产品实现企业数据资产的安全管理解决方案，避免数据泄露、删库跑路等恶性事件的出现。详情参考：数据库安全解决方案。
设置告警
云监控（CloudMonitor）是一项针对阿里云资源和互联网应用进行监控的服务，能够为云上用户提供开箱即用的企业级开放型一站式监控解决方案。数据传输会通过您在云监控平台添加的联系方式发送至接收人，该接收人也需要在云监控平台添加。云...
数据归档至Lindorm
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。在页面右上角，单击 数据归档。在 新建数据归档工单 页面，配置工单信息。配置项 是否必填 说明 任务名 是 请输入明确、清晰的任务名，...
数据归档至Lindorm
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。在页面右上角，单击 数据归档。在 新建数据归档工单 页面，配置工单信息。配置项 是否必填 说明 任务名 是 请输入明确、清晰的任务名，...
数据导入常见问题
解决方案 通过 seq-w 0 n 拆分数据文件。通过 curl-XPOST http:///be_host:http_port/api/update_config?streaming_load_max_mb=<file_size>调整BE配置项中 streaming_load_max_mb 的取值来扩大文件大小上限。BE配置项的更多信息，请参见 ...
数据归档至专属存储
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>解决方案>数据归档。在页面右上角，单击 数据归档。在 新建数据归档工单 页面，配置以下信息：配置项 是否必填 说明 归档目标 是 选中 专属存储。源数据库 ...
功能发布记录 2022年之前
配置同步到 AnalyticDB for MySQL 3.0的全增量解决方案 DataWorks数据开发模块新增FTP Check功能节点。FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在，则启动调度下游任务，不存在，则按照配置的间隔时间重复...
UpdateDIProjectConfig
调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL...
数据归档至用户OSS
在顶部菜单栏中，选择 解决方案>数据归档。在页面右上角，单击 数据归档。在 新建数据归档工单 页面，配置以下信息：配置项 说明 任务名 请输入明确、清晰的任务名，方便后续查询。归档目标 选中 OSS。OSS实例 选择存放归档数据的目标实例...
文档更新动态（2022年）
生产安全模式强化，生产数据保护扩展到Basic项目。更新说明 管理动态脱敏规则、项目安全策略、脱敏算法、密钥管理 2022年10月25日 数据表质量规则和质量规则模块升级 支持多种数据源表的质量监控，支持数据源连通性及表结构异动性监控。...
列存索引技术架构介绍
技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力，以提升可用性等。在处理大数据量下复杂查询所需要的能力...
入门实践
而数据建模新增定义数据形态的流程，为您提供一站式的模型管理解决方案和数据开发前的治理能力。在数据建模时，您可以根据对业务流程的理解和需求的调研，定义企业的业务标准和规范。同时，基于数据标准进行引用和实行，生成表结构，实现...
ODPS-0130013
解决方案 1）需要本项目的所有者关闭数据保护策略。通过命令打开数据保护开关：true 代表打开，false代表关闭 set ProjectProtection={true|false};示例 set ProjectProtection=false;2）切换到同一个项目下操作，不要跨项目操作。
数据治理中心概述
知识库：数据治理中心提供的，针对常见检查项事件及治理项问题给出的解决方案。数据治理流程 数据治理流程如下图所示。配置治理工具。启用治理方案模板并自定义检测项。细分操作 操作目的 操作指导链接 启用治理模板 数据治理中心的整体...
ListDIProjectConfig
调用ListDIProjectConfig查看当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL消息...
如何处理Tair集群数据倾斜
数据倾斜的临时方案 若实例已产生数据倾斜，您可以通过如下临时方案进行过渡，但以下临时方案无法解决数据倾斜的根源问题。同时，您也可以在短时间内可降低大Key、热Key的请求量，暂缓数据倾斜问题，但大Key、热Key问题只能通过业务上的...
如何处理Redis集群数据倾斜
数据倾斜的临时方案 若实例已产生数据倾斜，您可以通过如下临时方案进行过渡，但以下临时方案无法解决数据倾斜的根源问题。同时，您也可以在短时间内可降低大Key、热Key的请求量，暂缓数据倾斜问题，但大Key、热Key问题只能通过业务上的...
应用场景
实时数据分析场景解决方案 步骤如下：实时摄入：通过直接读取Kafka数据来实现。提供了Flink-Connector来支持Flink数据流的直接写入，并保证了exactly-once语义。此外，还支持Flink CDC来捕捉TP数据更新，并实时地将结果更新到StarRocks中。...
客户案例
解决方案 友盟+联合MaxCompute构建开发者数据银行，为企业提供面向分析的、实现友盟域数据与企业私域数据全面融合的自助分析服务“U-DOP数据开放”。该服务通过订阅数据包返还数据到MaxCompute，预置分析模板并结合可视化分析BI工具来快速...
操作流程
流程图及说明 任务项 说明 创建解决方案 通过创建解决方案，将工作组内已加工完成的数据标准、数据模型、数据加工场景、数据服务API配置等信息，进行版本化解决方案封装。以整体解决方案为例，具体操作，请参见 新建解决方案。创建类型：...
与标准SQL的主要区别及解决方法
解决方案请参见 在执行MaxCompute SQL过程中，使用NOT IN后面接子查询，子查询返回的结果是上万级别的数据量，但当IN和NOT IN后面的子查询返回的是分区时，返回的数量上限为1000。在必须使用NOT IN的情况下，该如何实现此查询？如果业务上...
Hive服务异常排查及处理
本文介绍Hive服务异常的排查方法和解决方案。异常排查 如果客户端遇到异常或性能等问题，您可以按照如下步骤进行排查：排查异常时间段机器CPU、内存、网络以及磁盘是否有异常。排查组件是否正常：检查访问集群的Hive组件中 HiveMetaStore ...
GetDISyncInstanceInfo
获取实时同步任务和同步解决方案任务的运行状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
入仓解决方案
入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近实时增量迁移和集成数据，用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据量需求，创建入仓解决方案同步线上库数据。入仓解决方案...
迁移失败常见原因及解决方案
本文主要介绍在线迁移中，数据迁移失败的常见原因及解决方案。如果迁移任务失败，您可以 查看迁移失败文件列表，分析迁移失败的原因并排除问题。之后，在迁移任务列表中，单击失败任务的 管理，然后单击 重试，重新迁移失败的文件。下面...
大数据用户画像解决方案
进入互联网，特别是移动互联网时代，用户随时随地都会在...多维度&复杂查询：原生全局二级索引、Lindorm Search满足多维度查询需求 方案详情&专家服务 解决方案详情参见：基于Lindorm的大数据用户画像解决方案 任何问题，欢迎联系 技术支持。
复制解决方案
基于原有解决方案，通过复制的方式生成新解决方案。本文介绍如何复制解决方案。前提条件 已有创建的解决方案。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 ...
常见问题
非插件报错原因及解决方案 如何处理编码格式设置/乱码问题导致的脏数据报错？任务存在SSRF攻击Task have SSRF attacks如何处理？离线同步任务执行偶尔成功偶尔失败。离线同步源表有加列（修改）如何处理？如何处理表列名有关键字导致同步...
增加或删除已运行任务的同步表
同步数据至Kafka解决方案为您提供了一键增加及删除同步表功能，方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。本文为您介绍如何增加或删除已运行任务的同步表。前提条件 已创建并运行同步数据至Kafka解决方案的任务，...
新功能发布记录
什么是数据管理DMS 02月 功能名称 变更类型 功能描述 相关文档 数据库迁移 新增 通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的清理，保证数据...
- 产品推荐
- 这些文档可能帮助您