Presto FAQ

解决方案:您可以在MySQL数据源把 net_write_timeout 参数的取值适当调高。如何处理向OTS写数据时报错:Code:OTSParameterInvalid,Message:Invalid update row request:missing cells in request?原因:OTS属性列为空。解决方案:您需要...

创建Hologres数据

新建Hologres数据源用于实现Dataphin能够读取Hologres的业务数据,及能够向Hologres...详细内容,请参见 网络连通解决方案。单击 测试连接,测试数据源是否可以和Dataphin进行正常的连通。测试成功后,单击 确定,完成Hologres数据源的创建。

数据管理DMS解决方案系列

为了更好地指导您使用数据管理DMS(Data Management),DMS推出解决方案系列文档,旨在通过最佳实践(Step by Step)的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 数据安全解决方案 数据开发解决方案 更多...

方案选择

本文主要为您介绍针对订单系统的一些传统解决方案,以及面对亿量级订单,表格存储提供的更全面的解决方案。传统方案一:MySQL分库分表 MySQL自身拥有强大的数据查询、分析功能,基于MySQL创建订单系统,可以应对订单数据多维查询和统计场景...

互联网金融:上海富友支付服务股份有限公司

迁移方案 数据传输服务DTS是阿里云提供的实时数据流服务,支持关系型数据库(RDBMS)、非关系型的数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,助力用户构建安全、可扩展、高...

什么是数据库代理

如果您的主实例因连接数过多导致负载较高,或因业务需求要进行读写分离,可以使用RDS PostgreSQL数据库代理功能,该功能支持读写分离、事务拆分等能力,能够有效降低主实例访问压力,具有高可用、高性能、可运维、简单易用等特点。...

任务运行失败

解决方案:您可以进入 数据源管理 页面,检查所使用的数据源配置是否正确。进入 数据源管理 页面的操作,详情请参见 创建与管理数据源。如果没有可用的数据源,则您需要新建FTP数据源,详情请参见 配置FTP数据源。FTP Check节点任务,运行...

如何排查无法连接MongoDB实例的问题?

概览 您可以从以下几个方面排查无法连接数据库MongoDB实例的问题:检查白名单设置 检查网络环境 检查实例连接地址 检查域名解析情况 检查实例状态 检查第三方工具 检查白名单设置 您需要将正确的客户端IP地址添加到云数据库MongoDB实例的...

数据集成:全领域数据汇聚

支持在各类复杂网络环境下,连通数据源的网络解决方案,无论数据源在公网、IDC还是VPC内,均可使用DataWorks数据集成实现网络连通。支持安全控制与运维监控,保障数据同步的安全、可控。核心技术与架构 引擎架构 采用星形引擎架构,数据源...

什么是云原生数据湖分析

支持 Cassandra 支持 支持 Kudu 支持 支持 ECS自建Druid数据数据 支持 支持 何时使用DLA DLA主要围绕数据湖存储OSS提供一站式的云原生数据湖分析与计算方案,如果您有如下的痛点可以使用DLA:寻求一站式的数据解决方案,从数据高效入湖...

实时同步能力说明

可以根据数据库所在网络环境,选择合适的同步解决方案来实现数据源与资源组的网络连通。在配置同步任务前,您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通,对应数据库环境与网络连通配置详情请参见:配置资源...

离线同步能力说明

可以根据数据库所在网络环境,选择合适的网络解决方案来实现数据源与资源组的网络连通。在配置同步任务前,您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通,对应数据库环境与网络连通配置详情请参见:配置资源...

知识库

DataWorks数据治理中心的知识库为您汇总了常见治理项问题及检查项事件的解决方案,您可以参考所给方案自主排查并处理相应待治理问题。本文为您介绍知识库的相关内容。背景信息 在数据治理中心的 治理工作台,您可以查看当前租户下存在的...

MySQL节点

解决方案 重新选择使用连接串模式创建的数据源。您可以参考 配置MySQL数据源 进入 数据源管理 页面,单击目标数据源 操作 列的 编辑,在数据源编辑页面查看创建数据源时所使用的模式。常见问题:测试连通性通过但任务执行报错 可能原因1:...

到期、欠费说明

可以选择以下任意一种解决方案:购买敏感数据保护服务后,启用被禁用的实例。重要 此操作会变更实例之前的配置。将被禁用实例的敏感数据保护功能关闭后,启用被禁用的实例。将某个或多个实例的敏感数据保护功能关闭,释放敏感数据保护...

数据库常见问题

解决方案:针对原因一,您可以通过第三方数据库软件连接数据库进行备份并再次进行导入操作。例如Navicat for MySQL或者SQL Server Management Studio软件。具体操作,请参见 通过Navicat for MySQL导入SQL文件 或 通过SQL Server ...

无法连接云数据库OceanBase的解决方法

解决方案 请执行以下操作排查解决:检查连接数据库的信息是否正确,详情请参见 获取连接参数。说明:默认租户创建申请内网地址,如为公网连接,请单击 申请公网地址。检查客户端到云数据库OceanBase的网络是否畅通。说明:使用ODC工具连接...

金融大数据

业务架构 架构说明:大数据仓库调用外部数据数据集市的信息,通过数据获取层、数据模型层、数据加工层、数据应用层和分析集市的层层筛选、分析、加工,由大数据服务接口向内部源数据输出适用于多种用户场景的有效数据。大数据仓库功能...

Napatech案例

业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升,Napatech公司的用户可以将数据包采集和分析的能力提升至200G,然而上层软件产生的流量数据包元数据也爆增,给后台数据库(比如开源的HBase/ElasticSearch)的存储和索引能力...

客户案例

解决方案 友盟+联合MaxCompute构建开发者数据银行,为企业提供面向分析的、实现友盟域数据与企业私域数据全面融合的自助分析服务“U-DOP数据开放”。该服务通过订阅数据包返还数据到MaxCompute,预置分析模板并结合可视化分析BI工具来快速...

Delta Lake概述

Delta Lake以数据为中心,围绕数据流走向(数据从流入数据湖、数据组织管理和数据查询到流出数据湖)推出了一系列功能特性,协助您搭配第三方上下游工具,搭建快捷、易用和安全的数据湖。背景信息 通常的数据方案是选取大数据存储引擎...

与标准SQL的主要区别及解决方法

解决方案请参见 在执行MaxCompute SQL过程中,使用NOT IN后面接子查询,子查询返回的结果是上万级别的数据量,但当IN和NOT IN后面的子查询返回的是分区时,返回的数量上限为1000。在必须使用NOT IN的情况下,该如何实现此查询?如果业务上...

(可选)申请公网连接地址

数据库MongoDB支持公网连接地址,您可以为实例申请公网连接地址用于使用公网连接数据库MongoDB实例的场景。本文介绍为云数据库MongoDB副本集实例申请公网连接地址的方法。背景信息 云数据库MongoDB实例支持的连接地址类型及对应说明...

UpdateDIProjectConfig

调用UpdateDIProjectConfig修改当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务,则配置 DDL...

目标数据库连接性检查

为保障数据迁移任务的顺利执行,在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据连接性检查...网络互通问题 经过上述排查后仍然无法通过目标数据连接性检查,可能是DTS服务器与目标数据网络互通问题。

GenerateDISyncTaskConfigForUpdating

DataWorks目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务,而数据集成实时同步任务和解决方案同步任务则需要先调用GenerateDISyncTaskConfigForUpdating和 QueryDISyncTaskConfigProcessResult 接口,异步生成更新数据...

应用场景

相较于原有解决方案,我们的解决方案运维更加简单,并且使用MySQL协议,可以对接各种BI工具,从而实现数据的快速分析和处理。实时数据分析场景解决方案 步骤如下:实时摄入:通过直接读取Kafka数据来实现。提供了Flink-Connector来支持...

(可选)申请公网连接地址

数据库MongoDB支持公网连接地址,您可以为实例申请公网连接地址用于使用公网连接数据库MongoDB实例的场景。本文介绍为云数据库MongoDB分片集群实例申请公网连接地址的方法。背景信息 云数据库MongoDB实例支持的连接地址类型及对应说明...

ListDIProjectConfig

调用ListDIProjectConfig查看当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务,则配置 DDL消息...

常见问题

解决方案:开通公网详情请参见 申请和释放外网地址。常见原因2:白名单未配置。解决方案:设置白名单详情请参见 设置白名单。常见原因3:ECS安全组未放开。解决方案:开放安全组详情请参见 安全组操作指引。常见原因4:公司设置了网络防火...

数据源测试连接报VPC_GRANT_ACCESS_API_ERROR错误的...

本文为您介绍在Dataphin中添加RDS类型数据源时,进行测试连接报VPC_GRANT_ACCESS_API_ERROR错误的解决方案。问题描述 添加RDS类型的数据源时,网络类型选择为VPC网络,单击 连接测试 时连接测试失败,报错信息为 测试连接失败,请确保填写...

创建Hudi数据

本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi,Hudi是一个通用的大数据存储系统,将核心仓库和数据库功能直接引入到数据库中,并支持记录级别的插入更新和删除数据的能力。...您可根据 网络连通解决方案 自行排查。

新建自定义数据

完成自定义数据源类型后,您可将该类型的...详细内容,请参见 附录:网络连通解决方案。测试成功后,单击 确定,完成自定义数据源的创建。后续步骤 完成数据源的创建后,您可将数据源的数据引入至Dataphin。更多信息,请参见 数据集成概述。

概览

为了更好地指导您使用数据管理DMS(Data Management),DMS推出解决方案系列文档,旨在通过最佳实践(Step by Step)的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统,可统一管理企业内...

分片集群实例连接说明

数据库MongoDB实例默认提供专有网络连接地址,通过专有网络连接数据库MongoDB实例可以获取更高的安全性和性能。经典网络:云服务在网络上不进行隔离,仅依靠云服务自身的安全组或白名单策略阻挡非法访问。公网连接:由于通过公网连接...

新建解决方案

将工作组中已沉淀的数据标准、数据模型、数据加工场景、数据服务API配置、云计算资源配置等数据资产,进行版本化的解决方案创建及实例化,便于完成数据治理工作环境的初始化、跨平台的资产发布及迁移。本文介绍如何通过全新创建和根据已有...

申请外网地址

数据库GDB实例默认提供专有网络连接地址,通过专有网络连接数据库GDB实例可以获取更高的安全性和连接性能。外网地址 由于通过外网连接实例存在一定的安全风险,图数据库GDB实例默认未提供外网连接地址。如果您要使用阿里云以外的设备...

数据湖管理FAQ

本文汇总了数据湖管理相关的常见问题及解决方案。Lakehouse相关问题 什么是Lakehouse?Lakehouse数据入湖时,对线上RDS有压力吗?如何控制建仓的限流能力?Lakehouse工作负载为什么运行失败,又没有S park Log 日志可以看?元数据发现相关...

副本集实例连接说明

可以选择以下任意一种方法登录:通过DMS连接MongoDB副本集实例 通过Mongo Shell连接数据库MongoDB副本集实例 通过程序代码连接MongoDB副本集实例 常见的连接场景 如何通过公网连接MongoDB实例 不同网络类型的ECS实例与MongoDB实例如何...

创建Redis数据

通过创建Redis数据源能够实现Dataphin向Redis写入业务数据。本文为您介绍如何创建Redis数据源。背景信息 Redis一个高性能的key-value数据库,多用于缓存,事件发布或订阅,高速队列等场景。...您可根据 附录:网络连通解决方案 自行排查。
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 物联网无线连接服务 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用