配置任务时测试连接失败的排查及解决方法
概述 配置数据迁移任务时，可以进行数据库连接测试，很多时候会遇到测试连接失败。本文根据不同的实例类型介绍可能失败的原因及对应的解决方案。详细信息 当连接性预检查失败时，可能是由于如下原因：诊断内容 可能原因 解决方法 JDBC 数据...
创建DataHub数据源
通过创建DataHub数据源能够实现Dataphin读取DataHub的业务数据或向DataHub写入数据。本文为您介绍如何创建DataHub数据源。背景信息 DataHub即阿里云流式数据服务DataHub，如果您使用的是阿里云流式数据服务DataHub，在对接Dataphin进行数据...
创建Redis数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 host Redis的连接地址。若您...
CREATE[PUBLIC]DATABASE LINK
语法 CREATE[PUBLIC]DATABASE LINK<name>CONNECT TO { CURRENT_USER|<username>IDENTIFIED BY"<password>"} USING {()|'<oracle_connection_string>' } 参数说明 参数 说明 PUBLIC 创建任何用户都可以使用的公共数据库连接。如果省略此参数...
新建Doris数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
如何解决Redis内存使用率突然升高
解决方案：排查是否存在连接泄漏。设置连接超时时间，自动关闭空闲连接。详情请参见 设置客户端的超时时间。排查是否突发流量导致输入和输出缓冲区积压 排查方法：查看性能监控的出入口流量使用率是否达到100%。执行 MEMORY STATS 命令，...
解决方案
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
RDS MySQL空间不足问题
解决方案 可以通过命令 show table status like '<表名>';查看表上空闲的空间，如果空闲空间过大，可以执行命令 optimize table<表名>;整理表空间。临时表空间过大导致空间不足 现象 半连接（Semi-join）、去重（distinct）、不走索引的...
功能简介
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
使用DMS和DG管理本地或他云数据库
阿里云数据库网关DG（Database Gateway）支持在不暴露公网IP的前提下，将本地自建或第三方云厂商的数据库与阿里云服务连接起来，避免使用公网IP连接的安全风险。您可以通过数据库网关将本地或第三方云数据库录入DMS进行管理。背景信息 将...
创建StarRocks数据源
通过创建StarRocks数据源能够实现Dataphin读取StarRocks的业务数据或向StarRocks写入数据。本文为您介绍如何创建StarRocks数据源。背景信息 StarRocks是一款高性能分析数据库，支持实时、多维和高度并发的数据分析。StarRocks具有高度可...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
RDS MySQL慢SQL问题
解决方案 可以使用 Thread Pool、Fast Query Cache、自动SQL限流 等功能提高性能。批量操作 原因及现象 如果有大批量的数据导入、删除、查询操作，会导致SQL执行变慢。可以从磁盘空间、SQL洞察或者慢查询里找到对应语句。例如查看Binlog...
客户案例
解决方案 友盟+联合MaxCompute构建开发者数据银行，为企业提供面向分析的、实现友盟域数据与企业私域数据全面融合的自助分析服务“U-DOP数据开放”。该服务通过订阅数据包返还数据到MaxCompute，预置分析模板并结合可视化分析BI工具来快速...
入仓解决方案
支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库（通过数据库网关DG接入）通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...
创建GoldenDB数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建KingbaseES数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建SAP HANA数据源
通过创建SAP HANA数据源能够实现Dataphin读取SAP HANA的业务数据或向SAP HANA写入数据。本文为您介绍如何创建SAP HANA数据源。背景信息 SAP HANA是一款具有高性能内存的应用平台。如果您使用的是SAP HANA，在对接Dataphin进行数据开发或将...
发展历程
全国首家通过信通院数据平台整体解决方案最高级（3级）认证。全国首家通过信通院Serverless大数据平台认证。工信部信通院和中电标准化研究院认证。工信部首家单集群万台扩展能力认证。MaxCompute通过了独立的第三方审计师针对阿里云对AICPA...
RDS MySQL活跃线程数高问题
本文介绍RDS MySQL活跃线程数高的原因及解决方案。背景信息 活跃线程数或活跃连接数是衡量MySQL负载状态的关键指标，通常来说一个比较健康的实例活跃连接数应该低于10，高规格和高QPS的实例活跃连接数可能20、30，如果出现几百、上千的活跃...
创建TiDB数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
创建GBase 8a数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建AnalyticDB for MySQL 2.0数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建PostgreSQL数据源
通过创建PostgreSQL数据源能够实现Dataphin读取PostgreSQL的业务数据或向PostgreSQL写入数据。本文为您介绍如何创建PostgreSQL数据源。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至...
创建Impala数据源
详细内容，请参见 附录：网络连通解决方案 测试成功后，单击 确定，完成Impala数据源的创建。后续步骤 完成Impala数据源的创建后，即可将Impala的业务数据引入至Dataphin或将Dataphin的数据写入至Impala。详情请参见 数据集成概述。
创建MySQL数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
到期、欠费说明
您可以选择以下任意一种解决方案：购买敏感数据保护服务后，启用被禁用的实例。重要 此操作会变更实例之前的配置。将被禁用实例的敏感数据保护功能关闭后，启用被禁用的实例。将某个或多个实例的敏感数据保护功能关闭，释放敏感数据保护...
数据库安全解决方案
本文介绍云数据库、DTS（数据迁移上云）、DMS（数据安全管理）、DBS（数据备份）几个产品实现企业数据资产的安全管理解决方案，避免数据泄露、删库跑路等恶性事件的出现。详情参考：数据库安全解决方案。
创建AnalyticDB for PostgreSQL数据源
通过创建AnalyticDB for PostgreSQL数据源能够实现Dataphin读取AnalyticDB for PostgreSQL的业务数据或向AnalyticDB for PostgreSQL写入数据。本文为您介绍如何创建AnalyticDB for PostgreSQL数据源。背景信息 AnalyticDB for PostgreSQL即...
Hive服务异常排查及处理
本文介绍Hive服务异常的排查方法和解决方案。异常排查 如果客户端遇到异常或性能等问题，您可以按照如下步骤进行排查：排查异常时间段机器CPU、内存、网络以及磁盘是否有异常。排查组件是否正常：检查访问集群的Hive组件中 HiveMetaStore ...
创建Microsoft SQL Server数据源
通过创建Microsoft SQL Server数据源能够实现Dataphin读取Microsoft SQL Server的业务数据或向Microsoft SQL Server写入数据。本文为您介绍如何创建Microsoft SQL Server数据源。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
创建达梦（DM）数据源
通过创建达梦（DM）数据源能够实现Dataphin读取达梦（DM）的业务数据或向达梦（DM）写入数据。本文为您介绍如何创建达梦（DM）数据源。背景信息 达梦（DM）属于OLTP类型数据库，被集成在业务系统中。达梦（DM）数据库吸收借鉴当前先进新...
常见问题
离线同步常见问题 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否所有数据都...
Spark作业异常排查及处理
本文介绍Spark作业异常的排查方法和解决方案。内存问题引起的报错 Container killed by YARN for exceeding memory limits 报错原因：提交App时申请的内存量较低，但JVM启动占用了更多的内存，超过了自身的申请量，导致被YARN NodeManager...
Delta Lake概述
很高 低 较高 事务性 支持 不支持 支持 性能 高 低 较高 扩展性 依赖于具体实现 高 高 面向人员 管理人员 管理人员、数据科学家 管理人员、数据科学家 成本 高 低 低 适用场景 Delta适用于云上数据湖数据管理解决方案。如果您存在以下场景...
使用DMS和DG管理本地或第三方云数据库
背景信息 将本地或第三方云的数据库接入阿里云时，有以下几种解决方案，但是均存在一定的局限性：通过专线、VPN网关或智能网关接入：成本较高，不适用于个人用户。将数据库的服务端口暴露至公网：存在被攻击的安全风险。自建代理转发服务...
技术发展趋势
近些年来，数据在国民经济各个领域扮演着愈发重要的作用，其使用特点较之以往也发生了诸多变化，其趋势主要有几个方面。规模爆炸性增长 随着8K、5G、...挑选DBMS 解决方案的数据和分析负责人慢慢接受这样一个事实，即云DBMS是未来的发展方向。
- 产品推荐
- 这些文档可能帮助您