外部表常见问题
解决措施 对于结构化数据，您可以设置以下参数调整单个Mapper读取数据量的大小，加速SQL执行。set odps.sql.mapper.split.size=256;调整每个Mapper读取Table数据的大小，单位是MB。对于非结构化数据，您需要查看OSS外部表路径下的OSS文件...
处理慢SQL问题
您可以通过DAS对数据库进行监控，及时发现并优化慢SQL，解决数据库的性能问题。操作视频 解决方案 您可以通过DAS从以下三个方面来解决慢SQL问题：查看并优化单个实例的慢SQL 查询治理所有实例上的慢SQL 开启自动SQL优化 查看并优化单个实例...
数据集成：全领域数据汇聚
支持在各类复杂网络环境下，连通数据源的网络解决方案，无论数据源在公网、IDC还是VPC内，均可使用DataWorks数据集成实现网络连通。支持安全控制与运维监控，保障数据同步的安全、可控。核心技术与架构 引擎架构 采用星形引擎架构，数据源...
处理CPU使用率高问题
CPU作为数据库最核心的资源，是日常运维中重点关注的对象。当实例CPU使用率持续较高时，很容易导致数据库访问响应慢，从而导致业务受损。操作视频 异常检测 异常检测：基于机器...自动SQL优化：及时发现并优化慢SQL，解决数据库的性能问题。
离线同步任务调优
同步任务整体速度慢可能出现在同步过程的各个阶段，本文以现象入手，为您提供各个阶段运行慢的解决方案，详情请参见：数据同步慢的场景及解决方案。在数据库性能限制的情况下，同步速度并非越快越好，考虑到速度过高可能对数据库造成过大的...
Tunnel命令常见问题
使用Tunnel Upload命令上传数据时，速度太慢，如何解决？使用Tunnel Upload命令上传数据时，设置了经典网络的Endpoint，但为什么会连接到外网的Tunnel Endpoint？在DataStudio上执行Tunnel Upload命令上传分区数据时报错，如何解决？使用...
离线同步能力说明
您可以根据数据库所在网络环境，选择合适的网络解决方案来实现数据源与资源组的网络连通。在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：配置资源...
什么是云原生数据湖分析
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...
常见问题
以下为您介绍实时同步数据至Hologres操作失败的常见问题和解决方案。PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
离线同步日志分析
定位占用该资源的任务，详情请参见 数据同步慢的场景及解决方案。您也可以找到占用该资源的任务列表及责任人，与其协调降低任务并发数。您还可以减少当前同步任务的并发数并重新提交发布任务。还支持您对任务执行资源组进行扩容。详情请...
常见问题
以下为您介绍实时同步数据至 AnalyticDB for MySQL 3.0操作失败的常见问题和解决方案。PolarDB数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
解决方案与客户案例
数据层：数据层解决数据库跨地域的部署与同步问题，并在灾难发生时对流量切换动作提供相应的数据质量保护策略。针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行...
解决方案与客户案例
数据层 数据层解决数据库跨地域的部署与同步问题，并在灾难发生时对流量切换动作提供相应的数据质量保护策略。针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行...
他云/自建数据库录入
目标数据库实例已购买网络解决方案。网络解决方案详情，请参见 连接本地IDC。注意事项 若需要通过数据管理DMS管理实例，请在创建实例时需根据实际需求设置数据库账号权限，具体授权语法可参考各数据库类型对应的官网文档。具体权限说明如下...
添加ClickHouse数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
如何处理Tair集群数据倾斜
数据倾斜的临时方案 若实例已产生数据倾斜，您可以通过如下临时方案进行过渡，但以下临时方案无法解决数据倾斜的根源问题。同时，您也可以在短时间内可降低大Key、热Key的请求量，暂缓数据倾斜问题，但大Key、热Key问题只能通过业务上的...
如何处理Redis集群数据倾斜
数据倾斜的临时方案 若实例已产生数据倾斜，您可以通过如下临时方案进行过渡，但以下临时方案无法解决数据倾斜的根源问题。同时，您也可以在短时间内可降低大Key、热Key的请求量，暂缓数据倾斜问题，但大Key、热Key问题只能通过业务上的...
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
什么是数据管理DMS
RDS：阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，帮助您解决数据库运维的烦恼。PolarDB：PolarDB是阿里云自研的下一代关系型云...
离线同步数据质量排查
本文将为您列举一些常见数据质量方面的场景，方便您排查是否存在符合的场景，根据对应解决方案解决数据同步质量问题。背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步...
网络连通与白名单配置
在调用API时，为了防止资源组不能正常访问数据源，您需要在数据源中配置IP白名单，从而确保资源组的网络连通性。本文为您介绍不同资源组类型对应的IP白名单或其获取方式，以及在数据源中配置IP白名单时的注意事项。获取白名单IP地址：公共...
审计经典网络数据库实例
如果需要审计经典网络数据库实例，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通，并在经典网络的ECS上部署Agent程序。前提条件 VPC中启用ClassicLink时，需要满足限定条件，具体请参见ClassicLink概述的 使用...
概述
Spark全密态数据计算引擎常用于解决数据存储与计算安全、敏感数据合规和数据安全共享场景中的数据安全问题。以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析...
什么是数据传输服务DTS
RDS：阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，解决数据库运维的烦恼。PolarDB：PolarDB是阿里云自研的下一代关系型云数据库...
企迈云商
DAS通过 7*24小时异常检测，自动检测到实例出现异常，并触发根因分析，定位异常的请求，从而确定导致问题的异常SQL，从根本上解决数据库性能问题。DAS在找到异常根因SQL后3分钟内自动限流，帮助业务恢复正常，全程自动操作，无需人工介入，...
阶段一：基础防护建设
例如：《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...
计费逻辑说明
访问复杂网络环境数据库 访问复杂网络环境下的数据库，请选择独享数据集成资源组。网络解决方案详情请参见 配置资源组与网络连通。实时同步数据 实时同步数据，需要使用独享数据集成资源组。调度费用 数据集成离线任务通过调度系统下发至...
低成本RDS历史库
运维复杂度高，通过分库分表的方式来解决数据量增加造成性能下降，给运维和业务开发增加了巨大的成本。需求：存储成本可控，历史数据的存储成本是在线数据的10分之一。能够弹性的伸缩，计算和存储能力自动水平扩展，不再依赖分库分表解决运...
低成本历史库
运维复杂度高，通过分库分表的方式来解决数据量增加造成性能下降，给运维和业务开发增加了巨大的成本。需求：存储成本可控，历史数据的存储成本是在线数据的10分之一。能够弹性的伸缩，计算和存储能力自动水平扩展，不再依赖分库分表解决运...
查看运维大屏
运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期...数据同步任务Failover信息 统计实时同步任务在指定时间内的Failover消息，以便总览任务Failover的状态。Failover详情请参见 实时同步任务运行与管理。
应用场景：低成本历史库
运维复杂度高，通过分库分表的方式来解决数据量增加造成性能下降，给运维和业务开发增加了巨大的成本。需求 存储成本可控，历史数据的存储成本是在线数据的十分之一。能够弹性的伸缩，计算和存储能力自动水平扩展，不再依赖分库分表解决运...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
公告
2022年06月10日-Dataphin更名通知 为了更好地帮助广大客户解决数据资产建设问题，显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费...
排查Mongo Shell登录问题
您可以通过DMS或Mongo Shell登录MongoDB数据库，本文介绍使用Mongo Shell登录数据库时出现的典型问题及解决方法。提示connection attempt failed错误 现象：#mongo-host ali12345678.mongodb.rds.aliyuncs....
数据源配置常见问题
本文介绍在DataV中连接数据源时，遇到的常见问题及相应的解决方法。数据库连接不成功，如何解决？请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的...
数据源配置常见问题
本文介绍在DataV中连接数据源时，遇到的常见问题及相应的解决方法。数据库连接不成功，如何解决？请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的...
- 产品推荐
- 这些文档可能帮助您