2022年
基于MaxCompute的智能推荐解决方案 基于MaxCompute+开放搜索的电商、零售行业搜索开发实践 基于MaxCompute+PAI的用户增长方案实践 基于MaxCompute的实时数据处理实践 基于MaxCompute分布式Python能力的大规模数据科学分析 基于MaxCompute+...
常见问题
推荐使用场景 大规模VPC私网互通 需要对网络互通能力做精细化控制 需要频繁变更网络配置 少量VPC私网互通 网络互通场景简单，对路由控制能力要求不高 网络配置变更不频繁 使用云企业网时如何查看跨地域访问时延？如果您的云企业网实例下...
SQL 诊断概述
基准时段和对比时段均可自定义，选择需要对比的分析节点，单击 对比分析 可查看 SQL 在同一个主机节点的不同时段运行的 明细数据对比 和 性能趋势对比 信息。不同节点对比：以基础节点上运行的 SQL 为基准对比相同 SQL 在其他节点上的运行...
T+1多库合并建仓
上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成了多张表，由于没有类似TDDL中间件来屏蔽物理表的拆分，进行数据分析时变得十分复杂。解决方案 T+1多库合并建仓是指通过DLA控制...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
常见问题
案例：某公司自己的监控系统发现OSS请求数据有延迟 某公司因业务需求搭建了一套监控系统监控OSS的数据，发现访问OSS延迟较大，可通过如下步骤排查：排查公司网络是否正常，可通过ping其他网站的形式测试延迟。在OSS同地域创建一个ECS服务器...
车场心跳数据缺失
排查方案 3.1 方案一 车场心跳缺失 3.1.1 查看iot中台数据模型是否有心跳数据 SSH 物联网应用服务平台,在数据集成里面找到车场心跳（Heartbeat）的模型表，点击管理查看最新的数据：判断是否有最新的数据在每30秒成功上报一次 如果车场...
云产品集成
大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成...
配置任务常见错误码及排查方法
解决方法：排查数据库的连接数是否过多。参考 communications link failure 处理。联系技术支持解决。DTS.Msg.SQLExecuteError.ConnectionRefused 测试链接通过后获取源库库表。原因：获取源数据库链接被拒绝。解决方法：检查监听器...
SQL 诊断概述
影响行数过大 max_affected_rows>=50000 影响行数过大 max_affected_rows 用于设置最大影响行数，若超过设定的值则会被认定为高危 SQL。参与分区数过多 max_partition_cnt>2000 参与分区数过大 max_partition_cnt 用于设置最大参与分区数，...
概述
事实上，鉴于数据库研究在数据发现、数据管理、版本控制、数据清理和数据集成方面积累的专业知识，PolarDB for AI 可以为数据驱动的智能应用提供一站式的数据（包括：数据、特征和模型）服务来解决这种割裂状态，大大减少数据驱动的智能...
全增量实时同步至Hologres
步骤六：高级参数配置 数据集成提供数据库最大连接数，并发度等配置的默认值，如果需要对任务做精细化配置，达到自定义同步需求，您可对参数值进行修改，例如通过最大连接数上限限制，避免当前同步方案对数据库造成过大的压力从而影响生产...
MySQL分库分表同步至Hologres（方案2.0）
步骤六：高级参数配置 数据集成提供数据库最大连接数，并发度等配置的默认值，如果需要对任务做精细化配置，达到自定义同步需求，您可对参数值进行修改，例如通过最大连接数上限限制，避免当前同步方案对数据库造成过大的压力从而影响生产...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
大数据AI公共数据集分析
教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
RDS MySQL活跃线程数高问题
解决方案 将参数 table_open_cache（不需要重启实例）和 table_open_cache_instances（需要重启实例）调大。排查元数据锁（MDL）问题 现象 出现MDL锁时，会导致大量SQL处于 Waiting for table metadata lock 的状态，在DDL prepare和commit...
E-MapReduce本地盘实例大规模数据集测试
本文以阿里云E-MapReduce+D1本地盘方案模拟TPC-DS测试的演示方案，来展示如何使用阿里云大数据集群进行性能测试。详情请参见 E-MapReduce本地盘实例大规模数据集测试最佳实践。说明 本文的TPC-DS的实现基于TPC-DS的基准测试，并不能与已...
Windows系统实例的宕机问题排查
解决方案 排查系统是否安装了不可靠的第三方软件或驱动程序，并尝试卸载该软件或驱动程序。具体操作，请参见 如何查看ECS实例已安装的第三方软件和驱动程序？升级系统补丁到最新版本。具体操作，请参见 如何升级系统补丁到最新版本？按照 ...
我是普通用户
数据方案 数据变更 对数据进行变更，以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。数据导入 通过数据导入功能可以批量将数据导入至数据库。数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于...
Hadoop DistCp介绍
集群之间的HDFS数据迁移需要先确保网络的打通，然后再使用Hadoop DistCp工具进行迁移，具体操作请参见 E-MapReduce数据迁移方案。出现ACLs not supported on at least one file system异常，如何处理？具体报错：org.apache.hadoop.tools....
专家成长计划技术培训课程
30人 通过学习本课程，能帮助学员了解阿里云的大数据产品-大数据计算服务MaxCompute和DataWorks的架构与基础运维知识、统一运维平台大数据管家，以及MaxCompute和DataWorks的常见问题定位、排查和处理。使学员全面掌握MaxCompute和...
迁云服务内容说明
迁移技术方案设计不包含Oracle上云方案设计、微服务设计方案、应用容器化方案、大数据上云方案内容，如有需求请购买对应单独服务。迁云咨询服务是以客户当前待迁移系统上云为基础的迁移技术方案设计和云上架构设计服务，不负责客户全局的云...
什么是数据库自治服务DAS
解决方案 数据库自治服务DAS（Database Autonomy Service）是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的稳定...
实时同步常见问题
若业务延迟较大，其可能原因如下：报错现象 直接原因 解决方案 读端延迟大 源端数据量变更过多。延迟突然增大，说明某一时间点源端数据量增加。若源端数据更新快，数据量多，但同步延迟大，您可以：修改任务配置：您可以在源端数据库最大...
访问云虚拟主机中的网站速度较慢的排查方法
如果出现ping丢包或ping不通的情况，请根据系统类型参见以下方案进行排查：Linux：Linux实例网站访问丢包延时高的排查方法 Windows：Windows实例网络访问丢包延时高的排查方法 使用 dig 或 nslookup 命令查看DNS解析情况。使用 traceroute ...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
创建Hologres数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Hologres。如果您最近使用过Hologres，也可以在 最近使用 区域选择Hologres。同时，您也可以在搜索框中，输入Hologres的关键词，快速筛选。在 新建Hologres数据源 对话框中，配置连接数据源...
通过自治服务解决MySQL实例CPU使用率过高的问题
解决方案 说明 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议提前创建快照或开启RDS日志备份等功能。如果您在...
创建Hudi数据源
本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。...您可根据 网络连通解决方案 自行排查。
专家成长计划服务内容说明
RDS实例间的相互同步 云下实例上云相关方案 DRDS，ADB等分析类数据间的数据流转 RDB数据库到大数据类服务间的同步方案 DTS订阅配置介绍 30人 阿里云安全运维 8 全面介绍基础安全知识、云盾的解决方案及操作，结合实际案例帮助大家理解阿里...
创建Impala数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Impala。如果您最近使用过Impala，也可以在 最近使用 区域选择Impala。同时，您也可以在搜索框中，输入Impala的关键词，快速筛选。在 新建Impala数据源 对话框中，配置连接数据源参数。配置...
问题答疑
您在使用云网管CMN时遇到问题可根据下列分类匹配问题场景和解决方案。一般性问题 开通使用云网管 计费概览 基本概念 探针安装 如何安装客户端？请查看 探针安装 如何查看客户端状态？请查看 如何查看客户端状态和排查插件异常？资源管理 ...
访问OSS出现网络异常如何处理?
解决方案 排查客户端网络是否正常 在出现报错的设备上通过ping命令访问所在地域的OSS访问域名，或者打开 阿里昆仑诊断工具 查看您的网络是否有异常。当网络异常时请排查解决。排查代码配置 在客户端网络正常的前提下，通过ping命令访问代码...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
如何解决全量迁移慢或迁移卡住
排查方法 您可以根据如下方法进行排查：排查源库：预估迁移时间：排查源库待迁移对象的数据量级。尝试迁移部分表，用作基础评估时间，比如10G数据量完成迁移的时长，以此来预估整体迁移时间。排查任务并行情况：检查是否同时建立了多个任务...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
我是安全管理员
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...
解读实例诊断报告
访问倾斜判断标准 可能的原因 排查方法 同时满足下述条件：实例的所有数据节点的性能指标峰值大于下述阈值：CPU使用率：10%。内存使用率：20%。网络入口和出口流量：5 MB/s。连接数使用率：5%。性能指标的均衡度计算结果大于1.3，计算公式...
- 产品推荐
- 这些文档可能帮助您