设备网络状态
使用Wi-Fi接入网络的设备可以主动将网络状态信息和网络错误数据，通过指定Topic上报至云端。下面介绍设备上报网络状态的Topic、数据格式和网络错误数据说明。说明 如果设备使用AliOS Things 3.0版及以上系统，会自动检测和上报网络状态数据...
获取RDS MySQL数据语法错误
解决方案 排查原因后重新配置函数，重启数据加工服务。SQL语法错误 加工规则 e_table_map(res_rds_mysql(address="xxx",username=xxx,password="xx",database="xx",sql="inset into test values(1,"aini")",field="processid",output_...
数据集成：全领域数据汇聚
支持在各类复杂网络环境下，连通数据源的网络解决方案，无论数据源在公网、IDC还是VPC内，均可使用DataWorks数据集成实现网络连通。支持安全控制与运维监控，保障数据同步的安全、可控。核心技术与架构 引擎架构 采用星形引擎架构，数据源...
创建副本集实例
可能原因 解决方法 地域选择错误 在云数据库MongoDB控制台左上角，选择实例所在的资源组和地域。实例列表选择错误 在云数据库MongoDB控制台左侧导航栏，选择 副本集实例列表。资源不足 新创建的实例可能因为资源不足而退款。在您确认退款后...
创建副本集实例
可能原因 解决方法 地域选择错误 在云数据库MongoDB控制台左上角，选择实例所在的资源组和地域。实例列表选择错误 在云数据库MongoDB控制台左侧导航栏，选择 副本集实例列表。资源不足 新创建的实例可能因为资源不足而退款。在您确认退款后...
通过DMS登录MySQL数据库提示“登录...用户名或密码错误...
解决方案 说明 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议提前创建快照或开启RDS日志备份等功能。如果您在阿里云平台授权...
错误码
4005 开始下载数据错误，检测网络情况或播放地址是否可以访问。4006 开始下载元数据错误。4007 播放时错误。4008 加载超时，检测网络情况或播放地址是否可以访问。4009 请求数据错误，测网络情况或播放地址是否可以访问。4010 不支持阿里云...
错误码
4005 开始下载数据错误，检测网络情况或播放地址是否可以访问。4006 开始下载元数据错误。4007 播放时错误。4008 加载超时，检测网络情况或播放地址是否可以访问。4009 请求数据错误，测网络情况或播放地址是否可以访问。4010 不支持阿里云...
什么是云原生数据湖分析
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...
Logstash数据写入问题排查方案
在使用阿里云Logstash将数据写入阿里云Elasticsearch（output指定为阿里云Elasticsearch）时，您可能会遇到网络不通、管道配置错误、负载高、管道正常启动但无数据写入目标端以及服务正常但缺少数据等问题...网络不通 排查方案 常见错误案例 ...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
配置GBase 8a输出组件
加载策略支持 追加数据，当主键或者约束冲突时，会提示脏数据错误。解析方案 可选择输出数据前后的语句准备，详情请单击页面右上方的 组件说明。输入字段 根据上游的 输入组件 的输出字段，为您展示输入字段。输出字段 根据选择的 表 为您...
配置GBase 8a输出组件
加载策略支持 追加数据，当主键或者约束冲突时，会提示脏数据错误。解析方案 可选择输出数据前后的语句准备，详情请单击页面右上方的 组件说明。输入字段 根据上游的 输入组件 的输出字段，为您展示输入字段。输出字段 根据选择的 表 为您...
配置Impala输出组件
加载策略包括覆盖和追加，适用场景说明如下：追加数据 策略下，当指主键、约束冲突时，系统会提示脏数据错误。覆盖数据 策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。解析方案 可选择输出数据前后的语句准备，详情...
配置ArgoDB输出组件
追加数据策略下，当指主键/约束冲突时，会提示脏数据错误。追加数据策略下不支持合并。压缩格式 非必填项，如果文件有压缩，请选择对应的压缩格式，以便Dataphin进行解压处理。字段分隔符 使用所设置的字符串分隔符写入目标数据源。如未...
如何排查无法连接MongoDB实例的问题？
实例连接地址不正确的常见原因及解决方案如下：常见原因一：使用了错误的网络环境的连接地址。例如计划通过公网连接云数据库MongoDB实例却使用了实例的专有网络连接地址，导致连接失败。解决方案：请根据网络环境，使用正确的连接地址。...
审计经典网络数据库实例
如果需要审计经典网络数据库实例，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通，并在经典网络的ECS上部署Agent程序。前提条件 VPC中启用ClassicLink时，需要满足限定条件，具体请参见ClassicLink概述的 使用...
配置MySQL输出组件
当主键/约束冲突时，会提示脏数据错误。主键冲突时覆盖（replace into）：即在主键/约束冲突时，会先删除整行主键重复的旧数据，再插入新数据。主键冲突时更新（on duplicate key update）：即在主键/约束冲突时，会在已存在的记录上更新...
配置MySQL输出组件
当主键/约束冲突时，会提示脏数据错误。主键冲突时覆盖（replace into）：即在主键/约束冲突时，会先删除整行主键重复的旧数据，再插入新数据。主键冲突时更新（on duplicate key update）：即在主键/约束冲突时，会在已存在的记录上更新...
添加ClickHouse数据源
网络 数据源可选的网络类型。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录数据库的密码。数据库 单击 ...
配置TDH Inceptor输出组件
加载策略包括覆盖和追加，适用场景说明如下：追加数据 策略下，当指主键、约束冲突时，系统会提示脏数据错误。覆盖数据 策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。字段分隔符 填写文件存储分隔符。如果您没有...
解决方案与客户案例
异地多活数据库解决方案 方案背景 随着云计算的蓬勃发展，越来越多的信息系统选择部署在云计算环境下，因此基于云产品为信息系统的服务能力和数据质量提供保障尤为重要。为了防止灾难性的故障如火灾、洪水、地震、区域电力中断或者人为破坏...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
Napatech案例
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
管理导入任务
如果表数据出现错误或延迟，需要从导入任务做排查，以看到任务是否正在在运行，是否存在延迟等情况。前提条件 已连接对应的实例，详情请参见 管理StarRocks Manager连接。使用限制 该功能仅支持2.5.8-1.7-1.1.3及之后版本使用。查看导入...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
Kafka实时ETL同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。说明 Kafka与Hologres支持的网络类型如下：Kafka:指定VPC网络、公网。Hologres:指定VPC网络、...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
错误信息列表
数据导入任务错误列表 数据导入 提供添加、查询和删除接口，查询接口除自身命令错误外还提供任务运行过程中产生的错误。请求 返回 描述 添加任务 Loader File Format don’t support 要求导入的文件格式不支持，当前只支持.csv格式。...
离线同步常见问题
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 报错信息及解决方案 报错信息及解决方案 数据同步报错：[TASK_MAX_SLOT_EXCEED]:Unable to find a ...
什么是数据管理DMS
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。视频介绍 功能特性 详情信息，请参见 功能概览。为什么选择数据管理DMS 全域数据...
Tunnel命令常见问题
这种情况是因为数据编码格式错误或分隔符使用错误导致上传到表的数据错误。建议规范原始数据后再执行上传操作。如何在Shell脚本中将一个TXT文件中的数据上传到MaxCompute的表中？在系统的命令行执行窗口，您可以通过指定参数快速执行上传...
如何处理Tair集群数据倾斜
在 Tair 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Tair 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
如何处理Redis集群数据倾斜
在 Redis 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Redis 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
计费逻辑说明
访问复杂网络环境数据库 访问复杂网络环境下的数据库，请选择独享数据集成资源组。网络解决方案详情请参见 配置资源组与网络连通。实时同步数据 实时同步数据，需要使用独享数据集成资源组。调度费用 数据集成离线任务通过调度系统下发至...
他云/自建数据库录入
目标数据库实例已购买网络解决方案。网络解决方案详情，请参见 连接本地IDC。注意事项 若需要通过数据管理DMS管理实例，请在创建实例时需根据实际需求设置数据库账号权限，具体授权语法可参考各数据库类型对应的官网文档。具体权限说明如下...
常见问题
由于 TSDB 实例默认是专有网络 VPC 的模式，这种模式下如果访问机器和 TSDB 实例不在同一个 VPC 环境内，会出现网络不通，连接超时的错误。解决办法如下：如果写入机器和实例在同一个区域 Region 内，可将写入测试机器加入到 TSDB 所在实例...
- 产品推荐
- 这些文档可能帮助您