数据库常见问题
为了有效排查和解决在使用云虚拟主机数据库时遇到的功能问题（例如支持哪些数据库、是否支持开启event_scheduler组件）和其他操作问题（例如，如何扩大数据库空间、数据库导入失败问题等）。本文为您汇总了使用云虚拟主机数据库时遇到的...
常见问题
scheduler 使用企业管理器导入SQL Server数据失败 通过DMS导入SQL文件失败 还原SQL Server 2008数据库失败 网站程序调用数据库失败 导入SQL文件时报错：unknown collation utf8mb4_unicode_ci 使用phpMyAdmin连接数据库失败 误删除云虚拟...
数据导入性能优化
当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列不仅构建耗时，还占用存储空间，可以删除索引，请参见 删除索引。说明 主键索引无法删除。需要重建表。增加Hint加速导入 在导入任务前增加Hint（direct_batch_...
数据导入性能优化
当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列不仅构建耗时，还占用存储空间，可以删除索引，请参见 删除索引。说明 主键索引无法删除。需要重建表。增加Hint加速导入 在导入任务前增加Hint（direct_batch_...
Presto FAQ
为什么同一个SQL从HDFS同步数据到OSS，在DLA中查询是11万数据量，自建的集群查询是19万数据量？性能相关问题 如何解决查询报错：“Query exceeded distributed user memory limit of 2.00TB or Query exceeded per-node user memory limit ...
自动备份
A：备份大小可能比数据量大，也可能比数据量小。云盘实例采用快照备份。快照备份的大小可能远大于数据的大小。云盘实例备份免费额度为实例存储容量的200%，本地盘实例备份免费额度为实例存储容量的50%。说明 计算快照备份大小时，会计算...
数据开发常见问题
本文汇总了数据开发时的常见问题。组件相关问题：Hive常见问题 Spark常见问题 Sqoop常见问题 作业问题：环境变量过多或者参数值过长时，为什么提交作业失败？为什么Shell作业状态和相关的YARN Application状态不一致？创建作业和执行计划的...
Logview诊断实践
比如：某些UDF在内存计算、排序的数据量比较大时，会报内存溢出错误。内存不足引起gc频率过高。这时可以尝试调整内存参数，不过此方法只能暂时缓解，具体的优化还是需要从业务上去处理。示例如下：set odps.sql.udf.jvm.memory=-设定UDF ...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
实时同步任务告警设置最佳实践
同步任务运行时通过对比Kafka源端Offset和消费记录Offset获取Kafka数据消费延迟数据量。建议Kafka源端重要实时同步任务配置均配置。指标4：Failover 报警监控原理与适用场景 配置建议 Failover指标是指当实时同步进程发生异常退出时，为...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
写入与查询
加载内置数据集时，提示加载失败或者长时间加载中如何处理？数据库普通账号如何使用内置数据集？内置数据集加载完成后，如何进行测试？湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？支持。在 湖仓版（3.0）集群中创建Hudi表后...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
导入结构和数据
背景信息 ODC 支持批量导入数据库对象的结构和数据。通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据：同时导入数据库对象的定义语句及其数据。仅导入数据：仅导入表/视图对象的数据。仅...
常见问题
本文汇总了使用轻量应用服务器时的常见问题。远程连接和计费问题 远程连接FAQ 计费常见问题 服务器管理问题 轻量应用服务器在哪些地域部署？轻量应用服务器存在哪些状态？轻量应用服务器是否可以升级配置？轻量应用服务器是否支持过户？轻...
数据缓存
SkipCacheBytes 创建缓存文件失败，或者缓存文件被删，需要再次从远程读取的数据量。WriteInFileCacheBytes 保存到缓存文件中的数据量。WriteInFileCacheNum 保存的Block数量，WriteInFileCacheBytes/WriteInFileCacheBytes为Block的平均...
集群自定义监控报表
集群数据库 io_write_rt SSStore 每次写入平均耗时 集群数据库 io_read_size SSStore 每秒读取数据量 集群数据库 io_size SSStore 每秒处理数据量 集群数据库 io_write_size SSStore 每秒写入数据量 集群数据库 transaction_multi_...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
管理导入任务
jobDetails 导入任务的详细信息，包括任务数量、文件数量和大小、数据量、行数等。errorMessage 导入任务的失败原因。当导入任务的状态为PENDING，LOADING或FINISHED时，该参数值为NULL。当导入任务的状态为CANCELLED时，该参数值包括type...
导入
成功导入数据量 与 总数据量 不一致时，可能原因如下：该任务中存在运行失败的对象。该任务中包含DataWorks中已存在的同名对象。请根据实际情况进行排查处理。后续步骤 导入任务创建完成后，您可进入相应任务的编辑页面进行后续的开发使用...
查看集群日报与分析
在目录冷热数据分布信息中会展示如下信息：层级目录极冷数据量分布Top 层级目录冷数据量分布Top 层级目录温数据量分布Top 层级目录热数据量分布Top 每个表格会展示具体路径、存储大小、日环比和日增量等信息。HBase存储资源 详细分析 该...
生成测试数据
模拟数据设置信息 显示创建模拟数据任务时您选择的 目标表、模拟生成数据量、批处理大小、插入模拟数据前清空表、数据冲突处理方式、实际插入记录、冲突记录、忽略插入、清除记录 和 规则设置展示 等信息。在任务信息面板右下角，单击 再次...
常见问题
但是当需要匹配的数据量较大或本身存储的字符串内容较长时，查询性能可能会随着数据量的增大而降低。分词查询：数据查询时，搜索引擎会先对原始字符串进行分词，再对分词字段执行关键词匹配操作，例如在通用搜索引擎产品中进行关键词检索。...
数据源开发和生产环境隔离
例如出现DataStudio执行成功，生产调度时执行失败，或DataStudio执行与生产调度时执行数据量不一致等问题时，您可对比开发环境执行成功的日志与生产环境的报错日志进行比对排查。由于任务最终将发布生产环境执行，若数据源开发环境与生产...
查看数据迁移项目的详情
在 表对象 页签，您可以查看对象名称、源库、目标库、预估数据量、已完成数据量和对应的状态。在 表索引 页签，您可以查看表对象、源库、目标库、创建时间、结束时间、耗时及其对应的状态。同时，您可以查看索引的创建语法、重试单个或全部...
配置离线数据集成节点
使用限制 系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存耗尽（OOM）。周期调度节点最近一次运行成功后，若连续运行失败10次及以上，离线集成任务直接执行失败，且不会再提交Spark任务。此时，您需要手动运行成功该任务节点...
使用MaxCompute控制台（离线）
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
消息通知管理
审批拒绝 导出成功 导出失败 数据追踪 获取文件失败 待提交审批 待审批 审批通过 审批拒绝 日志处理成功 日志处理失败 数据库克隆 待审批 审批通过 审批拒绝 克隆成功 克隆失败 测试数据构建 待审批 审批通过 审批拒绝 构建成功 构建失败 ...
查看数据同步项目的详情
启动数据同步项目后，您可以在数据同步项目的详情页面查看相应项目的基本信息、同步详情和同步对象等信息。进入详情页面 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。单击目标数据同步项目的名称，进入详情页面，...
恢复库表
如果恢复过程中涉及的库表数据过多、数据量过大或者用户指定时间点内的binlog数量过多，可能会导致恢复时间过长。费用说明 常规库表恢复 本地盘 本地盘实例常规的库表恢复功能默认开启，不会产生费用。若使用常规库表恢复功能恢复到新实例...
全增量同步任务运维
同步数据量：显示当前同步任务中的已同步数据量，包含已运行成功任务同步的数据量及运行中任务已同步的数据量。同步记录数：显示当前同步任务中的已同步数据的条数记录。说明 离线同步子任务 的统计情况每小时更新一次。实时同步子任务 ...
创建并管理数据源
任务在数据开发（DataStudio）与在生产调度执行时产生的数据量不一致。上述问题您可对比开发环境与生产环境的运行日志排查解决。若数据源开发环境与生产环境配置不同，请确保任务运行时使用的资源组可分别与开发环境、生产环境的数据源连通...
导入概述
以下是导入数据时的一些注意事项：选择合适的导入方式：根据数据量大小、导入频次或数据源所在位置选择导入方式。例如，如果原始数据存放在HDFS上，则使用Broker load导入。确定导入方式的协议：如果选择了Broker Load导入方式，则外部系统...
数据归档至专属存储
系统自动执行此任务，您需要等待任务状态从 正在执行 变为 执行成功，此过程耗时长短与您恢复的数据量有关。重要 执行归档数据恢复到源库操作后，系统会自动在源库中创建临时表，可能会造成源库空间不足，请您谨慎操作。查看已恢复的数据。...
- 产品推荐
- 这些文档可能帮助您