用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
补数据任务概述
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
补数据任务概述
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
查看同步链路状态和性能
DTS可以展示全量同步性能、显示并诊断 增量同步性能，使您可以了解...例如某条数据在源库产生的时间是7点，DTS将这条数据写入到目标端的时间是8点，则该任务存在1个小时的延迟。目标库慢SQL数量：选定的时间范围内，目标库产生的慢SQL数量。
同步时源库为Oracle的注意事项及限制
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。由于DTS的延迟时间是根据同步到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
常见Latency（时延）事件的处理建议
通常是对大Key执行命令产生，例如执行 GET 命令，拷贝大量数据。Fork 调用Fork操作的耗时。通常在AOF Rewrite（重写）时产生。如果是AOF Rewrite导致，且对数据持久化没有要求，建议关闭 appendonly 参数，关闭AOF持久化，关闭后，通常可以...
常见问题
数据量很大导致单分片数量过多，影响写入性能，同时，业务上有明显时间属性：创建时间分区索引。分区索引的详细说明，请参见 分区索引。如何评估查询性能？常见的对查询性能影响比较大的场景：查询语句特别复杂。例如查询语句中WHERE组合...
查询慢日志
代理慢日志 代理慢日志中统计的命令执行时间从代理向数据节点发出请求开始，到代理从数据节点收到相应的回复为止，包含了命令在数据节点中的执行时间、数据在网络中的传输时间以及命令的排队延迟等。代理慢日志的保留时间为72小时，无数量...
如何处理Tair集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
如何处理Redis集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
查询慢日志
代理慢日志 代理慢日志中统计的命令执行时间从代理向数据节点发出请求开始，到代理从数据节点收到相应的回复为止，包含了命令在数据节点中的执行时间、数据在网络中的传输时间以及命令的排队延迟等。代理慢日志的保留时间为72小时，无数量...
账单和用量查询
因为 时间序列数据库TSDB、时序数据库InfluxDB®版和 云原生多模数据库Lindorm 属于同一个产品大类 云原生多模数据库Lindorm，所以产品列显示的是 云原生多模数据库Lindorm。解决办法：本文提供两种确认费用的方法。在 账单详情 页，查看...
JindoFS实战演示
数据迁移 文档链接 视频链接 视频发布时间 描述 高效迁移HDFS海量文件到OSS 高效迁移HDFS海量文件到OSS 2021-05-11 通过Hadoop DistCp将HDFS海量文件同步到OSS存在很多问题，例如文件数量太大造成内存溢出、同步效率慢、无法保证数据一致性...
Query Profile介绍
说明 Operator花费的时间比例越大，其对应颜色就越深（支持对执行耗时排名前三的节点标注颜色）。您可以借此轻松确认查询的瓶颈。通过鼠标滚动，或单击 放大 和 缩小 按钮，可以放大和缩小Profile树。重要指标 Query级别 Summary指标 指标 ...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
查看备份计划
在完成备份任务配置之后，数据库备份DBS将在系统后台自动调度备份任务，生成全量备份集或增量备份数据。本文介绍如何查看备份计划的配置信息及备份信息。操作步骤 登录 DBS控制台，单击左侧导航栏中的 备份计划，进入 备份计划列表 页面。...
单值查询数据
说明 默认按照时间戳取模对齐，即"对齐时间戳=数据时间戳-（数据时间戳%interval）。支持基于日历时间间隔的降采样。要使用日历界限，您需要在时间单位 units 后添加一个 c。例如，1dc 代表从当日零点到次日零点之间的24小时。aggregator：...
多值数据查询
说明 默认按照时间戳取模对齐，即“对齐时间戳=数据时间戳-（数据时间戳%interval）”。支持基于日历时间间隔的降采样。要使用日历界限，您需要在时间单位units后添加一个 c。例如，1dc 代表从当日零点到次日零点之间的 24 小时。...
上传数据
说明 当数据量较大时解析时间会比较长，您可以先关闭弹窗，后台会继续导入数据。完成创建后，您可以在 我的数据 页面，查看创建后的空间数据。上传GeoJSON数据 重要 GeoJSON数据文件格式为不带BOM的UTF-8编码格式。单击 矢量 页签右上角的 ...
上传数据
说明 当数据量较大时解析时间会比较长，您可以先关闭弹窗，后台会继续导入数据。完成创建后，您可以在 我的数据 页面，查看创建后的空间数据。上传GeoJSON数据 注意 GeoJSON数据文件格式为不带BOM的UTF-8编码格式。单击 矢量 页签右上角的 ...
简介
以车联网为例，海量的车辆终端在不断地产生轨迹数据，轨迹数据包含了时间和空间位置。利用HBase Ganos，实时监测车辆的行驶轨迹、是否偏航、是否进入某个限制区域等。除了实时监控外，还可以进行实时时空查询，如查询某段时间的轨迹，某段...
日志服务通过数据集成投递数据
日志结束时间 数据消费的结束时间位点，为时间范围（左闭右开）的右边界，为 yyyyMMddHHmmss 格式的时间字符串（例如 20180111013010）。该参数可以和DataWorks的调度时间参数配合使用。批量条数 一次读取的数据条数，默认为256。说明 您...
实时数据订阅概述
Pull模式：您可以使用开源的Kafka客户端直接订阅数据，服务端会暂时保存数据，您需要对保存的数据设置一个过期时间，如果超过这个时间数据会被删除。具体操作请参见 通过Pull模式创建数据订阅通道。Push模式：云原生多模数据库 Lindorm ...
数据资产等级定义
MaxCompute进行数据加工基本流程为从业务系统上产生数据，通过同步工具（DataWorks的数据集成或阿里云DTS）进入数据数仓系统（MaxCompute），数据在数仓中进行清洗、加工、整合、算法、模型等一系列运算后，再通过同步工具输出到数据产品中...
自建Oracle同步至PolarDB-X 2.0
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。由于DTS的延迟时间是根据同步到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能...
自建Oracle同步至PolarDB MySQL版
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。由于DTS的延迟时间是根据同步到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能...
下载数据备份和日志备份
若日志备份是用于恢复到本地数据库，需要注意日志备份的起始时间段必须在您选择的数据备份时间点之后，在要恢复数据的时间点之前。在弹出的对话框中，阅读并勾选相关说明，单击 已了解，要公网下载 或复制下载地址通过其他途径下载。内网...
自建Oracle同步至MaxCompute
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。由于DTS的延迟时间是根据同步到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能...
查询结果不符合预期的常见原因
如果删除请求设置的时间戳/版本号较大，删除请求提交后将持续生效，此时再写入数据，则数据写入的时间戳比删除请求设置的时间戳小，数据写入后会被立刻删除，导致无法被查询到。说明 SQL访问方式不支持设置删除时间戳。链路等问题导致数据...
自建Oracle同步至阿里云消息队列Kafka版
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。由于DTS的延迟时间是根据同步到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能...
自建Oracle同步至PolarDB PostgreSQL版（兼容Oracle）
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。由于DTS的延迟时间是根据同步到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能...
产品规格和定价
存储空间 设备产生的原始数据都需要存储起来，以供您后续处理或分析。购买的存储空间建议匹配实际存储的数据量的大小。若随时间积累，存储空间不足，您可清除部分数据或购买扩容存储空间。订阅价格 实例规格 版本型号 基础版 I 基础版 II ...
发现并处理大Key和热Key
大Key和热Key产生的原因 未正确使用 Tair 命令、业务规划不足、无效数据的堆积、访问量突增等都会产生大Key与热Key，如：大key 在不适用的场景下使用 Tair，易造成Key的value过大，如使用String类型的Key存放大体积二进制文件型数据；...
发现并处理Redis的大Key和热Key
大Key和热Key产生的原因 未正确使用Redis、业务规划不足、无效数据的堆积、访问量突增等都会产生大Key与热Key，如：大key 在不适用的场景下使用Redis，易造成Key的value过大，如使用String类型的Key存放大体积二进制文件型数据；...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
客户案例
庞大的运营计数会产生海量数据，需做好数据分析，为游戏运营提供更好的数据服务。客户需求 希望优化数据体系结构，解决如下难点、痛点问题：业务团队对全域数据资产无感知，且数据需求响应时间长。组件繁多，运维、开发成本高。昼夜资源...
多值查询最新数据点
多值模型最新数据点查询（新建mlast）请求路径和方法 请求路径 请求方法 描述/api/query/mlast POST 获得多值模型指标数据中fields 最新写入的数据点。请求内容 名称 类型 是否必选 描述 默认值 举例 queries Array 是 子查询数组。无 见子...
- 产品推荐
- 这些文档可能帮助您