技术面临的挑战与革新
分布式事务与集中式事务的优劣 事务处理是数据库保证ACID语义的核心功能，因为数据库系统需要处理大量的并发事务，为了保证并发事务能够尽可能高效的并发执行而又互不干扰，发展出若干种技术，比如多版本并发处理(MVCC)，乐观并发处理(OCC)...
Kafka实时入湖
说明 key binary Kafka消息key value binary Kafka消息体 topic string Kafka topic partition int Kafka分区值 offset long Kafka消息偏移量 timestamp timestamp 时间戳 timestampType int 时间戳类型 数据预处理含义 数据预处理是Kafka...
配置同步任务（新控制台）
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。上述配置完成后，单击页面下方的 下一步保存任务并预检查。您可以将鼠标光标移动至 下一步保存任务并预检查 按钮上，然后...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
Delta Lake概述
而Delta简化了工作流程，整条数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换、特征化等操作都是流上的节点动作，无需对历史和实时数据分别处理。与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL...
Iceberg概述
而Iceberg简化了工作流程，整个数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换和特征化等操作都是流上的节点动作，无需处理历史数据和实时数据。此外，Iceberg还支持原生的Python SDK，对于机器学习算法的开发者非常友好。
通过DTS导入数据
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。监控报警 是否设置告警，当同步失败或延迟超过阈值后，将通知告警联系人。不设置：不设置告警。设置：设置告警，您还需要...
处理接口
处理下载的所有数据，Node.js提供了一个glob模块可以对文件夹下的所有数据进行批量处理。var fs=require('fs');var csv=require("fast-csv");var glob=require('glob');var mapdata=require('./站点列表经纬度映射.json');glob("./站点_...
配置学区地图Tab列表交互
在 id=2：初中 的 串行数据处理 节点与 公办初中点 和 民办初中 的连线中分别添加两个 串行数据处理 节点，并分别命名为 schooltype=公办 和 schooltype=民办。串行数据处理 节点添加完成后，最终效果实现双重判断标准，部分截图如下所示。...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道...客户端代码逻辑不合理（长连接做上传、下载过程有耗时很长的数据处理逻辑）持续时间：无法评估。需要用户在代码设计上充分考虑数据传输性能。其他问题 Tunnel命令常见问题 Tunnel SDK常见问题
区域热力层（v3.x版本）
请求地理边界geojson数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 https://api.test ，传到 请求地理边界geojson数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
审计日志
脚本任务 ChangeDataNode 修改数据处理任务（周期或手动任务）。DeleteDataNode 删除数据处理任务（周期或手动任务）。文件 AddFile 创建临时查询及目录。DeleteFile 删除临时查询及目录。ChangeFile 修改临时查询、重命名临时查询及目录。...
文档更新动态（2022年之前）
通用功能 概述 2020-04-09 数据处理 功能拓展 新增实时数据处理，帮助您处理实时计算任务。通用功能 实时数据处理 2020-04-09 实时元表 新增功能 为您介绍如何查看实时元表的详情。通用功能 元表详情 2020-04-09 函数权限 新增功能 为您...
应用介绍
涉及到淘宝、天猫、1688、其他三大类，分为商品管理、商品数据、电商售后、电商退款、订单数据、订单信息、风险监测、客户消息、售后发货、售后退货、售后退款、数据处理、物流管理、图片处理、活动运营、alikey专区等17个小类 2....
工况识别-训练
平台上其他数据处理组件。按照平台规范开发的自定义组件。其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 识别方式 工况识别的方式。智能：算法将根据数据情况自动选择合适的方法进行工况类别识别；自定义：需要用户自行选择具体...
数据上云工具
阿里云数加产品 MaxCompute客户端（Tunnel通道系列）客户端基于 批量数据通道 的SDK，实现了内置的Tunnel命令，可对数据进行上传和下载，Tunnel命令的使用请参见 Tunnel命令的基本使用介绍。客户端的安装和基本使用方法请参见 客户端介绍。...
数据湖管理FAQ
OSS数据源配置数仓模式和自由模式的差异以及适用场景是什么？为什么Excel导出的CSV文件没有被识别建表？为什么一个目录下面是同样Schema的JSON文件，但是没有建表？使用SLS元数据发现的批量模式，为什么有的Logstore生成了表，有的没有？为...
填充数据库
通过在批量数据载入时临时增加 max_wal_size，所需的检查点数目可以被缩减。7.禁用 WAL 归档和流复制 当使用 WAL 归档或流复制向一个安装中载入大量数据时，在录入结束后执行一次新的基础备份比处理大量的增量 WAL 数据更快。为了防止载入...
新旧版本使用指引
新增功能 更强大的数据处理能力 数据处理现已支持音视频处理、文档处理、图片智能、音视频智能、文件处理、内容安全等。更灵活的数据管理、数据查询能力 媒体集（Set）升级为数据集（Dataset），支持全类型文件的元数据抽取以及元数据查询...
产品优势
多场景支持：支持实时数仓、多表实时拼接查询、实时数据处理与上传、实时报表、业务与计算分离、实时业务问题定位等。高效低延时：通过DTS获取和写入数据，支持分布式并发读写，效率高于Flink，数据准确性更高。可视化数据开发，更多信息，...
批量消费
什么是批量消费 定义 批量消费是 云消息队列 RocketMQ 版 通过Push消费者提供的、将消息分批次消费的功能。说明 根据消息获取方式，云消息队列 RocketMQ 版 提供Push和Pull两种类型的消费者，更多信息，请参见 基本概念。功能原理 批量消费...
离线同步并发和限流之间的关系
对于数据要求不敏感的场景，建议不配置脏数据限制，或者配置一个业务上合理的脏数据阈值上限，以降低您日常脏数据处理运维负担。关键任务配置任务失败和延迟告警，以及时发现线上问题。可重跑的任务建议配置任务失败自动重跑，以降低偶发...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
手动添加数据源
常见问题 Q：在 添加数据源 页面配置参数时，无法选到目标ECS实例ID是什么原因？A：请确保ECS实例和DBS备份计划任务属于同一地域。您可在控制台上方查看或选择目标地域。Q：自动添加DBS IP网段到ECS安全组中失败了如何处理？A：若您关闭了...
写入与查询
例如，需要在 student_course 表中批量插入3条数据时，执行如下语句：INSERT INTO student_course(`id`,`user_id`,`nc_id`,`nc_user_id`,`nc_commodity_id`,`course_no`,`course_name`,`business_id`)VALUES(277943,11056941,'1001EE...
常见问题
云数据库Redis版与Redis是什么关系？云数据库Redis版是否存在CPU处理能力、带宽和连接数等限制？单个实例有多少个数据库？云数据库Redis版是否都有主从节点？云数据库Redis版能否配置从节点数量？云数据库Redis版是否开放了从节点？云数据...
文档更新动态（2022年）
更新说明 什么是Dataphin 添加派生指标和衍生指标 新建注册上挂标签 2022年07月19日 增加回收站功能 可以将删除的数据处理任务还原。新增说明 管理回收站的资源对象 2022年07月19日 实时研发新增支持Ververcia Flink引擎 支持Flink SQL流批...
LTS（原BDS）服务介绍
低成本：LTS在HBase、Phoenix、Cassandra等开源系统上有深入的优化，提供物理文件级别的数据处理，比传统的数据复制效率提高10倍。同时在CPU、缓存、内存、网络IO上的整体优化使LTS提供一个高性价比的数据通道，减少客户数据流转、处理的...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
数据开发与运行
您可以在数据开发页面指定的业务流程名处，进入资源组编排，您可以在此页面批量修改该业务流程内的节点指定的调度资源组，修改完成后，您可以选择提交按钮进行批量提交，并在任务发布界面批量发布，让节点使用的调度资源组变更操作在生产...
RDS MySQL迁移至Tablestore
脏数据处理策略 选择数据写入错误时的处理策略，取值：跳过 阻塞 数据写入模式 选择数据写入的模式，取值说明：行更新：使用PutRowChange会做行级别更新。行覆盖：使用UpdateRowChange会做行级别覆盖。批量写入方式 批量写入调用接口，取值...
PolarDB-X 2.0迁移至Tablestore
脏数据处理策略 选择数据写入错误时的处理策略，取值为：跳过 阻塞 数据写入模式 选择数据写入的模式，取值为：行覆盖：使用UpdateRowChange会做行级别覆盖。行更新：使用PutRowChange会做行级别更新。批量写入方式 批量写入调用接口，取值...
PolarDB-X 2.0同步至Tablestore
脏数据处理策略 选择数据写入错误时的处理策略，取值为：跳过 阻塞 数据写入模式 选择数据写入的模式，取值为：行覆盖：使用UpdateRowChange会做行级别覆盖。行更新：使用PutRowChange会做行级别更新。批量写入方式 批量写入调用接口，取值...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
详情请参见 什么是云原生数据库 PolarDB 分布式版。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 PolarDB-X 2.0 数据库和目标端 OceanBase 数据库 MySQL 租户创建专用于数据迁移的数据库用户，并...
PolarDB-X 2.0同步至AnalyticDB PostgreSQL版
通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以对企业数据进行实时分析，帮助您实现高性能的分析处理和在线数据探索。前提条件 已创建存储空间大于源 PolarDB-X 2.0 实例已占用存储空间的目标 AnalyticDB...
数据管理DMS逻辑库同步至云原生数据仓库 AnalyticDB ...
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。上述配置完成后，单击页面下方的 下一步配置库表字段，设置待同步的表在目标 AnalyticDB MySQL 中的主键列和分布键信息。...
PolarDB-X 1.0同步至DataHub
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标光标移动至 下一步保存任务并预检查 按钮...
- 产品推荐
- 这些文档可能帮助您