PyODPS节点实现避免将数据下载到本地
当数据量大时，建议使用PyODPS DataFrame（从MaxCompute表创建）和MaxCompute SQL来处理数据，以替代本地数据处理这种比较低效的方式。示例代码 将一份JSON串数据按Key-Value对展开成一行，示例代码如下。本地测试，通过 head()方法返回...
应用场景
本地低延时 场景说明 场景示例 使用云盒的优势 某些业务需要收集本地数据信息，将大量数据计算处理后，根据数据结果来控制设备运行，该类业务通常要求低延时。例如制造执行系统MES、高频交易或医疗诊断系统等需要提供近实时、毫秒级延迟的...
PyODPS常见问题
什么情况下可以下载PyODPS数据到本地处理？通过open_reader最多只能取到1万条记录，如何获取多于1万条的记录？为什么尽量使用内建算子，而不是自定义函数？为什么通过DataFrame().schema.partitions获得分区表的分区值为空？如何使用PyODPS...
Python SDK常见问题
什么情况下可以下载PyODPS数据到本地处理？通过open_reader最多只能取到1万条记录，如何获取多于1万条的记录？为什么尽量使用内建算子，而不是自定义函数？为什么通过DataFrame().schema.partitions获得分区表的分区值为空？如何使用PyODPS...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
选择默认值 停止迁移：当目标端表对象存在数据时，全量迁移会报错不允许迁移，请处理好目标端数据后再继续迁移。重要 如果出错后单击恢复，数据传输将忽略该配置选项，继续迁移表数据，请谨慎操作。是否允许索引后置 您可以设置是否允许全...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
选择默认值 停止迁移：当目标端表对象存在数据时，全量迁移会报错不允许迁移，请处理好目标端数据后再继续迁移。重要 如果出错后单击恢复，数据传输将忽略该配置选项，继续迁移表数据，请谨慎操作。是否允许索引后置 您可以设置是否允许全...
Tunnel命令
返回结果+-+-+-+-+-+|shop_name|customer_id|total_price|sale_date|region|+-+-+-+-+-+|shopx|x_id|300.0|201312|hangzhou|shopy|y_id|400.0|201312|hangzhou|+-+-+-+-+-+-rd 指定本地数据文件的行分割符。默认值为 \r。s 指定是否扫描...
Tunnel命令
返回结果+-+-+-+-+-+|shop_name|customer_id|total_price|sale_date|region|+-+-+-+-+-+|shopx|x_id|300.0|201312|hangzhou|shopy|y_id|400.0|201312|hangzhou|+-+-+-+-+-+-rd 指定本地数据文件的行分割符。默认值为 \r。s 指定是否扫描...
开发PyODPS 2任务
使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行资源的不同规格（包括公共调度资源组和独享调度资源组），处理的本地数据过多并超出操作系统阈值时可能发生OOM（Got killed）错误。...
开发PyODPS 3任务
使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行资源的不同规格（包括公共调度资源组和独享调度资源组），处理的本地数据过多并超出操作系统阈值时可能发生OOM（Got killed）错误。...
快速入门
PyODPS节点获取本地处理的数据量不能超过50 MB，节点运行时占用的内存不能超过1 GB，否则节点任务会被系统中止。因此请避免在PyODPS任务中写入数据量较大的Python处理代码。在DataWorks上编写代码并进行调试效率较低，为提升运行效率，建议...
上传数据
前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可参见 创建MaxCompute表。使用限制 当前仅支持上传本地数据至MaxCompute表。上传数据操作入口 您可以在数据...
漏斗图
动作 动作 说明 请求漏斗图接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如漏斗图配置了API数据源为 https://api.test ，传到 请求漏斗图接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
信息标签层（v4.x版本）
请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如信息标签层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。切换...
区域热力层（v2.x版本）
动作 动作 说明 请求地理边界geojson数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 http://api.test ，传到 请求地理边界geojson数据接口 动作的数据为 { id:'1'}，则...
区域热力层（v4.x版本）
请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。切换...
数据脱敏
概念介绍 数据脱敏：在数据处理和数据存储过程中，通过一定的算法和技术，将敏感数据进行加工处理、模糊化或替换，使得数据无法识别或难以还原，从而达到保护数据安全、防止数据泄露的目的。动态脱敏：对敏感数据进行实时的脱敏处理，只有...
导入与导出
保证数据处理速度，排查数据生产消费是否同步，保证有足够的数据等待导入 AnalyticDB MySQL。保证客户端机器负载，检查CPU使用率或磁盘IO使用率等系统资源是否充足。湖仓版（3.0）集群的数据接入功能（APS)，是否会单独收取链路费用？不会...
使用ETL分析实时订单
您需要自定义一个列名，ETL会在该列保存数据处理的本地时间。处理时间主要用于算子运算，如时态JOIN会用该处理时间去关联普通表的最新版本。说明 完成配置的源库右侧不显示 时，说明配置完成。配置维表信息 页面左侧，将 输入/维表 MySQL ...
导入概述
Insert Into导入 手工测试及临时数据处理时可以使用 Insert Into 方法向StarRocks表中写入数据。其中，INSERT INTO tbl SELECT.;语句是从StarRocks的表中读取数据并导入到另一张表，INSERT INTO tbl VALUES(.);语句是向指定表里插入单条...
导入概述
Insert Into导入 手工测试及临时数据处理时可以使用 Insert Into 方法向StarRocks表中写入数据。其中，INSERT INTO tbl SELECT.;语句是从StarRocks的表中读取数据并导入到另一张表，INSERT INTO tbl VALUES(.);语句是向指定表里插入单条...
常见问题
数据迁移和数据同步的区别如下表所示：对比项 数据迁移 数据同步 适用场景 主要用于上云迁移，例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云数据库。主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
DataWorks数据集成
可以通过数据集成的同步任务将处理好的其他数据源数据同步到 AnalyticDB PostgreSQL版（AnalyticDB PostgreSQL版 数据导入）。无论是哪种应用场景，都可以通过DataWorks的数据集成功能完成数据的同步过程，详细的操作步骤（包括创建数据...
什么是云盒
本地数据处理 解决因带宽、成本、数据量、时间等因素无法将数据传输到公共云处理的场景。例如：AI模型训练和渲染、交通视频数据分析。低延时 解决和本地设备、应用程序近实时交互的场景需求。例如：产业园区、工业制造、仓库管理等。数据...
2021年
2021-12-30 全部地域 MaxCompute湖仓一体 MaxCompute支持渐进式计算 MaxCompute支持渐进式计算，在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的重叠...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
离线同步常见问题
解决方案：针对产生乱码的不同原因，选择相应的解决方法：如果您的原始数据乱码，需首先处理好原始数据，再进行同步任务。数据库和客户端编码格式不一致，需先修改编码格式。浏览器编码和数据库或客户端编码格式不一致，需先统一编码格式，...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
常见问题
在将数据导入至MergeTree表的时候，初始时后台线程可能找不到任何可以进行Merge的Data Part，此时所有的资源都在处理导入的数据从接收到刷写到磁盘这一步骤，所以导入数据的速率相对来说比较高。导入数据一段时间后，由于越来越多Data Part...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
选择默认值 停止迁移：当目标端表对象存在数据时，全量迁移会报错不允许迁移，请处理好目标端数据后再继续迁移。重要 如果出错后单击恢复，数据传输将忽略该配置选项，继续迁移表数据，请谨慎操作。是否允许索引后置 您可以设置是否允许全...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
选择默认值 停止迁移：当目标端表对象存在数据时，全量迁移会报错不允许迁移，请处理好目标端数据后再继续迁移。重要 如果出错后单击恢复，数据传输将忽略该配置选项，继续迁移表数据，请谨慎操作。增量同步 在 选择同步类型 页面，选中 ...
OceanBase 数据库之间的数据迁移
选择默认值 停止迁移：当目标端表对象存在数据时，全量迁移会报错不允许迁移，请处理好目标端数据后再继续迁移。重要 如果出错后单击恢复，数据传输将忽略该配置选项，继续迁移表数据，请谨慎操作。是否允许索引后置 您可以设置是否允许全...
查看资源使用情况-半托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。计算任务：每1个离线计算任务计算1个数据处理单元。维度逻辑表：每1个维度逻辑表计算1个数据处理单元...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
- 产品推荐
- 这些文档可能帮助您