什么是在线数据处理与交易处理业务许可证（EDI）？
在线数据处理与交易业务经营许可证（简称：EDI证）是指经营含有相关业务的网站主办者向当地区县申请的证书证明，即《中华人民共和国增值电信业务经营许可证》，其中业务种类为：在线数据处理与交易处理业务。在线数据处理与交易处理业务是...
为什么已使用的Dataphin数据处理单元会超过已购买的...
内容摘要：短时间内多次执行批量发布操作，有较小概率会造成已使用的数据处理单元数超过已购买的可用上限 问题描述 为什么已使用的Dataphin数据处理单元会超过已购买的可用上限？原因说明 Dataphin中，仅已经发布到生产环境的任务或表会...
Hive，过滤组件中对Date类型数据处理出现脏数据
问题描述 Dataphin集成任务从Oracle 抽数据到 Hive，过滤组件中对Date类型数据处理出现脏数据。{"category":"filter","distribute":true,"name":"WHERE","parameter":{"condition":"(ODS_LOAD_DT='2021-12-31')","conditionObject":"[{\...
Designer支持LLM数据预处理算子及常用模板
Designer支持LLM数据预处理算子及常用模板。适用客户 适用于所有需要特定数据场景下进行LLM预训练及SFT的客户。新增功能/规格 高质量的数据预处理是LLM成功应用的关键步骤，PAI-Designer提供去重、标准化...产品文档 组件参考：大模型数据处理
购买时长到期后，已上报指标数据将如何处理
指标数据处理逻辑会受存储时长和购买时长的影响。存储时长影响 可观测监控 Prometheus 版 会定期清理超出存储时长的历史数据。为了避免数据到期后被清理，请您及时进行存储时长变配。具体操作，请参见 包年包月方式。购买时长到期影响 当...
购买时长到期后，已上报指标数据将如何处理
指标数据处理逻辑会受存储时长和购买时长的影响。存储时长影响 可观测监控 Prometheus 版 会定期清理超出存储时长的历史数据。为了避免数据到期后被清理，请您及时进行存储时长变配。具体操作，请参见 包年包月方式。购买时长到期影响 当...
Dataphin数据集成任务如何处理来源表字段中的数据存在...
问题描述 Dataphin配置集成任务，当来源表字段中的数据存在空格时会同步失败。2021-09-26 11:04:50.998[0-0-0-reader]ERROR DlinkTaskPluginCollector-脏数据:{"message":"类型转换错误,无法将[3]转换为[LONG]","record":[{"byteSize":10,...
Quick BI数据集或仪表板图表是否...处理同环比数据逻辑
问题描述 Quick BI数据集或仪表板图表是否可以在新建字段中处理同环比数据逻辑？问题原因 不可以。数据集或仪表板图表的新建字段中只能处理表查询出来的字段，同环比数据不是表查询出来的，而是Quick BI根据表查询出来的数据加工计算而来。...
Hive以EMR集群的方式处理OSS-HDFS服务中的数据
本文介绍Hive如何以EMR集群的方式处理OSS-HDFS服务中的数据。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤，请参见 创建集群。已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务...
数据加工延迟问题排查与处理
本视频介绍数据加工延迟问题的排查与处理方法。
Spark以EMR集群的方式处理OSS-HDFS服务中的数据
本文介绍Spark如何以EMR集群的方式处理OSS-HDFS服务中的数据。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤，请参见 创建集群。已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务...
通过实时计算处理数据并同步到Elasticsearch
处理业务逻辑并同步数据。INSERT INTO es_stream_sink SELECT a,count(*)as cnt FROM sls_stream GROUP BY a 上线并启动作业。上线并启动作业后，即可将日志服务中的数据进行简单聚合后写入阿里云Elasticsearch中。更多信息 使用实时计算...
选择不到项目用到的数据源类型怎么处理
问题描述 Dataphin创建API创建服务单元时，选择不到项目用到的数据源类型怎么处理。问题原因 数据服务模块目前支持选择以下类型数据源：MySQL、Microsoft SQL Server、PostgreSQL、Oracle、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL...
使用Spark Structured Streaming实时处理Kafka数据
本文介绍如何使用阿里云 Databricks 数据洞察创建的集群去访问外部数据源 E-MapReduce，并运行Spark Structured Streaming作业以消费Kafka数据。前提条件 已注册阿里云账号，详情请参见 阿里云账号注册流程。已开通 E-MapReduce服务。已...
在ECS实例中挂载数据盘时出现“mount:unknown ...
问题描述 在ECS实例中挂载数据盘时，出现以下报错。mount:unknown filesystem type 'xfs' 问题原因 该问题可能是与initramfs的/boot 目录下缺少3.10.0-862.el7.x86_64内核的相关文件导致。对比正常实例，可能缺少以下文件。vmlinuz-3.10.0-...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
配置学区地图单选框交互
在连线中添加两个 串行数据处理 节点，分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...
配置学区地图单选框交互
在连线中添加两个 串行数据处理 节点，分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
查看资源使用情况-半托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。计算任务：每1个离线计算任务计算1个数据处理单元。维度逻辑表：每1个维度逻辑表计算1个数据处理单元...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
计费说明-全托管
000 4500 60C240G 101,500 5000 60C240G 110,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数+[向上取整（指标数/10）]其中：前200个数据集成任务不纳入统计，...
代码智能推荐
该功能可以利用AI模型帮助用户生成组件数据处理的代码。用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件（例如：...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
EMR Workbench
通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作流。功能介绍 EMR Notebook 交互式编程环境：支持Jupyter笔记本，提供灵活的编程环境。多语言支持：允许使用Python、SQL等多种语言进行数据分析...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
查看资源使用情况-全托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元；其中，前200个集成同步任务免费。计算任务：每1个离线计算任务或实时计算任务计算1个数据处理单元。...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
包年包月
欠费影响 如果您购买的服务已到期，您账户下的流数据处理Confluent服务会立即停机，即您将不能再继续使用流数据处理Confluent服务。如果停机后168小时依然欠费，流数据处理Confluent实例将会释放，实例释放后数据不可恢复，即您不能再使用...
配置学区地图Tab列表交互
在 id=2：初中 的 串行数据处理 节点与 公办初中点 和 民办初中 的连线中分别添加两个 串行数据处理 节点，并分别命名为 schooltype=公办 和 schooltype=民办。串行数据处理 节点添加完成后，最终效果实现双重判断标准，部分截图如下所示。...
配置学区地图Tab列表交互
在 id=2：初中 的 串行数据处理 节点与 公办初中点 和 民办初中 的连线中分别添加两个 串行数据处理 节点，并分别命名为 schooltype=公办 和 schooltype=民办。串行数据处理 节点添加完成后，最终效果实现双重判断标准，部分截图如下所示。...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
Oracle同步至Tablestore
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
- 产品推荐
- 这些文档可能帮助您