DescribeCall
调用DescribeCall查询单次通信详情。使用说明 本接口用于查询单次通信详情。例如：您可以查询通讯状态、用户详情等信息。QPS限制 本接口的单用户QPS限制为10次/秒。超过限制，API调用会被限流，这可能会影响您的业务，请合理调用。更多信息...
公共节点
MaxCompute MR MaxCompute MR节点可通过上传算法包、编写Shell脚本以及SQL语句的方式处理MaxCompute中的数据，具体操作，请参见 新建MaxCompute MR类型的公共节点。RDS MySQL RDS MySQL节点运行于MySQL类型的云计算资源之上，可通过输入SQL...
数据模型概述
数据模型（Data Model）是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架...说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
DescribeChannelUsers
返回数据 名称 类型 示例值 描述 CommTotalNum Integer 100 通信模式下频道内的用户总数，如果频道为非通信模式，该参数为0。RequestId String 6159ba01-6687-4fb2-a831-f0cd8d188648 请求ID。IsChannelExist Boolean true 频道是否存在，...
数据保护机制
使用Spark、MR、Graph、Proxima、PAI将表数据写入其他项目的表中。使用Tunnel download（包括SDK或JDBC调用Tunnel）将MaxCompute表数据下载至本地。使用 clone table 命令将表数据复制到其他项目的表中。使用UDF将表数据写入其他项目的表中...
物联网设备数据上云存储
物联网平台规则引擎 物联网设备基于消息 Topic 进行通信，使用规则引擎对 Topic 中的数据进行处理然后转发到 TSDB。只需要在规则引擎中配置一些简单的规则，就可以将设备数据存储到指定的资源中实现“采集+计算+存储+…”的全栈服务。如何...
SDK概述
v1.3.0 Hadoop、MR、Spark、SparkSQL和Hive读取OTS数据。MNS和LogService支持E-MapReduce的MetaServie功能，支持在E-MapReduce环境下免AccessKey访问MNS和LogService数据。升级部分依赖包版本。v1.1.3.1 解决MNS与Spar或Hadoop包的依赖冲突...
功能发布记录（2024年）
2024.2.21 所有地域 所有DataWorks用户 DataWorks On CDP/CDH使用说明 数据服务支持实例模式的StarRocks数据源 开通E-MapReduce Serverless StarRocks集群后，您可在DataWorks中通过实例模式新增StarRocks数据源，DataWorks数据服务支持...
流程控制
使用场景：例如，当您需要切换不同场景的数据面板时，每个场景有很多数据面板，先把场景A相关的数据面板切出，再把场景B相关的数据面板切进。可使用 序列执行 节点，对不同场景的数据面板进行分组，再按照先A后B的顺序执行。添加 序列执行 ...
将云消息队列 Kafka 版的数据迁移至MaxCompute
MaxCompute和DataWorks一起向用户提供完善的数据处理和数仓管理能力，以及SQL、MR、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。本教程旨在帮助您使用DataWorks，将 云消息...
API概览
通信监测 API 描述 DescribeCallList 分页查询时间范围内创建的通信信息。DescribeCall 获取单次通信详情。DescribeQoeMetricData 获取单次通信中用户的下行体验质量指标。DescribePubUserListBySubUser 根据订阅端获取通信中发布端用户...
资源组说明
资源组分类 资源组是用于执行具体任务的服务，如接收调度引擎的指令执行SQL任务、数据同步任务，也包括按数据API的定义提供数据服务。按使用场景，资源组分为两类：系统资源组：由数据资源平台提供，供所有用户使用，对于QPS和并发有限制，...
资源组说明
资源组分类 资源组是用于执行具体任务的服务，如接收调度引擎的指令执行SQL任务、数据同步任务，也包括按数据API的定义提供数据服务。按使用场景，资源组分为两类：系统资源组：由企业数据智能平台提供，供所有用户使用，对于QPS和并发有...
配置说明
mapreduce.map.java.opts 新版本集群${user_config}-javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr 旧版本集群${user_config}-javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-...
新建MaxCompute MR类型的公共节点
当算法脚本类型为Shell时，可通过新建MaxCompute MR类型的公共节点，使用上传算法包的方式处理MaxCompute类型的数据源。也支持通过写SQL语句方式创建MaxCompute MR类型的公共节点。本文介绍如何新建MaxCompute MR类型的公共节点。前提条件 ...
存储说明
sc.textfile("oss:/bucket/path")对于MR或Hive作业，HDFS命令可以直接操作OSS数据，示例如下。hadoop fs-ls oss:/bucket/path hadoop fs-cp hdfs:/bucket/path oss:/bucket/path 此过程中，您不需要输入AccessKey和Endpoint，E-MapReduce会...
新建MaxCompute MR类型的公共节点
当算法脚本类型为Shell时，可通过新建MaxCompute MR类型的公共节点，使用上传算法包的方式处理MaxCompute类型的数据源。也支持通过写SQL语句方式创建MaxCompute MR类型的公共节点。本文介绍如何新建MaxCompute MR类型的公共节点。前提条件 ...
创建和使用EMR资源
DataWorks支持可视化创建EMR（E-MapReduce）JAR、EMR（E-MapReduce）FILE资源，用于上传提交自定义函数或开源MR示例源码作为资源，便于EMR 计算节点的数据开发过程中引用。本文为您介绍如何创建资源，并上传提交资源，为资源的使用做好前期...
DataWorks on EMR集群配置最佳实践
DataWorks支持绑定EMR（E-MapReduce）的DataLake（新版数据湖）集群为EMR计算引擎，创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，帮助EMR用户更好地产出数据。本文为您介绍在DataWorks上...
概述
Flume最终会将数据落地到实时计算平台（例如Flink、Spark Streaming和Storm）、离线计算平台上（例如MR、Hive和Presto），也可仅落地到数据存储系统中（例如HDFS、OSS、Kafka和Elasticsearch），为后续分析数据和清洗数据做准备。...
系统设置
网络设置 启用网络通信：设置指令系统与授权主机之间的通信状态，启用网络通信服务。授权地址：设置网络通信后端服务地址。服务主机：设置网络通信后端服务主机。服务路径：网络通信后端服务路径。消息设置 启用消息通信：启动网络消息通信...
DescribeCall-查询单次通信详情
本接口用于查询单次通信详情。例如：您可以查询通讯状态、用户详情等信息。接口说明 使用说明 本接口用于查询单次通信详情。例如：您可以查询通讯状态、用户详情等信息。QPS 限制 本接口的单用户 QPS 限制为 5 次/秒。超过限制，API 调用会...
数据开发概述
编码研发用于构建计算任务，例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务；规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发，需已购买实时研发增值服务。详情请参见 开通Dataphin。功能介绍 规范建模：...
数据开发概述
编码研发用于构建计算任务，例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务；规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发，需已购买实时研发增值服务并且当前租户已开通实时研发模块。功能介绍 规范...
新建MAX_COMPUTE_MR任务
在数据 开发 页面，按照下图操作指引进入 新建MAX_COMPUTE_MR任务 对话框。编写并运行代码。在 新建MAX_COMPUTE_MR任务 对话框，配置参数。参数 描述 任务名称 填写离线计算任务的名称，例如MR。调度类型 选择任务的调度类型。调度类型 ...
新建MAX_COMPUTE_MR任务
在数据 开发 页面，按照下图操作指引进入 新建MAX_COMPUTE_MR任务 对话框。编写并运行代码。在 新建MAX_COMPUTE_MR任务 对话框，配置参数。参数 描述 任务名称 填写离线计算任务的名称，例如MR。调度类型 选择任务的调度类型。调度类型 ...
新建 Kafka 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Kafka 数据源。使用限制 数据传输仅支持 Kafka 数据源作为数据同步的目标端。背景信息 数据传输的安全问题，贯穿服务连通性验证、链路创建和数据传输...
DescribePubUserListBySubUser-订阅端获取通信中发布...
本接口用于根据订阅端获取通信中发布端用户列表。接口说明 使用说明 本接口用于根据订阅端获取通信中发布端用户列表。例如：您可以获取订阅端和发布端用户详情信息。QPS 限制 本接口的单用户 QPS 限制为 5 次/秒。超过限制，API 调用会被限...
文档修订记录
创建CDH Hive节点 创建CDH Spark节点 创建CDH MR节点 创建CDH Presto节点 创建CDH Impala节点 2024.2.6 更新功能 数据保护伞 数据保护伞新版系统配置页面发布上线。您可通过系统配置：设置数据保护伞的识别内容、识别范围。设置水印文件...
Hive访问Iceberg数据
Hive支持通过内表或外表的方式访问Iceberg数据。本文通过示例为您介绍如何使用EMR上的Hive访问EMR Iceberg数据。前提条件 已创建Hadoop集群，详情请参见 创建集群。说明 此文档仅适用于EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop...
调用方式
阿里云RTC数据服务的API调用是向数据服务端地址发送HTTP请求，并按照接口说明在请求中加入相应请求参数，调用后系统会返回处理结果。请求及返回结果都使用UTF-8字符集进行编码。服务地址 阿里云RTC数据服务的API接入地址为vdc....
创建Kafka数据源
常用于需要对通信进行严格控制和验证的应用场景，例如，金融交易或敏感数据的传输。开启SSL双向认证需 上传Ketystore证书 及 填写Ketystore证书密码 和 Ketystore私钥密码。Schema Registry Schema Registry为Confluent Kafka所支持功能，...
创建Kafka数据源
常用于需要对通信进行严格控制和验证的应用场景，例如，金融交易或敏感数据的传输。开启SSL双向认证需 上传Ketystore证书 及 填写Ketystore证书密码 和 Ketystore私钥密码。Schema Registry Schema Registry为Confluent Kafka所支持功能，...
开发ODPS MR任务
您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的数据。前提条件 上传并提交、发布使用的资源，详情请参见 创建并使用MaxCompute资源。创建ODPS MR节点，详情请参见 创建并管理...
开发ODPS MR任务
您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的数据。前提条件 上传并提交、发布使用的资源，详情请参见 创建并使用MaxCompute资源。创建ODPS MR节点，详情请参见 创建并管理...
名词解释
并发通信峰值 并发数的最小统计周期为1分钟，单日所有最小周期并发数的最大数，定义为日峰值，对实时数据，取当日00:00到当前时刻的最大并发数，为当前峰值。服务类型 针对不同的应用场景提供的差异化的服务。目前只提供通用服务。服务区域...
DataWorks on EMR快速入门
DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点，实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能，为用户提供一站式数据湖开发和治理的环境。本文为您介绍如何在DataWorks上快速使用EMR集群。...
扩展MapReduce（MR2）
MR2模型产生背景 传统的MapReduce模型要求在经过每一轮MapReduce操作后，得到的数据结果必须存储到分布式文件系统中（例如，HDFS或MaxCompute数据表）。MapReduce模型通常由多个MapReduce作业组成，每个作业执行完成后都需要将数据写入磁盘...
CreateRDSToClickhouseDb-创建同步任务
调用CreateRDSToClickhouseDb接口创建云数据库ClickHouse社区兼容版同步任务。接口说明 说明 该接口仅适用于云数据库 ClickHouse 的社区兼容版集群。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，...
自建SQL Server通过物理网关迁移上云
说明 若您的自建SQL Server数据库所在服务器无法连接公网，但有一台专门的堡垒机进行网络通信时，请参考其他迁移方案，请参见 自建SQL Server通过堡垒机架构的物理网关迁移上云。前提条件 源端自建SQL Server需要满足以下条件。源端自建...
- 产品推荐
- 这些文档可能帮助您