DeleteUserGroupsMapping-删除用户和组的映射关系
删除文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 文件系统目录和文件访问权限的信息，请参见文件...
文件系统版本发布记录
本文以发布时间为顺序，介绍了文件存储CPFS文件系统版本的更新动态。2023年 版本号 发布时间 描述 发布地域 2.3.4 2023年05月 开启通用型协议服务最低容量限制更新为3600 GiB，即创建CPFS文件系统就可使用通用型协议服务。创建/扩容文件...
基本概念
本文介绍了文件存储NAS相关基本概念，以便于您更好的理解和使用NAS。文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改...
DBA_JOBS
DBA_JOBS 视图提供数据库中的所有作业的相关信息。名称 类型 说明 job INTEGER 作业的标识符（作业 ID）。log_user TEXT 提交了作业的用户的名称。priv_user TEXT 与 log_user 相同。仅为了实现兼容性而提供。schema_user TEXT 用于分析...
USER_JOBS
USER_JOBS 视图提供当前用户拥有的所有作业的信息。名称 类型 说明 job INTEGER 作业的标识符（作业 ID）。log_user TEXT 提交了作业的用户的名称。priv_user TEXT 与 log_user 相同。仅为了实现兼容性而提供。schema_user TEXT 用于分析...
ALL_JOBS
ALL_JOBS 视图提供位于数据库中的所有作业的相关信息。名称 类型 说明 job INTEGER 作业的标识符（作业 ID）。log_user TEXT 提交了作业的用户的名称。priv_user TEXT 与 log_user 相同。仅为了实现兼容性而提供。schema_user TEXT 用于...
文件存储 HDFS 版（Apsara File Storage for HDFS）...
阿里云 文件存储 HDFS 版（Apsara File Storage for HDFS）已与阿里云ActionTrail集成，您可以在ActionTrail中查看和检索用户行为日志，同时通过ActrionTrail将日志投递到日志服务LogStore或指定的OSS Bucket中，满足实时审计、问题回溯...
Job型资源组的优先级队列
本文介绍设置 湖仓版（3.0）Job型资源组的作业优先级和查看优先级的方法。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群的内核版本为3.1.6.3及以上版本。已创建Job型资源组，且提交作业时选择在Job型资源组中运行。注意事项 暂不支持修改已...
实例事件通知
以 因系统维护实例重启（SystemMaintenance.Reboot）的事件为例，事件通知的JSON格式如下所示。首次发布运维事件，事件处于 已计划（Scheduled）状态。{"id":"2256A988-0B26-4E2B-820A-8A*E5","product":"ECS","resourceId":"acs:ecs:...
2023-08-21版本
CDAS功能支持了在对新增表等变更操作后，可以以有状态的方式重启作业并继续执行，这避免了重启带来的状态丢失与额外作业的管理成本。新增OceanBase连接器，可以将OceanBase数据库作为结果表和维表使用。OceanBase是阿里巴巴和蚂蚁集团100%...
通过云企业网实现跨账号跨地域挂载NAS
通过挂载点挂载文件系统 如果您要挂载NFS协议文件系统到Linux系统，请参见 Linux系统挂载NFS协议文件系统。如果您要挂载SMB协议文件系统到Windows系统，请参见 Windows系统挂载SMB协议文件系统。通过接入点挂载文件系统 该方式仅适用于通用...
漏洞公告|Apache Log4j2远程代码执行漏洞
restore.sh 20211213001755 说明 对于已经在运行的YARN作业（Application，例如，Spark Streaming或Flink作业），需要停止作业后，批量滚动重启YARN NodeManager。重启服务。Hive、HDFS、Presto、Impala、Druid、Flink、Solr、Ranger、...
Logview诊断实践
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
通过控制台提交作业
说明 OSS中的作业文件或作业文件压缩包，都会在作业执行前下载到以作业名命名的目录中，例如作业名为JobName，那么作业文件会被下载到/home/user/JobName目录下，压缩包会被下载并解压到/home/user/JobName目录下。编辑作业文件 单击 作业...
使用教程（宽表模型）
Flink 1.11或Flink 1.10版本：手动将作业引擎版本升级到 vvr-3.0.3-flink-1.12 或 vvr-4.0.7-flink-1.13 版本后重启作业，否则会在启动作业时超时报错。附加依赖文件：作业中需要使用到的附加依赖，例如临时函数等。步骤四：进行深度检查 ...
使用教程（时序模型）
本文以表格存储Tablestore中的宽表作为上游数据源为例介绍如何...Flink 1.11或Flink 1.10版本：手动将作业引擎版本升级到 vvr-3.0.3-flink-1.12 或 vvr-4.0.7-flink-1.13 版本后重启作业，否则会在启动作业时超时报错。附加依赖文件：作业中...
Task快速重启配置
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
日志实时入仓快速入门
说明 为了避免作业Failover后，作业重启将重复数据写入到Hologres中，您可以添加相关主键从而唯一地标识数据。当数据重发时，Hologres将会保证相同partition和offset的数据只会保留一份。通过INSERT INTO语句同步 考虑到Hologres中对于JSON...
JVM内存调优
而部分作业会向HDFS写入更多的文件，或者随着一段时间的积累HDFS保存的文件数不断增加。当文件数增加，DataNode上的Block数也会增加，而默认的内存空间无法存储相应的信息时，则需要修改内存大小的设置。建议：您可以在EMR控制台的HDFS服务...
Jupyter交互式作业开发
执行后，Jupyter Lab会根据新的配置项重启作业。重新启动Jupyter Lab。jupyter lab#启动DLA Livy Proxy。dlaproxy-vcname vcname-i akid-k aksec-region<regionid>%configure-f {"conf":{"spark.sql.hive.metastore.version":"dla","spark....
功能与优势
实时风控场景能力 企业级复杂事件处理（CEP）支持作业无需重启动态可配置规则，实现在线实时风控等场景的不间断生产级能力。应用于实时营销、实时风控、安全态势感知等领域，提升开发效率和大规模数据处理能力，同时保证业务连续性。上下游...
管理运行任务
该运行任务执行时，通过Call-Caching的机制，对于之前失败运行任务中，已经完成、并且恢复后没有更改参数的计算作业，会跳过执行直接复用结果文件。从而实现了对中断作业恢复继续执行的效果，方便开发调试，同时也节省了费用。注意 删除...
操作手册
B)提交渲染任务 选择目的集群和场景所在的 OSS 路径前缀后进入提交的详细页面，选中场景文件的上一级目录，可以被提交渲染的场景文件则会被列出，勾选想要渲染的文件，选择配置的渲染软件和起止帧，即可提交渲染作业。可指定节点数量，如果...
常见问题
通过flink run命令运行作业时，作业的参数没有生效 在通过命令行命令运行Flink作业时，Flink作业的参数需要放在Flink作业JAR包的后面，例如 flink run-d-t yarn-per-job test.jar arg1 arg2。报错Multiple factories for identifier '.' ...
数据开发常见问题
解决方案：建议不要使用Shell类型作业开发Hive、Spark或Sqoop等作业，尽可能使用原生作业类型（例如，Hive、Spark或Sqoop等类型）进行开发，这些作业类型存在一定的关联机制，可以确保作业驱动程序本身和YARN Application状态的一致性。...
Hive作业异常排查及处理
本文介绍Hive作业异常的排查方法和解决...解决方法：您可以在EMR控制台YARN服务的 配置 页签，搜索 mapreduce.job.counters.max 参数，调大该参数值，修改完后重新提交Hive作业，如果使用Beeline或者JDBC提交作业，需要重启HiveServer服务。
系统检查点或作业快照
需要配置 state.backend.gemini.engine.type:STREAMING 后重启作业才能生效。参数配置方法请参见 如何配置作业运行参数？报错：No space left on device 报错详情 在作业运行过程中，出现类似以下异常。java.io.IOException:No space left ...
基本概念
作业 作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等。调度器 调度器指集群上调度作业的软件。域账号 E-HPC支持创建NIS和LDAP两种域账号服务。NIS：网络信息服务（Network Information Service），是一...
YARN资源配置
组件名 配置文件 配置项 生效范围 备注 ResourceManager yarn-env.sh YARN_RESOURCEMANAGER_HEAPSIZE 集群 最小1024，如果小作业较多则需要继续调大该参数值，调整后需要重启ResourceManager组件生效。NodeManager yarn-env.sh YARN_...
CDC问题
作业重启时，MySQL CDC源表会从作业停止时的位置消费，还是从作业配置的位置重新消费？MySQL CDC源表如何工作，会对数据库造成什么影响？如何跳过Snapshot阶段，只从变更数据开始读取？如何读取一个分库分表的MySQL数据库？多个CDC作业导致...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
上下游存储
在作业的 附加依赖文件 中，上传将要使用到的所有文件（证书、公钥或私钥）。上传后文件会被存储在/flink/usrlib目录下。如何在附加依赖文件中上传文件，详情请参见 部署作业。重要 如果您的Kafka Broker上的用户名和密码的认证机制为SASL_...
设置集群身份映射
附录：添加DataWorks白名单 如果EMR启用了Ranger，则使用DataWorks进行EMR作业开发前，您需要在EMR中添加白名单并重启Hive，否则作业运行时会报错 Cannot modify spark.yarn.queue at runtime 或 Cannot modify SKYNET_BIZDATE at runtime...
自定义资源组
如何处理自定义资源组下任务执行OOM，无法分配内存给作业线程的情况？如何处理数据集成自定义资源组DataX组件log4j问题？如何安装监控？如果使用自定义调度资源组出现问题，需要首先确认Agent是否安装监控。操作如下所示：登录机器，切换至...
数据导入常见问题
Flink如何自动重启失败的Task？如何手动停止Flink job，并且恢复Flink job至停止前的状态？Flink Connector 使用事务接口的exactly-once时，导入失败，该如何解决？flink-connector-jdbc_2.11 Sink到StarRocks时间落后8小时，该如何处理？...
SmartData数据读取异常修复公告
缺陷修复方案 由于历史版本缓存损坏问题是由于Storage Service的小文件合并（compaction）流程的缺陷导致，通过修改compaction配置关闭该优化路径并重启SmartData服务，即可避免该问题的产生。如果已发生该问题，优先关闭缓存开关及时止损...
安全白皮书
数据恢复 手动创建作业快照：如果您需要在某个特定时间（作业运行时或者停止时）手动创建一个作业快照，并希望从该快照恢复作业，则可以手动创建作业快照。可用于数据恢复、快速部署业务或数据验证等场景。配置定时自动创建作业快照：如果...
小文件优化及作业诊断常见问题
本文为您介绍小文件优化以及作业诊断时的常见问题。问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件？如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的...
文件存储CPFS（NFS协议）备份
您可以使用 云备份 备份文件存储CPFS（NFS协议）的数据，并在数据丢失或损坏时及时恢复。...其他方式备份NAS 使用ECS文件备份形式备份NFS NAS文件 使用ECS文件备份形式备份SMB NAS文件 本地备份NFS NAS文件 本地备份SMB NAS文件
监控指标说明
作业出错重启次数，不包含JM Failover次数。查看作业可用性，协助您查看作业状态。次数 不涉及 currentEmitEventTimeLag 业务延时。该延时较大时，说明作业可能在拉取数据或者处理数据上存在延时。毫秒（ms）Kafka RocketMQ SLS DataHub ...
- 产品推荐
- 这些文档可能帮助您