开源代码参考
如下为开源代码库。每个库中，都有完整的配置使用、开发说明，请参考：库名 说明 链接 java-spring-oidc-sample 应用参照 OIDC 协议（授权码模式）实现 SSO 的样例，最常用的接入方法，也即 IDaaS 中自研应用接入方法。...
IDaaS“开发友好”设计
功能二：代码开源 IDaaS 提供了一系列针对 SSO 接入、OIDC 设备流对接、账户同步接入等场景的样本代码，以便于开发者下载、查看、复用，详情请查看：开源代码参考。功能三：SDK 与样例代码 针对不同场景，IDaaS 提供管理说明文档、开发说明...
代码源触发
代码源触发 本文介绍如何配置流水线代码源触发，以及代码源触发事件和过滤条件。配置代码源触发 开启代码源触发，配置 WebHook 后，在相应的代码地址和分支上提交代码后就可以触发流水线的运行了。云效 Codeup 开启代码源触发 在 Flow 流水...
开源支持
Mars已经在Github上开源代码，您可以一起参与共建Mars。详情请参见GitHub开源代码 Mars。关于Mars的更多说明信息请参见 Mars开发指南。服务支持方式：在Github Mars 中留言或新建Issue。Data collector MaxCompute数据集成工具插件，包括...
如何查看当前分支代码总行数
基于开源的脚本CLOC可以方便的计算当前分支的代码行数，帮助管理者衡量仓库开发情况。http://cloc.sourceforge.net/ 结合流水线 Flow 的能力，让行数计算变得非常简单。创建流水线 通过仓库-流水线页面可以方便的创建基于当前仓库的流水线...
新建FLINK_SQL任务
本文为您介绍基于开源Flink实时引擎如何创建FLINK_SQL任务。前提条件 在开始执行操作前，请确认项目已开启 实时引擎 并已配置 Flink 为计算源。具体操作，请参见 创建通用项目。权限说明 仅支持 超级管理员、项目管理员 和 开发者 创建...
最佳实践概述
在完整的CI/CD流水线中，您可以通过修改代码自动触发CI构建，并将镜像推送到 容器镜像服务ACR，然后触发ACK One GitOps将应用持续部署到各个集群。本文通过示例介绍完整流程中ACK One GitOps最佳实践的相关概念和流程。相关概念 展开查看...
云效自建测试自动化最佳实践
注意：该步骤需要放在redline检查之前，同时建议传递的信息包括：测试结果、代码分支、代码版本、提交者、流水线名字等。sh-ex$WORK_SPACE/user_command.sh bash-c"$STEP_COMMAND"output=`python3/root/parse_output.py$OUTPUT_XML` STEP_...
合作伙伴及开源生态
技术合作伙伴 开源技术社区 开源项目布局 2018 年 4 月，蚂蚁集团宣布开源 SOFAStack 金融级分布式架构。得益于社区的信任和支持，目前已经累积超过 2.5 万的 Star 数和超过 100 家企业用户，并持续朝打造金融级云原生多个技术领域的标杆...
Iceberg概述
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
功能与优势
代码调试 测试数据管理：支持线上采样和模拟测试数据管理，方便构建测试流程。程序员、甚至是数据分析师都可以完成调试和上线的动作，大幅减少调试测试成本，提高作业上线速度和质量。快速运行调试：基于Session集群实现作业秒级启停，大幅...
支持的检测规则
Golang安全检测 基于 gosec 静态分析 Go 代码，检测和识别潜在的安全漏洞和问题，并提供实时反馈和建议，帮助开发人员在上线前及时发现问题并解决。Python开发规范 Python 分析 Python 代码中的错误，查找不符合代码风格标准、有潜在问题的...
导出开源引擎任务
DataWorks提供任务搬站功能，支持将Oozie、Azkaban、Airflow、DolphinScheduler等开源调度引擎的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。背景信息 您需要先导出开源调度引擎的任务至本地或OSS，再导入至...
快速使用EMR on ACK
kubectl apply-f spark-pi.yaml-namespace<集群对应的namespace>本文示例代码中的<集群对应的namespace>，需要替换为集群的命名空间，您可以登录E-MapReduce on ACK控制台，在 集群详情 页面查看。返回如下信息。sparkapplication....
ListInstanceTypes-获取实例类型列表
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 RegionId string 是 地域 ID。cn-hangzhou ClusterId string 否 集群 ID。c-b933c5aac8fe*ZoneId ...
开源MQTT迁移至云消息队列 MQTT 版
本文为您介绍如何将开源MQTT客户端从其他开源MQTT服务端迁移至阿里云的 云消息队列 MQTT 版 服务端上。背景信息 云消息队列 MQTT 版 拥有多协议、多语言平台的开发能力，并支持设备级权限控制以及SSL/TLS传输加密，您可以不变更开源客户端...
版本特性
开源核心版本：Nacos引擎的开源版本，会随着开源版本一起更新。MSE优化版本：MSE基于开源核心版本进行优化后，提供的能力更强并且可以实现快速迭代的版本。版本类型 开源核心版本 MSE优化版本 描述 专业版/开发版 2.2.3 2.2.3.1 默认关闭...
产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
Spark批式读写Iceberg
由于EMR集群的Iceberg软件包与开源依赖包存在一定差异，例如EMR Iceberg默认集成了DLF Catalog，所以建议您在本地使用provided方式引入开源Iceberg依赖进行代码编译，打包放到集群上运行时使用集群环境中的依赖。配置Catalog。使用Spark ...
产品优势
您基于开源框架编写的算法代码或模型代码，几乎无需进行修改。AI分布式训练通信优化库AIACC-ACSpeed AIACC-ACSpeed（AIACC 2.0-AIACC Communication Speeding）作为阿里云自研的AI训练加速器，专注于分布式训练场景的通信优化功能，在训练...
数据同步概述
实时数仓Hologres是一款兼容PostgreSQL 11协议的实时数仓，与大数据生态无缝连接，支持高并发地实时写入，数据写入即可查，同时也支持离线数据的加速查询、实时数据和离线数据联邦分析，助力快速搭建企业级实时数仓。Hologres数据同步说明 ...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
通义千问开源系列 大语言模型
预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。通义千问的开源模型均可在ModelScope上直接获取，灵积平台为这些开源模型的对齐版本提供了可直接使用的API服务，包括qwen-1.8b-chat，qwen-7b-chat，qwen-14b-chat和...
性能测试
只有小部分查询耗时与开源GeoMesa（HBase）和云数据库MongoDB分片集群相同，测试结果如下：总结 从测试过程和结果来看，Lindorm Ganos引擎相比于开源GeoMesa（HBase）和云数据库MongoDB分片集群具有以下优势：使用简单，通过SQL语句方便...
微服务引擎的线上流量治理
使用微服务引擎的线上流量治理，可以快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等。通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告...
授权信息
开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls，支持的授权粒度为 OPERATION。权限策略通用结构 权限策略支持JSON格式，其通用结构如下：{"Version":"1","Statement":[{...
产品优势
优势 说明 开箱即用 100%兼容开源社区产品Nacos、ZooKeeper和Eureka，业务代码无需任何改造，修改集群注册中心地址后，可快速使用。注册配置中心全托管 提供全托管集群，您无需关注引擎的资源购买、监控、运维和容灾问题，只需专注于业务...
大语言模型
模型简介 Qwen1.5 Qwen1.5是Qwen开源系列的下一个版本。与之前的版本相比，Qwen1.5显著提升了聊天模型与人类偏好的一致性，改善了它们的多语言能力，并具备了强大的链接外部系统能力。灵积上提供API服务的是新版本qwen模型的chat版本，在...
三方开源大语言模型
本文主要介绍阿里云百炼平台引入上架的三方开源大语言模型基本信息，计费情况等调用必备基础信息。基本信息 重要 三方开源大模型API调用需申请后开通体验，请点击“立即申请”，申请通过后才能调用。模型服务 模型名称 模型描述 特征 Llama...
什么是EMR Notebook
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
什么是图计算服务
源于开源，胜于开源 支持开源Gremlin语法，重点算子性能优化，让计算效率更高。海量数据，灵活扩展 分布式集群架构可弹性运维，分钟级快速扩展服务和数据存储能力。大数据生态，深度对接 对接完整的阿里云大数据及AI产品生态，提供基于...
EMR-3.28.x版本说明
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
选型配置说明
集群类型 场景介绍 核心组件 DataLake 云原生数据湖场景，提供Hive和Spark计算引擎，适用于数据湖场景和离线数据分析等情况，支持多种数据湖格式如DeltaLake、Hudi和Iceberg。HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
免费体验Lindorm宽表性能&价格力
背景 云原生多模数据库Lindorm面向海量泛时序数据、半结构化数据和非结构化数据提供低成本存储、在线查询和检索、离线分析、AI 推理等一站式数据服务，支持MySQL协议，兼容HBase、Elasticsearch、Hive、Spark、HDFS 等开源标准。...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
迁移场景
开源软件：开源软件指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息，请...
Flink（VVR）作业配置
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
- 产品推荐
- 这些文档可能帮助您