东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
导出开源引擎任务
Python节点：DataWorks没有单独的Python节点，Python节点目前是转换为Python文件资源和一个调用该Python资源的Shell节点，调度参数传递可能存在问题，您需自行调试检查。调度参数介绍，详情请参见 调度参数配置。Depend节点：暂不支持转换...
连接方式概述
在 OceanBase 数据库的 MySQL 模式下，用户可以使用 PyMySQL 驱动为 Python 提供与 OceanBase 数据库的连接。Python 2.x 可以通过驱动 MySQL-python 连接 OceanBase 数据库。使用 Python 驱动连接 OceanBase 数据库的具体操作示例请参见 ...
TensorFlow常见问题
本文为您介绍TensorFlow的相关问题。如何开通深度学习功能？如何支持多Python文件引用？如何上传数据到OSS？如何读取OSS数据？如何为OSS写入数据？为什么运行过程中出现OOM？TensorFlow有哪些案例？如何查看TensorFlow相关日志？配置两个...
作业配置说明
例如：通过JDBC连接串设置Spark的Shuffle默认分区数为2，Executor使用的内存量为8 GB。jdbc:hive2:/${host}:${port}/;token=${token};spark.executor.memory=8g;spark.sql.shuffle.partitions=2 JAR 通过Lindorm控制台提交JAR作业可以根据...
Python脚本
Designer 提供自定义Python脚本的功能，您可以使用Python脚本组件自定义安装依赖包及运行自定义的Python函数。本文为您介绍Python脚本组件的配置方法及使用示例。背景信息 Python脚本 组件位于 Designer 组件的 自定义算法组件 文件夹下。...
使用Python开发自定义Processor
您可以使用Python开发自定义Processor文件，结合模型文件在本地调试后分别上传至OSS，在部署服务时挂载使用。本文为您介绍使用Python开发自定义Processor的详细步骤。背景信息 说明 建议将模型文件和Processor的实现分开，这样在将来需要...
UDF示例：获取URL中指定位置的字符
本文为您介绍如何分别通过Java UDF和Python UDF实现获取URL中指定位置的字符。命令说明 本示例将注册一个名称为 UDF_GET_URL_CHAR 的自定义函数，下面对命令格式和入参进行说明。string UDF_GET_URL_CHAR(string,bigint)函数功能：该函数...
5分钟使用EAS一键部署ChatGLM及LangChain应用
每次推理用户的输入会首先在本地知识库中查找与输入问题相近的答案，并将知识库答案与用户输入一起输入大模型生成基于本地知识库的定制答案。设置方法：在WebUI页面上方Tab页选择 LangChain。在WebUI页面左下角，按照界面操作指引拉取...
访问增强版HBase数据
云原生多模数据库 Lindorm 支持通过Lindorm计算引擎访问云数据库HBase增强版集群中的数据。前提条件 已开通Lindorm计算引擎。如何开通，请参见 开通与变配。已阅读并了解通过Lindorm计算引擎访问数据时的使用须知。详细内容，请参见 使用...
基本概念
本文介绍 云原生多模数据库 Lindorm 帮助文档中的相关名词和术语的解释。A 安全组 安全组是一种虚拟防火墙，用于控制安全组中的ECS实例的出入流量。在Lindorm实例的白名单中添加安全组后，该安全组中的ECS实例就可以访问Lindorm实例。更多...
线性规划-专题多篇
数学规划求解-线性规划 我们有提供6个案例讲解线性规划（LP）的概念和应用场景，讲解遇到不同问题时，如何分析问题，建模，然后调用优化求解器求解，再利用求解器的结果去解决问题。并提供了10+源代码供参考。以下会给出两种代码参考入口：...
常见问题
本文为您介绍自定义Processor的相关问题。自定义Processor压缩包太大，如何提高上传效率？开发Processor过程中，已经安装的Python包，为什么上线之后无法找到？EAS线上运行过程中，为什么无法找到ENV环境的某些系统依赖库？如何解决导入cv2...
自定义Spark镜像
您可以通过 AnalyticDB for MySQL Spark提供的自定义镜像服务解决上述问题，将 AnalyticDB for MySQL Spark作业执行的默认镜像修改为您定制的环境镜像。前提条件 已经创建ECS实例，用于自定义镜像，本示例的ECS操作系统为Alibaba Cloud ...
使用自定义函数及Python第三方库
说明 由于字节码定义的差异，Python 3下使用新语言特性（例如 yield from）时，代码在使用Python 2.7的MaxCompute Worker上执行时会发生错误。因此，建议您在Python 3下使用MapReduce API编写生产作业前，先确认相关代码是否能正常执行。...
实例内第三方软件安装与配置问题
本章节汇总了云服务器ECS实例内第三方软件安装与配置的常见问题及处理方法。Linux系统软件源配置问题 说明 进入 阿里云官方镜像站，找到所需的Linux系统，查看对应的源配置说明。您可以 通过脚本文件自动更新Linux实例中的软件源。CentOS 6...
镜像管理
内置镜像说明 功能分类 镜像名称 内置三方包及版本信息 编程语言及版本 说明 科学计算 numpy numpy 1.21.6 Python 3.7 数值计算 scipy scipy 1.7.3 Python 3.7 科学计算 数据分析 pandas pandas 1.3.5 Python 3.7 数据处理与分析 统计建模 ...
Python内置资源包
在开发Python计算任务时，通常需要根据业务场景安装如下资源包。以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin...
Python内置资源包
在开发Python计算任务时，通常需要根据业务场景安装如下资源包。以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin...
在SAE控制台使用镜像部署Python应用
配置项 说明 技术栈语言 选择 Python。应用部署方式 选择 镜像。配置镜像 指定部署应用的镜像文件。我的阿里云镜像：选择您的阿里云账号下的且已上传至阿里云容器镜像服务的镜像文件及其版本。镜像服务个人版：通过 镜像仓库命名空间 下拉...
性能测试工具-图形工具
AHBench-jenkins是由阿里云Lindorm...常见问题 如果测试中遇到错误退出，请检查如下事项：Java和Python是否安装，版本是否正确。被测实例地址以及必填配置是否填写正确。被测实例是否支持测试所指定的压缩算法。被测实例状态是否正常服务。
SPARK
引用资源中心的文件提交Spark任务 如果您需要引用资源中心的文件提交Spark任务，可参考以下参数配置：程序类型：请选择与您的Spark作业所采用的编程语言相对应的选项。例如，Scala、Python或Java。主函数的Class：Spark程序的入口Main ...
PySpark Python环境介绍
Spark版本与Python版本对应关系 EMR版本 Spark版本 Python版本 Python路径 EMR-3.46.0及后续版本、EMR-5.12.0及后续版本 Spark2 python3.6/bin/python3.6 Spark3 python3.8/bin/python3.8 EMR-3.43.0~EMR-3.45.1版本、EMR-5.9.0~EMR-5.11.1...
Python Flask应用程序安装SSL证书
本文介绍在Python Flask本地开发服务器配置SSL证书的具体步骤，包括下载和上传证书文件，在Flask run配置证书文件和证书密钥，以及安装证书后结果的验证。成功配置SSL证书后，您将能够通过HTTPS加密通道安全访问Flask应用。重要 本文以...
运维助手
常用的第三方包，例如：Aliyun-python-sdk-core：阿里云提供的Python SDK的核心库，是与阿里云的云服务进行交互时使用的基础库，提供了基本的API调用和认证功能。NumPy：提供了高性能的多维数组和数值计算功能，是进行科学计算和数据分析的...
AliOS Things 概述
HaaS100：支持MTD驱动子系统、修复SPI初始化失败等问题 vfs：修复多任务并发访问设备节点的互斥问题 netmgr：支持AP功能、完善连接失败的重试机制、修复上电无法自动重连问题等 cli：修复命令回显没有发送至云端问题 文档：优化贡献代码...
安装及管理Python三方包
本文将为您介绍如何管理Python三方包和安装Python Module。权限说明 仅支持 超级管理员、系统管理员 安装、升级、删除Python三方包。Python Module入口 在Dataphin首页，单击顶部菜单栏 管理中心。按照下图操作指引，进入Python Module页面...
安装及管理Python三方包
本文将为您介绍如何管理Python三方包和安装Python Module。权限说明 仅支持 超级管理员、系统管理员 安装、升级、删除Python三方包。Python Module入口 在Dataphin首页，单击顶部菜单栏 管理中心。按照下图操作指引，进入Python Module页面...
Lindorm for Cassandra应用实践
本文介绍如何通过 云原生多模数据库 Lindorm 扩展云数据库Cassandra的性能。云原生多模数据库 Lindorm 简介 云原生多模数据库 Lindorm 是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，...
Python接口文档
PAI-Blade提供Python接口供您调用，从而将优化模型集成在工作流中。本文介绍这些Python接口的详细信息，包括签名格式、输入参数及返回结果。optimize PAI-Blade主要使用optimize接口进行模型优化，接口详情如下：签名格式 def optimize...
云原生多模数据库Lindorm助力蚂蚁链IoT数据降本
本文介绍 云原生多模数据库 Lindorm 如何助力蚂蚁链IoT实现数据降本。客户感言 综合对比了多种存储方案，Lindorm是最适合的选择。Lindorm的自动冷热分离、数据压缩功能完美契合了我们需求，同时，工具链比较成熟，能够平滑完成数据迁移。在...
产品架构
本文介绍 云原生多模数据库 Lindorm 的产品架构，包括业务背景和总体结构。业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化...
通过DataX导入Prometheus数据
Quick Start 步骤一：环境准备 Linux JDK（1.8 以上，推荐 1.8）Python（推荐 Python 2.6.x）Prometheus（目前只支持兼容 2.9.x，其他版本暂不保证兼容）Lindorm时序引擎（目前只支持兼容 2.4.x 及以上版本，其他版本暂不保证兼容）步骤二...
性能测试工具-Shell
HBASE_VERSION=2 配置测试相关参数（可选）在AHBench/conf/ahbench-settings.properties路径下配置测试相关的参数，如压缩、编码、线程数、数据量、字段大小等，默认不需要修改，如有需求可根据场景进行定制修改。说明 部分参数仅在特定...
SDK参考概述
由SDK自身产生的、与平台及语言相关的错误，如内存溢出等。更多信息，请参见 错误处理。在使用日志服务SDK过程中，您可能遇到日志采集、索引、查询和分析、加工等各类报错，您可以参考日志服务常见问题进行处理。更多信息，请参见 常见问题...
云原生多模数据库 Lindorm助力数禾科技业务系统实现...
服务银行、信托、消费金融公司、保险、小贷公司等持牌金融机构，业务涵盖消费信贷、小微企业信贷、场景分期、财富管理等多个领域，提供营销获客、风险防控、运营管理等服务数禾科技通过自主开发的智能金融产品，连接金融机构与普罗大众，...
功能特性
数据库管理 功能集 功能 功能描述 参考文档 实例管理 创建与释放实例 支持通过Lindorm管理控制台创建和释放Lindorm实例。创建实例 释放实例 管理存储空间 管理存储空间是数据库管理的一部分，涉及到如何规划、分配、配置、监控、维护和扩展...
配置Lindorm Spark节点
任务编排的Lindorm Spark节点可以通过Lindorm计算引擎高效地完成分布式计算任务，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求，同时可以方便地读取Lindorm宽表引擎数据，与OSS上的数据进行联合分析。前提条件 您...
Python应用构建并部署K8s
使用Python进行开发 2.使用容器镜像的制品形式进行交付 3.制品最终会运行在阿里云ACK或者其他K8s集群上 那么本文档可以帮助您实现研发流程的协同自动化。二、用户诉求 一般来说，使用K8s部署场景如下：1.对源代码进行一定的质量检测，比如...
UpdateFunction-更新函数
目前支持 nodejs20、nodejs18、nodejs16、nodejs14、nodejs12、nodejs10、nodejs8、nodejs6、nodejs4.4、python3.10、python3.9、python3、python2.7、java11、java8、go1、php7.2、dotnetcore3.1、dotnetcore2.1、custom.debian10、custom...
- 产品推荐
- 这些文档可能帮助您