通过迁移评估采集器采集数据库对象
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
快速入门
createFunction('service_name',array('functionName'=>"function_name",'handler'=>'index.handler','initializer'=>'index.initializer','runtime'=>'php7.2','memorySize'=>128,'code'=>array('zipFile'=>base64_encode(file_get_...
2018年功能发布记录
本文介绍 函数计算 2018年度发布的功能变更以及对应的文档动态。2018年12月 功能名称 变更类型 功能描述 相关文档 表格存储触发器 新增 函数计算推出表格存储触发器，通过表格存储触发器，当您的表格变更时会实时触发函数计算对数据进行...
2022年
行转列及列转行最佳实践 2022-03-18 支持开源格式数据 更新说明 补充PARQUET属性：parquet.file.cache.size parquet.io.buffer.size 创建OSS外部表 2022-03-18 复杂类型函数 更新说明 补充GET_JSON_OBJECT、JSON_TUPLE示例。复杂类型函数 ...
加工数据
user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的数据，完成数仓简单数据加工场景。前提条件 开始本实验前...
快速预览
说明 在 维表 页签中配设置的测试数据，如果是res_rds_mysql、res_log_logstore_pull资源函数对应的数据样例必须为CSV格式，如果是res_oss_file、res_local资源函数对应的数据样例可以为CSV格式，也可以为JSON格式。样例：包含2条测试数据...
通过函数计算节点实现GitHub实时数据分析与结果发送
endpoint,bucket_name)file_name=file_path for obj in oss2.ObjectIteratorV2(bucket,prefix=file_path):if not obj.key.endswith('/'):file_name=obj.key csv_file=bucket.get_object(file_name)logger=logging.getLogger()logger.info('...
加工数据
user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的数据，完成数仓简单数据加工场景。前提条件 开始本实验前...
基于GitHub公开事件数据集的离线实时一体化实践
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
系统信息函数和运算符
本文介绍了 PolarDB PostgreSQL版（兼容Oracle）支持的系统信息函数和运算符。会话信息函数表展示了多个可以抽取会话和系统信息的函数。除了本节列出的函数，还有一些与统计系统相关的函数也提供系统信息。会话信息函数 current_catalog→...
基础集成
具体技术操作如下：SDK预初始化接口 在Applicaiton.onCreate函数中调用预初始化函数QtConfigure.preInit()，预初始化函数不会采集设备信息，也不会向Quick Tracking后台上报数据。SDK预初始化函数/preInit预初始化函数耗时极少，不会影响...
配置EventBridge类别的OSS触发器
如果您需要为OSS触发器设置多个文件前缀和文件后缀，或者希望在一个OSS Bucket中关联10个以上的触发器，您可以创建EventBridge类别的OSS触发器，以便轻松应对文件上传等事件。注意事项 EventBridge类别的OSS触发器与 原生OSS触发器 不同，...
配置EventBridge类别的OSS触发器
如果您需要为OSS触发器设置多个文件前缀和文件后缀，或者希望在一个OSS Bucket中关联10个以上的触发器，您可以创建EventBridge类别的OSS触发器，以便轻松应对文件上传等事件。注意事项 EventBridge类别的OSS触发器与 原生OSS触发器 不同，...
系统管理函数
这一节描述的函数被用来控制和监视一个本数据库安装。配置设定函数 下表展示了那些可以用于查询以及修改运行时配置参数的函数。配置设定函数 current_setting(setting_name text[,missing_ok boolean])→text 返回设置的 setting_name 的...
多目标Logstore数据分发
加工规则 本案例中，您可以使用 ua_parse_os 函数解析 user_agent 字段，使用 dct_get 函数获取请求头中的操作系统信息，再使用 e_set 函数新增一个字段 os，值为操作系统信息，然后使用e_output函数和条件函数进行动态分发。e_set("os",...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
支持Oracle兼容的字符串函数、数字函数、二进制函数、正则函数、采样函数、聚合函数 PolarDB PostgreSQL版（兼容Oracle）2.0版本 支持 to_date/add_month 等一系列时间类型内置的函数；支持 instr/lpad/rpad 等一系列字符串内置函数；支持 ...
案例：搭建以图搜图系统
本文将介绍如何通过 AnalyticDB PostgreSQL版 向量数据库快速搭建一套以图搜图系统。背景信息 以图搜图在生活中有着广泛的应用，当您想拥有在电视中看到的一件美丽裙子或者帅气球鞋时，可以拍张照片，然后打开淘宝上传照片，就可以快速地...
Custom Runtime支持Loggie Agent日志扩展
Loggie是一个基于Golang的轻量级、高性能的云原生日志采集Agent。您可以在自定义运行时的函数中使用Loggie Agent从文件中采集日志，然后上传到 日志服务SLS 进行日志的存储和自定义分析。前提条件 函数计算：创建服务。日志服务SLS：创建...
Custom Runtime支持Loggie Agent日志扩展
Loggie是一个基于Golang的轻量级、高性能的云原生日志采集Agent。您可以在自定义运行时的函数中使用Loggie Agent从文件中采集日志，然后上传到日志服务SLS进行日志的存储和自定义分析。前提条件 已创建日志项目和日志库。具体操作，请参见 ...
配置原生OSS触发器
您可以在 函数计算 控制台创建并配置原生OSS触发器，当在OSS上发生特定事件时会自动触发函数执行。这可以让您轻松响应如文件上传等事件，无需在代码中增加监听事件逻辑即可快速实现完整的流程。示例场景 您可以配置一个OSS触发器，并将其...
配置原生OSS触发器
您可以在 函数计算 控制台创建并配置原生OSS触发器，当在OSS上发生特定事件时会自动触发函数执行。这可以让您轻松响应如文件上传等事件，无需在代码中增加监听事件逻辑即可快速实现完整的流程。示例场景 您可以配置一个OSS触发器，并将其...
构建基于Serverless架构的弹性高可用音视频处理系统
在音视频系统中，音视频转码是比较消耗计算力的一个子系统，您可以通过 函数计算 和 Serverless 工作流 构建弹性高可用的Serverless音视频处理系统。本文会从工程效率、运维、性能和成本方面介绍Serverless音视频处理系统和传统方案的差异...
查询和分析网站日志
使用_time_-_time_%300 将时间对齐到5分钟并根据时间进行分组，然后使用 count函数 计算每5分钟的请求次数并根据时间进行排序。SELECT request_method,count(*)as count,_time_-_time_%300 as time GROUP BY time,request_method ORDER BY ...
数据预处理函数
为了方便对样本数据进行分析和处理，对数据进行平滑、滤波等预处理操作。函数 说明 滑动平均函数 针对输入的时序曲线进行滤波，从而发现时序曲线形态。物联网设备数据采集的原始数据中，大都含有各种各样的噪声影响。通过滑动平均函数，...
使用函数计算实现自动解压上传到OSS的ZIP文件
目前 对象存储 不支持解压上传的ZIP的文件，您可以通过使用 函数计算 服务来配合实现。当匹配解压规则的ZIP文件上传到 对象存储 后，会自动触发 函数计算 进行解压。文件解压完成后，会存储至 对象存储 的指定目录中。注意事项 建议使用UTF...
GET_JSON_OBJECT
您可以通过 get_json_object，结合UDTF，轻松转换JSON格式日志数据，避免多次调用函数，详情请参见 利用MaxCompute内建函数及UDTF转换JSON格式日志数据。参数说明 json：必填。STRING类型。标准的JSON格式对象，格式为 {Key:Value,Key:...
自定义算子管理
{}} file_tag["header"]["data_type"]=DataTypeEnum.camera_img.name file_tag["height"]=height file_tag["width"]=width file_tag["format"]='JPEG'#待保存文件描述信息 content=FileContent()content.file_tag=file_tag content.file_...
UDF开发（Python2）
from odps.udf import annotate from odps.distcache import get_cache_file@annotate('bigint->string')class DistCacheExample(object):def_init_(self):cache_file=get_cache_file('test_distcache.txt')kv={} for line in cache_file:...
Python 3 UDTF
说明 在编写UDTF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明@annotate('bigint,boolean->...
Python 2 UDTF
说明 在编写UDTF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明@annotate('bigint,boolean->...
2021年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2021年12...
从OSS获取数据出错
加工规则样例#假设正确目录是test e_set("oss_file",res_oss_file(endpoint,ak_id=res_local("AK_ID"),ak_key=res_local("AK_KEY"),bucket,'data/test.txt',format='text',change_detect_interval=20))#此格式在test中不存在 e_set("oss_...
2021年
新功能 MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。MaxCompute湖仓一体概述 2021年2...
UDF开发（Python3）
MaxCompute当前支持利用Python 3语言来开发自定义函数（UDF），以满足特定的业务逻辑需求。本文为您介绍如何通过Python 3语言编写UDF。UDF代码结构 您可以通过 MaxCompute Studio 工具使用Python 3语言编写UDF代码，代码中需要包含如下信息...
Python 3 UDAF
说明 在编写UDAF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法函数签名示例如下。函数签名示例 说明@annotate('bigint,double->...
Python 2 UDAF
说明 在编写UDAF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法函数签名示例如下。函数签名示例 说明@annotate('bigint,double->...
UDF示例：引用文件资源
from odps.udf import annotate from odps.distcache import get_cache_file@annotate('bigint->string')class DistCacheExample(object):def_init_(self):cache_file=get_cache_file('test_distcache.txt')kv={} for line in cache_file:...
PyODPS节点实现结巴中文分词
本文为您介绍如何使用DataWorks的PyODPS类型节点，结合开源结巴中文分词库，对数据表中的中文字段进行分词处理并写入新的数据表，以及如何通过闭包函数使用自定义词典进行分词。前提条件 已创建DataWorks工作空间并绑定了MaxCompute计算...
函数实例生命周期
函数计算 基于实例生命周期增加多种回调操作，有效解决传统应用迁移至Serverless架构时遇到的指标数据延迟或丢失等痛点。本文介绍 函数计算 的运行时扩展功能原理、如何配置PreFreeze和PreStop回调函数及回调函数日志查询。背景信息 传统...
使用PyODPS节点进行结巴中文分词
True,'odps.stage.mapper.split.size':64,} libraries=['jieba-master.zip']#引用您的 jieba-master.zip 压缩包 src_df=o.get_table('jieba_test').to_df()#引用您的 jieba_test 表中的数据 file_object=o.get_resource('key_words.txt')#...
- 产品推荐
- 这些文档可能帮助您