认证与连接
auth.destroy()LinkKit构造参数中传入 auth_type="register"，表示一型一密预注册，结果在回调 on_device_dynamic_register 中透出。当 rc 值为 0 时，表示一型一密动态注册成功。返回的值为从物联网平台获取的设备的 DeviceSecret。您需将...
构建TDX机密计算环境
num_check":true,"earliest_accepted_tcb_level_date_tag_check":true,"tcb_status_check":true,"dynamic_platform_check":true }],"policy":{"environment":{"description":"Alibaba Cloud Evaluation Num Policy for TDX Platform",...
基于GitHub公开事件数据集的离线实时一体化实践
INSERT into TABLE dwd_github_events_odps PARTITION(ds)SELECT CAST(GET_JSON_OBJECT(col,'$.id')AS BIGINT)AS id,CAST(GET_JSON_OBJECT(col,'$.actor.id')AS BIGINT)AS actor_id,GET_JSON_OBJECT(col,'$.actor.login')AS actor_login,...
基于GitHub公开事件数据集的离线实时一体化实践
INSERT into TABLE dwd_github_events_odps PARTITION(ds)SELECT CAST(GET_JSON_OBJECT(col,'$.id')AS BIGINT)AS id,CAST(GET_JSON_OBJECT(col,'$.actor.id')AS BIGINT)AS actor_id,GET_JSON_OBJECT(col,'$.actor.login')AS actor_login,...
RPC 常见问题
本文汇总梳理了 RPC 使用过程中遇到的常见问题及排查思路。使用 RPC 客户端调用服务时报错 调用服务时报“RPC-02306:没有获得服务[{0}]的调用地址，请检查服务是否已经推送”错误 排查思路如下：检查服务地址是否推送。登录客户端，查看/...
Broker Load
202204 VALUES[('2022-04-01'),('2022-05-01')))DISTRIBUTED BY HASH(`store_id`)BUCKETS 1 PROPERTIES("replication_allocation"="tag.location.default:3","dynamic_partition.enable"="true","dynamic_partition.time_unit"="MONTH",...
查询和分析JSON日志的常见问题
本文介绍查询和分析JSON日志的常见问题。日志样例 本文中介绍的各个案例是基于如下JSON格式的订单处理系统日志。request 字段为订单请求信息，JSON格式。一个请求中包含一个用户的多个订单，订单中包含购买的商品和支付总价。response 字段...
时空数据库版本发布记录
支持转出时通过指定转出选项，将几何对象或子对象导出。在将sfmesh对象转换为3DTiles时，可以选择指定子对象的sfmesh或geometry对象进行输出或不输出。增强 ST_Affine 函数，支持两个变换矩阵相乘。Utility SQL 增强 ST_As3dTiles 提升转换...
时空数据库版本发布记录
支持转出时通过指定转出选项，将几何对象或子对象导出。在将sfmesh对象转换为3DTiles时，可以选择指定子对象的sfmesh或geometry对象进行输出或不输出。增强 ST_Affine 函数，支持两个变换矩阵相乘。Utility SQL 增强 ST_As3dTiles 提升转换...
不兼容SQL重写
agg.having.ref.prev.agg.alias 说明：有Having子句的情况下，select List可以出现前面Aggregate Function Alias的问题。示例 错误写法 select count(c1)cnt,sum(c1)/cnt avg from t1 group by c2 having cnt>1;报错信息 FAILED:ODPS-...
功能发布记录
新增手动触发Full Compaction能力，合并小文件，提升查询效率，详情见 Compaction（Beta）新增区间漏斗分析函数，用于分析用户活动的转化情况和转化情况的对比，详情见 漏斗和留存函数。新增Bit-Sliced Index（BSI）扩展库，优化高基数标签...
数据同步
之后我们定期从Kafka读取binlog并存放到OSS或HDFS，然后用Spark读取该binlog并解析出Insert、Update、Delete的数据，最后用Delta的Merge API将源表的变动更新到Delta表，其链路如下图所示。首先开通RDS MySQL服务，设置好相应的用户、...
RDS SQL Server CPU使用率高问题排查
CAST(MAX([W1].[Percentage])AS DECIMAL(5,2))AS[Percentage],CAST((MAX([W1].[WaitS])/MAX([W1].[WaitCount]))AS DECIMAL(16,4))AS[AvgWait_S],CAST((MAX([W1].[ResourceS])/MAX([W1].[WaitCount]))AS DECIMAL(16,4))AS[AvgRes_S],CAST(...
执行计划调优
如何发现问题 自上而下，梳理痛点 从上向下梳理计划，查看时间到底花在了什么算子上面，然后针对具体算子深入分析。查看代价，对比行数 查看比较代价估算的异常（特别小或特别大），对比估算行数和实际执行行数，找到代价估算和行数估算的...
常见问题
对开启动态列的表执行 SELECT*查询报错 Limit of this select statement is not set or exceeds config when select all columns from table with property DYNAMIC_COLUMNS=true？原因：开启动态列的表可能包含大量的动态列，且表的Schema...
Flink动态CEP快速入门
本文为您演示如何使用Flink动态CEP解决上述问题。我们假设客户的行为日志会被存放入消息队列Kafka中，Flink CEP作业会消费Kafka数据，同时会去轮询RDS数据库中的规则表，拉取策略人员添加到数据库的最新规则，并用最新规则去匹配事件。针对...
复杂类型函数
CAST 支持基本类型与JSON类型的转换。说明 以下函数示例中涉及->的使用，关于Lambda函数->的介绍，详情请参见 Lambda函数。ALL_MATCH 命令格式 boolean all_match(array<T><a>,function,boolean>)命令说明 判断ARRAY数组 a 中是否所有元素...
执行机制
特殊情况 为提升性能，当执行引擎发现 GROUP BY 的字段即为Searchers数据分列的依据时（即各个Searcher之间不会有数据的GroupKey相同），会将UDAF的merge阶段也下沉到Searcher上进行。即在单次Query中，每个Searcher会依次执行UDAF的...
执行机制
特殊情况 为提升性能，当执行引擎发现 GROUP BY 的字段即为Searchers数据分列的依据时（即各个Searcher之间不会有数据的GroupKey相同），会将UDAF的merge阶段也下沉到Searcher上进行。即在单次Query中，每个Searcher会依次执行UDAF的...
离线日志
DCDN 提供了按小时粒度打包的离线日志服务，您可以下载31天内任一时间区间的站点访问日志到本地保存，方便您优化站点的加速策略，监控、诊断潜在问题和了解用户的访问行为等。使用说明 离线日志是从全网的 DCDN 节点进行收集，一般情况下...
SQL错误码（ODPS-01CCCCX）
ODPS-0130071:Semantic analysis exception-wrong columns count X in data source,requires Y columns(includes dynamic partitions if any)模块：PARSER。严重等级：1。触发条件：创建外部表时，外部表的列数与所映射的源表的列数不一致...
通过SkyWalking上报Go应用数据
HEARTBEAT_PERIOD SW_AGENT_COLLECTOR_GET_AGENT_DYNAMIC_CONFIG_INTERVAL SW_AGENT_COLLECTOR_BACKEND_SERVICES SW_AGENT_COLLECTOR_MAX_SEND_QUEUE_SIZE SW_AGENT_PROCESS_STATUS_HOOK_ENABLE SW_AGENT_PROCESS_LABELS#配置环境变量，以...
通过SkyWalking上报Go应用数据
HEARTBEAT_PERIOD SW_AGENT_COLLECTOR_GET_AGENT_DYNAMIC_CONFIG_INTERVAL SW_AGENT_COLLECTOR_BACKEND_SERVICES SW_AGENT_COLLECTOR_MAX_SEND_QUEUE_SIZE SW_AGENT_PROCESS_STATUS_HOOK_ENABLE SW_AGENT_PROCESS_LABELS#配置环境变量，以...
常见报错
解决方案：请设置正确的DNS服务器地址，更多信息请参见 解决因域名解析失败导致的连接问题。OOM command not allowed when used memory>'maxmemory' 可能原因：Tair 实例已使用的内存超过该实例的最大配置（maxmemory）。说明 如果是 Tair ...
常见报错
解决方案：请设置正确的DNS服务器地址，更多信息请参见 解决因域名解析失败导致的连接问题。OOM command not allowed when used memory>'maxmemory' 可能原因：Redis 实例已使用的内存超过该实例的最大配置（maxmemory）。说明 如果是 ...
在EMR集群运行TPC-DS Benchmark
sed-i 's/hive.optimize.sort.dynamic.partition.threshold=0/hive.optimize.sort.dynamic.partition=true/' settings/*.sql 生成并加载数据。在SF=3时，该步骤耗时为40min~50min。如果运行正常，TPC-DS数据表将会加载到tpcds_bin_...
存储FAQ-CSI
类型 问题 常见问题分析流程 常见问题分析流程 云盘存储卷常见问题 云盘创建常见问题 动态创建PV失败且提示InvalidDataDiskCatagory.NotSupported 动态创建PV失败且提示The specified AZone inventory is insufficient 动态创建PV失败且...
DRM 常见问题
本文汇介绍动态配置（DRM）在使用过程中遇到的常见问题及解决方法。如何利用 DRM 动态设置日志等级？基于 SOFABoot 开发的程序，对于日志有如下默认配置：application.properties#log level for current application with groupid ...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
sed-i 's/hive.optimize.sort.dynamic.partition.threshold=0/hive.optimize.sort.dynamic.partition=true/' settings/*.sql 生成并加载数据。在SF=3时，该步骤耗时约40min~50min。如果运行正常，TPC-DS数据表将会加载到tpcds_bin_...
版本变动记录
所有源文件的摆放和SDK的功能点形成一一对应的关系，除了表示基础的 src/infra 目录，现在所有的 src/xxx 都各自对应一个SDK的功能，几个 src/xxx，就有几个功能点，例如：src/dynamic_register：摆放一型一密/动态注册相关的所有源文件 ...
Celeborn
在使用Celeborn的情况下，是可以正常使用Spark的Dynamic Allocation的。说明 设置 spark.shuffle.service.enabled 为true，则不使用Celeborn。阿里云Spark已完成Celeborn适配，开源Spark 3.5版本已完成Celeborn适配。spark.celeborn....
改进版swing相似度计算算法
本文为您介绍改进版swing相似度计算算法原理，包括工具包下载、工具包详细参数说明以及常见问题等。改进版swing算法 改进1：限定common neighbour数量 原版的swing算法对于物品的同时被触达的用户数量过少的情况，并不适用。从统计学的角度...
温度平均值计算
例如，在工厂中有一台机器上安装了多个温度传感器，用于检测机器各部位的温度变化，现在需要把这些传感器的状态变化记录下来，以便进行数据分析及问题追溯。由于传感器每次产生的变化都非常小，为节约成本，需要每五秒（真实场景中可能为一...
动态资源超卖
ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了 ACK-Koordinator开启Prometheus监控指标 选项并使用了阿里云Prometheus服务，这些指标将被视为 自定义指标 并产生相应费用...
DDL操作常见问题
本文为您介绍对表、分区、列执行DDL操作过程中的常见问题。问题类别 常见问题 表操作 MaxCompute支持虚拟表吗？例如MySQL中的DUAL表？MaxCompute的表有无索引？如何修改表的Hash Clustering属性？如何将非分区表修改为分区表？因误操作删除...
二级索引
通过DYNAMIC冗余模式，索引表能够自动冗余主表中的所有动态列，也会冗余主表Schema中的所有列。语法参考 二级索引的语法详细说明，请参见以下文档：创建二级索引：CREATE INDEX。修改二级索引：ALTER INDEX。查看二级索引：SHOW INDEX。...
调整实例sql_mode参数
重要 ALLOW_INVALID_DATES 参数值在某些情况下可能会引起数据一致性问题，因此在使用时需要谨慎考虑，并确保了解其使用场景和潜在影响。ANSI_QUOTES 支持 支持 支持 用于启用 ANSI_QUOTES 模式，该模式下MySQL将使用双引号（""）或反引号...
基本概念
移动端（iOS、Android）支持较好，但PC端IE存在兼容性问题依赖播放器的二次开发（建议使用阿里云Web播放器）。FLV：Adobe公司推出的标准，在PC端有Flash的强力支持，但在移动终端只有App实现播放器才能支持（建议使用阿里云播放器），大...
网关接入物联网平台
C SDK的目录src\dynamic_register\examples\dynreg_example.c示例了如何动态获取设的DeviceSecret，然后再连接阿里云物联网平台。更多详细内容请参见C语言的 设备认证编程文档 中的“一型一密”。设备量产 下文描述相关设备添加。网关 当...
Github实时数据同步与分析
我能学到什么 学会通过DataWorks实时同步数据。熟悉使用DataV大屏进行可视化操作。操作难度 易 所需时间 55分钟 使用的阿里云产品 实时数仓Hologres 云原生大数据计算服务 MaxCompute 专有网络VPC 大数据开发治理平台 DataWorks DataV数据...
- 产品推荐
- 这些文档可能帮助您