如何打造千万级Feed流系统
Feed流介绍 基本特征 Feed是指状态或者消息，而Feed流本质上是一种信息流：N个发送者的数据，通过用户关系，推送给M个接收者，在Feed流中持续更新并呈现给用户内容。Feed流包含以下几种基本特征。特征 描述 多账号内容流 Feed流系统中存在...
Python
步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$obclient-hxxx.xxx.xxx.xxx-P3306-u a*-p*-Dtest 数据库连接参数包含了访问数据库所需的参数信息，在验证示例代码前，可通过数据库连接参数验证登录...
需求分析
根据规范设计工作流（即业务流程）：基于数据流设计工作流：DataWorks上任务上下游关系遵循节点名与表名一一对应原则，基于数据流设计工作流。节点命名规范详情请参见：配置同周期调度依赖。新增业务流程管理设计：由于OSS同步任务（ods_...
集群任务限流
为避免负载过重，控制数据消费的速率，集群任务提供了动态和静态两种流控能力。限流原理 如上图所示，一个 Chunk（分片）的执行分为如下三个阶段，这三个阶段构建成一个循环。Read 阶段 Reader 读取一批数据，读取数据接口返回数据列表和...
功能特性
SQL窗口介绍 SQL Console初体验 SQL Console新交互模式下变更表数据和结构 数据工作站 数据集成 离线集成是一种低代码开发数据加工任务的工具，可以组合各类任务节点形成数据流，通过周期调度运行达到数据加工、数据同步的目的。...
方案分析
根据Feed流中的数据类型，本文分别设计系统存储、同步与元数据方案。不同类型的Feed流产品架构存在差异，本文设计的产品是基于单向关系的时间排序Feed流，类似于微博。存储 Feed流系统中的存储库主要存放具体的用户Feed消息，而Feed消息...
MongoDB 6.0新特性概览
本文介绍云数据库MongoDB 6.0版本推出的新特性和优化项。速览 本文从以下方面介绍云数据库MongoDB 6.0版本：新特性 可查询加密（Queryable Encryption）集群同步（Cluster-to-Cluster Sync）优化项 时序集合（Time Series Collection）变更...
基本概念
节点任务流程中所有计算节点的输入、输出数据都是具体的数据表、文件和数据流。开发场景与生产场景：每个工作区都有一个开发场景和一个生产场景，它们是两套独立的资源配置。数据开发工程师只能在开发环境中注册计算节点，配置节点任务流程...
UploadSession
本文为您介绍 UploadSession 接口，此接口用于上传数据到表中。UploadSession 接口定义 UploadSession接口定义如下。public class UploadSession { UploadSession(Configuration conf,String projectName,String tableName,String ...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
Stream Load
由于Stream Load是一种同步的导入方式，所以当您希望用同步方式获取导入结果时，也可以使用该导入方式。数据量 由于Stream Load是由BE发起的导入并分发数据，建议的导入数据量在1 GB到10 GB之间。系统默认的最大Stream Load导入数据量为10 ...
查询推流域名实时流粒度带宽流量数据
调用DescribeLiveStreamPushMetricDetailData查询推流域名实时流粒度推流带宽及流量监控数据。使用说明 仅支持单个域名查询，多个域名会报错。数据最大查询跨度：24小时。数据最小查询粒度：1分钟。数据最大查询范围：31天。本接口为监控...
副本集实例连接说明
云数据库MongoDB副本集实例分别提供了主从节点和只读节点的单独连接地址，以及用于应用程序连接的高可用ConnectionStringURI和ReadOnly ConnectionstringURI地址。本文介绍副本集实例连接地址的获取方式及连接说明。获取数据库连接地址 ...
通过实时计算订阅数据
订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。在RDS数据库中，按照源表结构创建相应的表。参考 数据存储配置白名单，配置RDS数据库白名单。由于本案例的RDS数据库位于华东1区，而流计算项目位于华东2区，所以需要在RDS数据库中...
操作流程
数据服务API：数据API是一种由云计算资源中的数据通过参数配置生成API的API类型，生成API后可以方便后续调用，减少资源操作成本。三方API：统一服务支持创建第三方平台提供的API，通过生成API可以方便后续调用，减少资源操作成本。数据上报...
分片集群实例连接说明
本文介绍分片集群实例连接地址的获取方式和连接说明。获取数据库连接地址 登录 MongoDB管理控制台。在左侧导航栏，单击 分片集群实例列表。在页面左上角，选择实例所在的资源组和地域。单击目标实例ID或目标实例所在行 操作 列的 管理。在...
SDK使用指南
本文介绍了数据可视化分析Quick BI提供的SDK语言版本，列举了最新版本SDK的获取地址。SDK概览 简介 数据可视化分析Quick BI SDK封装了API，以访问密钥（AccessKey）识别调用者身份，提供自动签名等功能，方便您通过API创建和管理资源。实现...
如何对JSON类型进行高效分析
IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与扩展流计算等应用场景。针对海量半结构化数据...
通过代理连接地址连接数据库
连接RDS MySQL实例 在获取数据库代理连接地址和端口后，支持使用数据库代理连接地址通过以下三种方式连接RDS MySQL实例：通过客户端、命令行连接RDS MySQL实例 通过DMS登录RDS数据库 通过应用程序访问数据库 相关文档 连接数据库 配置数据...
工作流编辑
背景信息 本文为您提供工作流编辑的相关操作介绍，具体如下：新建工作流 编辑工作流 配置工作流调度 执行工作流 查看工作流运行记录 工作流可执行操作 前提条件 已创建项目，详情请参见 项目管理。已编辑好作业，详情请参见 作业编辑。新建...
视频点播VOD的审计事件
DescribeVodMultiUsageData 获取多种计算方式的用量数据。DescribeVodRealtimeLogAuthorized 获取实时日志授权。DescribeVodRefreshQuota 查询刷新预热URL及目录的最大限制数量和当日剩余数量。DescribeVodRefreshTasks 查询刷新和预热状态...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
引擎简介
Lindorm宽表引擎是面向海量半结构化、结构化数据设计的分布式存储，适用于元数据、订单、账单、画像、社交、feed流、日志等场景，兼容HBase、Phoenix（SQL）、Cassandra等开源标准接口，支持单表百万亿行规模、千万级并发、毫秒级响应、跨...
页面组件通用属性
逻辑流 逻辑流数据源可以选择一条逻辑流获取实体对象。绑定实体对象列表 支持绑定返回实体对象列表的数据源，包括上下文、数据库或逻辑流数据源：上下文 上下文数据源可以选择任意父级数据容器绑定的实体对象的对多关联，表示通过“关联”...
2020年
无 2020年5月 oss_fdw插件 新增oss_fdw插件，用于Aliyun OSS外部表支持，您可以通过OSS外部表将数据库数据写入到OSS，也可以通过OSS外部表将OSS数据加载到数据库中，OSS外部表支持并行和压缩，极大提高了导入和导出数据的性能，同时也可以...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
Stream Load
由于Stream Load是一种同步的导入方式，所以当您希望用同步方式获取导入结果时，也可以使用该导入方式。数据量 由于Stream Load是由BE发起的导入并分发数据，建议的导入数据量在1 GB到10 GB之间。系统默认的最大Stream Load导入数据量为10 ...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
数据集成概述
数据传输：数据集成仅完成数据同步（传输），本身不提供数据流的消费方式。数据一致性：数据集成同步仅支持at least once，不支持exact once，即不能保证数据不重复，只能依赖主键+目的端能力来保证。说明 同步任务源端和目标端字段类型...
ListDAGVersions-获取任务流历史发布版本信息列表
调用ListDAGVersions接口，获取任务流历史发布版本信息列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以...
数据服务概述
数据服务价值 为了解决常见的数据应用问题，在数据服务体系下，开发人员开发数据服务时，提供简易向导和灵活脚本两种模式，从而降低开发门槛、提高开发效率、统一代码质量，方便管理变更；业务人员应用数据服务时，提供安全、稳定的数据...
架构
一旦现有的数据被拷贝完，工作者会进入到同步模式，主应用进程会流式传递在使用标准逻辑复制拷贝初始数据期间发生的任意改变，这会确保表被带到一种已同步的状态。一旦同步完成，该表的复制的控制权会被交回给主应用进程，其中复制会照常...
使用推荐模板创建连接流
本文为您介绍如何在AppFlow中利用推荐模板创建连接流，并在创建完成后如何自定义修改连接流。前提条件 已经注册了阿里云账号。如还未注册，请先完成 账号注册。操作步骤 选择公共模板并配置连接流。登录 AppFlow控制台。在左侧导航栏中，...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
2020年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2020年12...
智能压测
说明 当源实例为阿里云数据库时，您可以选择以上四种方式中的其中一种，由于压测任务创建后，系统会自动购买和源库规格一致的按量付费实例，并将数据恢复到该实例，建议您选择 通过备份恢复。当源实例为自建数据库时，仅可选择 已完成数据...
MMA概述
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute，本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒，实现Hive...
全局服务
功能概述 全局服务是一种支持外部服务调用的功能，您可以通过配置服务接口来新增全局服务。在系统中，"FAQ问答"和"多轮对话"都支持直接引用全局服务，以便获取外部服务提供的信息或功能。重要 注意：一旦某个全局服务被引用，需要先解除...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
概述
通过多元索引方式访问数据时，在多元索引的col1中可以获取col1的值为'阿%'的一行数据pk1=1，在多元索引的col2中可以获取col2的值为'a'的两行数据pk1=1和pk1=2，然后将两次中间结果的数据进行union，即可得到满足条件的数据 pk1=1，col1='...
- 产品推荐
- 这些文档可能帮助您