数据标准
数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在 字段编辑器 页面，编辑 中文名，输入拼音首字母即可快速检索出...
客户案例
打造离线实时一体化数据中台，构建统一、完整的大数据应用链路，服务内部几大核心业务。全链路数据治理提高数据可用性，让数据在中台进行自由流动，保证数据准确、准时、一致，成本削减1亿元。提高业务迭代效率，数据更新频率由1天变成10...
概述
对接实时计算，用于业务数据驱动的智能运营、IoT、监控大屏等数据应用。数据同步，比如更新cache，同步到搜索引擎、数仓、冷存储等。LindormStreams支持实时获取HBase表的数据变更，您可以基于LindormStreams的这个功能构建自己的数据应用...
LLM-删除LaTeX参考文献
LLM-删除LaTeX参考文献组件主要用于大语言模型（LLM）的文本数据预处理工作，适用于TEX文档格式数据。主要功能是删除LaTeX格式文本末尾的参考文献。支持的 计算资源 MaxCompute 算法说明 定义LaTeX格式文本参考文献的正则表达式为：r'(\\...
典型使用场景
HBase具有高吞吐，低延迟，schemaFree，水平扩展等能力，被很多大数据类应用选择。而接合LindormStreams+Blink/Spark，可以构建出一套完整的实时数据系统：应用解耦-实时同步到消息队列 通常业务发生之后，应用系统产生的数据需要被其他...
概述
Flink（VVR）完全兼容开源Flink，相关内容请参见如下文档：DataStream API Table API&SQL Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink主要用于以下...
支持的云服务
AnalyticDB for MySQL 云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）是海量数据实时高并发在线分析（Realtime OLAP）云计算服务，与MaxCompute结合应用于大数据驱动业务系统的场景。通过MaxCompute离线计算挖掘，产出高质量...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
开放平台：能力全面开放
开放API（OpenAPI）通过OpenAPI可以实现您的自有应用与DataWorks的深度集成，例如实现批量创建任务、发布任务、运维任务等，提升您的大数据处理效率，减少人工操作成本。关于OpenAPI功能，具体请参见 开放API（OpenAPI）。开放事件...
新版本升级说明
应用调用（包括应用中心的RAG检索增强应用、插件调度应用和流程编排引用）的方式请参考文档 应用中心。模型调用（包括模型中心的官方模型如通义千问、通义万象等，开源模型如Llama2、百川和ChatGLM等开源大语言模型，以及定制模型）的方式...
什么是EMR on ACK
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
MapReduce
学术论文、专利文献的引用分析和统计。维基百科数据分析。海量数据挖掘：非结构化数据、时空数据和图像数据挖掘。机器学习：监督学习、无监督学习和分类算法（例如决策树、SVM）。自然语言处理：基于大数据的训练和预测。基于语料库构建...
Serverless Spark概述
传统Spark集群版的方案架构图如下所示：但是对于传统Spark集群版，用户首先需要部署一套开源大数据基础组件：Yarn、HDFS、Zookeeper等，可能会存在以下问题：使用门槛高：开发者需要同时熟悉多种大数据组件，才能完成开发与运维相关工作，...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
概述
事实上，鉴于数据库研究在数据发现、数据管理、版本控制、数据清理和数据集成方面积累的专业知识，PolarDB for AI 可以为数据驱动的智能应用提供一站式的数据（包括：数据、特征和模型）服务来解决这种割裂状态，大大减少数据驱动的智能...
远程调试
如果您想要远程诊断部署在 Serverless应用引擎SAE（Serverless App Engine）上的应用，可以使用 SAE 远程调试功能。本文介绍如何通过跳板机使用OpenSSH实现远程调试。前提条件 创建应用 背景信息 跳板机（Jump Server）是一台可以访问的...
时序引擎应用开发简介
5.连续查询 连续查询应用于大数据查询的场景。通过创建连续查询对新写入的数据预聚合处理，减少实时查询的数据量，从而减少计算量并降低查询延迟。6.预降采样 预降采样应用于较长时间范围的数据查询场景。在数据写入时按照设置的规则将原始...
金融行业
金融行业：包括银行、保险、基金、P2P、大数据金融等公司，抽象目前HBase在金融行业的应用如下：某大数据风控平台 车联网-基于轨迹的风控 参考HBase在大搜车金融业务中的应用实践 金融公司-历史订单在线查询 金融时序数据-K线、分析 金融...
查看结果
本文档为您介绍验证数据同步结果的方法。在源数据表（mytable）中插入三行数据，验证数据同步结果。可以看到，在源表中插入三条数据后，销售目标达成率由原来...配置完成后，参考 发布可视化应用 发布大屏，进行实时计算结果数据的在线展示。
DataWorks On MaxCompute使用说明
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
管理数据
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
在SAE控制台使用WAR包部署Java Web应用
应用总览：选择 应用监控>应用总览，查看应用的关键性能指标，例如总请求量、平均响应时间等。应用详情：选择 应用监控>应用详情，查看更全面的应用监控数据，例如JVM监控、异常分析等。接口调用：选择 应用监控>接口调用，查看以接口为...
计费逻辑说明
产品类型 功能介绍 计费项 计费说明 计费标准参考 智能数据建模 智能数据建模是DataWorks自研的建模产品，支持数仓规划设计、制定并沉淀企业数据标准、维度建模、数据指标定义，帮助您将建模设计产出的维度表、明细表、应用表、汇总表物化...
在SAE控制台使用JAR文件部署微服务应用
应用总览：选择 应用监控>应用总览，查看应用的关键性能指标，例如总请求量、平均响应时间等。应用详情：选择 应用监控>应用详情，查看更全面的应用监控数据，例如JVM监控、异常分析等。接口调用：选择 应用监控>接口调用，查看以接口为...
升级数据库版本
升级规则如下：升级规则 升级项 升级规则 升级数据库大版本 标准版→企业版 标准版→企业集群版 Web版→标准版 Web版→企业版 Web版→企业集群版 说明 Web版需要先升级到标准版，再从标准版升级到企业版或企业集群版。升级数据库系列 基础...
创建轻量应用服务器
重要 当您参考云服务器ECS的建站教程在轻量应用服务器上手动建站时，建议您选择手动搭建网站或应用的教程，并且教程中所选用的操作系统版本信息需要和轻量应用服务器的系统镜像版本信息一致。否则可能因为版本不兼容等原因导致运行命令报错...
新手指引
Serverless 应用引擎 SAE（Serverless App Engine）是面向应用的Serverless PaaS平台，能够帮助PaaS层用户免运维IaaS、按需使用、按量计费，做到低门槛微服务、PHP应用上云。本文介绍如何使用 SAE，帮助您快速了解 SAE 以及各方面的实践...
升级步骤
查看数据同步任务详情（可选）在版本升级的过程中，若升级报错或出现其他异常时，您可以前往对应的DTS数据同步任务详情页查看数据同步任务的详细信息。登录 PolarDB控制台。找到目标集群，单击集群ID。在 基本信息 页面的 PolarDB升级功能 ...
核心概念
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
升级步骤
当您的数据量较大时，推荐您购买 PolarDB 存储包，相比按小时付费，预付费购买存储包有折扣，购买的容量越大，折扣力度就越大，详情请参见 搭配存储包。在 支付 页面，确认未支付订单信息和支付方式，单击 订购。集群创建成功后，登录 ...
购买组合套餐（服务器+负载均衡）
轻量应用服务器 服务推出 实例+轻量应用负载均衡实例 组合套餐，创建后系统自动完成负载均衡的配置，您也可以根据业务需求修改相关配置。本文主要介绍如何购买组合套餐。使用限制 通过组合套餐购买的 轻量应用服务器 实例，不支持挂载数据...
压测Spring Cloud服务
应用压测功能通过对系统的压测，得到一系列的性能指标，从而指导您配置最优的防护规则，实现业务的高可用。本文介绍压测Spring Cloud服务的操作步骤。前提条件 应用已接入AHAS应用防护，具体操作，请参见 接入应用方式。背景信息 应用压测...
计费相关配置问题
如果您负责的是核心应用，数据流量大，稳定性要求高，需要尽最大可能保证系统可用。建议开通专家版，获取更丰富的监控诊断能力和海量额度的数据处理和存储。收到账单，如何查看应用监控的用量情况？如果想了解用量情况，您可以在 ARMS控制...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
使用场景
ACM 为大数据实时计算场景的应用带来以下好处：应用计算参数动态配置，动态生效，生效时间快，性能影响低。企业级互联网架构下的异地多活场景 异地多活是企业级互联网架构中的一种高级容灾架构。相对于传统容灾架构，有业务恢复时间短、...
- 产品推荐
- 这些文档可能帮助您