php发展

首页 » 常识 » 常识 » 百度搜索中台新一代内容架构FbbS化和智
TUhjnbcbe - 2025/5/22 8:59:00

导读:百度搜索中台内容计算架构为在线提供了数十亿的异构且有丰富特征和信号的优质原材料。我们以Serverless理念为指引,通过FaaS化和智能化的系统性建设,构建了新一代内容数据计算系统,实现了业务研发效率、资源成本和架构稳定性维护性的显著提升。本文从搜索中台内容架构演进过程中遇到的问题入手,分析系统设计思路,然后详细介绍具体实践方案。

全文字,预计阅读时间7分钟

一、背景

搜索中台内容计算架构支持了数十个业务线的上百个检索场景,每个场景的数据都有一定的差异性,之前这些差异性都是由业务同学通过自定义的脚本进行独立开发。这些脚本存在开发成本高、维护成本高的情况,我们引入了业务框架+服务平台,实现了业务可以独立开发、自动部署和上线,同时代码库可以复用,一定程度上解决了开发成本和维护成本的问题。伴随业务快速发展,自定义入场开发的场景和诉求越来越多,在此过程中出现了以下问题:

学习成本大:业务框架做了抽象,业务要上手开发需要学习完整的接入规范、开发规范,有的场景可能只要较少的业务代码开发,但是学习时间却要一周甚至更久,在新场景接入、尤其是简单业务场景,越来越多的情况下,学习成本变成了个棘手问题资源成本高:很多的业务场景有潮汐式特征,即每天只有一小段时间有内容计算,假设它只有1小时有,那么之前的架构浪费了23/24的资源,即另外23小时没有任何计算确占着资源,导致巨大的资源浪费维护成本高:搜索自身的复杂性,导致出现问题的时候开发者排查异常困难,有时候强依赖某些有经验的同学,整个系统的维护成本越来越高

在业务接入越来越多、业务迭代也越来越高频、业务的数据量越来越大的情况下,如何通过技术手段,实现开发成本、资源成本和维护成本的显著提升?相信这个问题,也是一个业务系统经过一定发展后,大概率会遇到的一个问题。

二、思路与目标

业界对于Serverless的大规模实践主要是聚焦于Web端应用,中后台的实践相对少一些。我们面对的场景是搜索中台数据的实时计算,而搜索本身又是非常复杂的业务。但是通过对我们场景的抽象与分析,我们具备了在中后台复杂场景实践Serverless/FaaS的可行性:

一方面,虽然业务开发的功能需求千差万别,本质上仍然有很多通用共性的地方。对于业务特定化的处理逻辑都可以将逻辑转化成一个一个的函数。而共性的功能可以通过抽象成通用组件。通过函数的编排和组件的复用可以乐高式搭建出适合业务的搜索数据计算系统。同时业务完全聚焦于业务自身逻辑中去,高可用、高并发、高扩展这些用户都不需要

1
查看完整版本: 百度搜索中台新一代内容架构FbbS化和智