3天搞定网站收录查询工具开发，性能优化让建站公司不再拖

改个需求建站公司拖一周，这事儿谁没经历过？我前年接手一个外贸公司官网，光是修改个联系方式，就拖了整整7天。更别提他们还要处理网站收录查询、SEO优化这些事，一拖就半个月，客户都快急疯了。现在我带团队做网站开发，最怕的就是“拖”字，所以每次建站前，我都会提前把【各大网站收录查询】这块儿搞清楚，再谈性能优化的事儿。

今天我来分享一个真实的项目案例，这个项目是帮一家做跨境电商的公司搭建官网，重点是实现【各大网站收录查询】功能，并在过程中做了大量【性能优化】，整个项目从立项到上线只用了3天，客户满意得不行。

项目背景与需求

客户是一家做跨境B2B的公司，主要业务是卖工业设备到欧美市场。他们之前的官网是自己用WordPress搭建的，页面加载慢，收录情况也很差。他们来找我们是想重新做官网，重点解决几个问题：

能够实时查询【各大网站收录查询】情况，比如百度、Google、Bing等；
网站性能要好，提升加载速度；
SEO优化到位，让自然流量上来了。

客户特别强调，他们不想再找那种“改个需求拖一周”的建站公司，希望我们能在3天内搞定。说实话，当时我也有点担心，但既然客户愿意把项目交给我们，我们就得咬牙干出来。

技术选型

我们这次的技术选型重点是速度和可维护性。客户对性能优化的要求特别高，所以前端我们选用了Vue 3 + Vite，Vite的打包速度和开发体验都比Webpack好很多，而且配合Vue 3的Composition API，代码结构也更清晰。

后端我们选择了Node.js + Express，主要是为了快速开发，Express本身就比较轻量，而且配合Node.js的异步处理能力，能很好地满足高并发访问。另外，我们还在后端用Redis做缓存，提升查询速度，减少数据库的压力。

数据库方面，我们选用了MongoDB，主要是因为客户未来可能需要支持多语言和多地区的内容管理，MongoDB的灵活结构和Schema-less特性非常适合这类业务。

对于【各大网站收录查询】功能，我们并没有用第三方API，而是通过爬虫的方式抓取各个搜索引擎的结果，这样虽然会增加一些开发成本，但可以确保数据的准确性。当然，这个做法需要注意合法性和反爬机制，我们参考了腾讯云开发者社区的《网站抓取与反爬策略》文档，做了大量的反反爬处理，包括随机延迟、User-Agent切换、IP代理池等。

核心实现（配代码片段）

我们把【各大网站收录查询】功能拆成了几个模块，分别实现百度、Google、Bing的查询。这里我以百度为例，展示一下我们是怎么实现的。

1. 百度收录查询模块

const axios = require('axios');
const cheerio = require('cheerio');const queryBaiduIndex = async (url) => {try {const response = await axios.get(`https://www.baidu.com/s?wd=site:${url}`, {headers: {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}});const $ = cheerio.load(response.data);const result = $('.result.c-container');let index = '未收录';if (result.length > 0) {index = '已收录';}return { engine: '百度', status: index };} catch (error) {console.error('百度查询失败:', error.message);return { engine: '百度', status: '查询失败' };}
};

这段代码是通过访问百度搜索“site:网站域名”来判断该域名是否被百度收录。如果返回结果中有该域名，就说明收录了。当然，这种做法容易被百度识别为爬虫，所以我们还在代码中加入了随机延迟和User-Agent切换，避免被封IP。

2. Google 收录查询（通过 Google Search Console API）

对于Google，我们使用了Google Search Console API，需要先申请API密钥，然后在代码中进行调用。这部分代码比较长，这里我只展示核心部分：

const { google } = require('googleapis');const queryGoogleIndex = async (siteUrl, apiKey, searchConsoleUrl) => {const auth = new google.auth.GoogleAuth({keyFile: 'google-api-key.json',scopes: ['https://www.googleapis.com/auth/webmasters.readonly']});const webmasters = google.webmasters('v3');const res = await webmasters.sites.list({auth,fields: 'siteUrl'});// 更多逻辑省略，判断该网站是否被Google收录let status = '未收录';if (res.data && res.data.siteUrl) {status = '已收录';}return { engine: 'Google', status };
};

3. 缓存机制

因为这些查询都是比较耗时的，我们还在后端做了一个缓存机制，使用Redis缓存查询结果，设置30分钟的过期时间。这样可以减少对搜索引擎的请求频率，也避免了对网站的负载压力。

const redis = require('redis');
const client = redis.createClient({host: '127.0.0.1',port: 6379
});const getFromCache = async (key) => {const result = await client.get(key);return result ? JSON.parse(result) : null;
};const setToCache = async (key, value, ttl = 30 * 60) => {await client.set(key, JSON.stringify(value), 'EX', ttl);
};