B站爬虫实战：手把手教你破解w_rid签名与oid参数（附完整Python代码）

B站数据采集实战：深度解析w_rid签名与oid参数生成机制

每次打开B站评论区，那些海量的用户互动数据背后，都藏着开发者们最想破解的秘密。作为国内最大的年轻人文化社区，B站的数据价值不言而喻，但它的防护机制也让不少爬虫开发者望而却步。今天，我们就来彻底拆解B站最新的WBI签名机制，特别是让很多人头疼的w_rid和oid参数。

1. 逆向工程前的准备工作

在开始逆向之前，我们需要先理解B站的数据请求机制。打开Chrome开发者工具（F12），切换到Network面板，然后随意打开一个B站视频页面，向下滚动触发评论加载。你会看到类似这样的请求URL：

https://api.bilibili.com/x/v2/reply/main?oid=246322603&type=1&mode=3&pagination_str=%7B%22offset%22%3A%22%22%7D&plat=1&seek_rpid=&web_location=1315875&w_rid=7a3b5c8d9e0f1a2b3c4d5e6f7g8h9i0j&wts=1685432100

这里有几个关键参数需要关注：

• oid：视频的唯一标识符，相当于早期的AV号
• w_rid：动态生成的签名值，32位MD5格式
• wts：Unix时间戳（秒级）

必备工具清单：

• Chrome浏览器 + Developer Tools
• Python 3.8+ 环境
• 关键Python库：

  pip install requests pycryptodome

提示：所有逆向工程仅用于学习交流，请遵守B站用户协议，不要高频请求影响服务器正常运行。

2. w_rid签名算法逆向解析

2.1 算法定位技巧

在开发者工具的Sources面板，使用全局搜索（Ctrl+Shift+F）查找"w_rid:"，通常能在核心的加密函数处断下。B站的加密逻辑主要包含以下几个步骤：

1. 获取签名密钥：从特定接口获取imgKey和subKey
2. 密钥重组：按照固定顺序拼接并截取前32位
3. 参数处理：对请求参数进行排序和URL编码
4. MD5加密：拼接处理后的参数与密钥，生成最终签名

2.2 密钥生成算法实现

签名密钥a的生成是整个过程的核心。通过分析，我们发现密钥来源于两个URL：

def get_wbi_keys(): nav_url = "https://api.bilibili.com/x/web-interface/nav" resp = requests.get(nav_url, headers=headers) data = resp.json() img_key = data['data']['wbi_img']['img_url'].split('/')[-1].split('.')[0] sub_key = data['data']['wbi_img']['sub_url'].split('/')[-1].split('.')[0] return img_key, sub_key

得到原始密钥后，需要按照特定顺序重组：

def mixin_key(img_key, sub_key): mixin_key_table = [ 46, 47, 18, 2, 53, 8, 23, 32, 15, 50, 10, 31, 58, 3, 45, 35, 27, 43, 5, 49, 33, 9, 42, 19, 29, 28, 14, 39, 12, 38, 41, 13, 37, 48, 7, 16, 24, 55, 40, 61, 26, 17, 0, 1, 60, 51, 30, 4, 22, 25, 54, 21, 56, 59, 6, 63, 57, 62, 11, 36, 20, 34, 44, 52 ] combined_key = img_key + sub_key mixed_key = ''.join([combined_key[i] for i in mixin_key_table])[:32] return mixed_key

2.3 完整签名生成流程

有了密钥后，就可以生成w_rid签名了：

import time import urllib.parse from hashlib import md5 def generate_wrid(params, mixin_key): # 添加时间戳 wts = int(time.time()) params['wts'] = wts # 参数排序和编码 sorted_params = sorted(params.items()) encoded_params = [] for k, v in sorted_params: if isinstance(v, str): v = v.replace("!", "%21").replace("'", "%27").replace("(", "%28").replace(")", "%29").replace("*", "%2A") encoded_params.append(f"{k}={v}") # 拼接参数和密钥 param_str = '&'.join(encoded_params) sign_str = param_str + mixin_key # MD5加密 w_rid = md5(sign_str.encode('utf-8')).hexdigest() return w_rid, str(wts)

3. oid参数解析与转换

3.1 BV号与AV号的转换

B站目前使用BV号作为视频标识，但在API中仍然使用传统的AV号（oid）。我们需要实现BV到AV的转换：

def bv2av(bv): table = 'fZodR9XQDSUm21yCkr6zBqiveYah8bt4xsWpHnJE7jL5VG3guMTKNPAwcF' xor = 177451812 add = 8728348608 s = [11, 10, 3, 8, 4, 6] # 提取BV号中的关键字符 chars = [bv[i] for i in s] # Base58解码 num = 0 for i, c in enumerate(chars): num += table.index(c) * (58 ** i) # 计算AV号 av = (num - add) ^ xor return av

3.2 实际应用示例

bv = "BV1GJ411x7hx" oid = bv2av(bv) print(f"BV号 {bv} 对应的oid是: {oid}")

4. 完整爬虫实现与优化

4.1 请求头设置技巧

B站对请求头有严格检查，特别是以下字段：

headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36", "Referer": "https://www.bilibili.com", "Origin": "https://www.bilibili.com", }

4.2 分页请求实现

评论数据通常采用分页加载，需要注意pagination_str参数的处理：

def get_comments(oid, page_size=20, max_pages=5): base_url = "https://api.bilibili.com/x/v2/reply/main" img_key, sub_key = get_wbi_keys() mixin_key = mixin_key(img_key, sub_key) pagination_str = '{"offset":""}' for page in range(max_pages): params = { "oid": oid, "type": 1, "mode": 3, "pagination_str": pagination_str, "plat": 1, "web_location": 1315875 } w_rid, wts = generate_wrid(params, mixin_key) params.update({"w_rid": w_rid, "wts": wts}) response = requests.get(base_url, params=params, headers=headers) data = response.json() # 处理评论数据 process_comments(data) # 更新分页参数 if not data['data']['cursor']['is_end']: pagination_str = data['data']['cursor']['pagination_str'] else: break

4.3 反反爬策略

B站有完善的反爬机制，需要注意：

• 请求频率控制：添加随机延迟，建议3-5秒/请求
• IP轮换：使用代理池防止IP被封
• Cookie更新：定期更换Cookie值
• 错误处理：实现自动重试机制

import random import time def safe_request(url, params, max_retries=3): for i in range(max_retries): try: time.sleep(random.uniform(1, 3)) response = requests.get(url, params=params, headers=headers) if response.status_code == 200: return response.json() except Exception as e: print(f"请求失败: {e}, 重试 {i+1}/{max_retries}") return None

5. 数据解析与存储

5.1 评论数据结构分析

B站评论API返回的JSON数据结构复杂，主要包含以下信息：

5.2 数据清洗示例

def process_comments(data): if not data or 'data' not in data: return for reply in data['data']['replies']: comment = { 'id': reply['rpid'], 'user': reply['member']['uname'], 'content': reply['content']['message'], 'time': reply['ctime'], 'likes': reply['like'], 'replies': reply['replies'] if 'replies' in reply else [] } save_comment(comment)

5.3 存储方案选择

根据数据量大小，可以选择不同的存储方式：

1. 小型项目：SQLite或CSV文件

   import csv def save_to_csv(comment, filename='comments.csv'): with open(filename, 'a', newline='', encoding='utf-8') as f: writer = csv.writer(f) writer.writerow([ comment['id'], comment['user'], comment['content'], comment['time'], comment['likes'], len(comment['replies']) ])

2. 中型项目：MySQL或PostgreSQL

3. 大型项目：MongoDB或Elasticsearch

6. 常见问题与解决方案

在实际开发中，你可能会遇到以下典型问题：

1. 签名无效：

   • 检查时间戳是否同步（使用NTP服务器）
   • 验证密钥获取是否正确
   • 确认参数排序和编码规则

2. 返回403错误：

   • 更新User-Agent和Cookie
   • 检查请求频率是否过高
   • 尝试更换IP地址

3. 数据不完整：

   • 确认分页参数是否正确传递
   • 检查是否有会员限定内容
   • 验证oid参数是否正确

4. 性能优化：

   • 使用aiohttp实现异步请求
   • 建立本地缓存减少重复请求
   • 实现断点续爬功能

import aiohttp import asyncio async def fetch_comments(session, url, params): async with session.get(url, params=params) as response: return await response.json() async def main(): async with aiohttp.ClientSession(headers=headers) as session: tasks = [] for page in range(1, 6): params = build_params(page) tasks.append(fetch_comments(session, base_url, params)) results = await asyncio.gather(*tasks) # 处理结果

7. 进阶技巧与扩展思路

掌握了基础爬取能力后，可以进一步扩展：

1. 弹幕数据采集：

   • 解析cid参数（视频分P标识）
   • 处理protobuf格式的弹幕数据
   • 实现实时弹幕监控

2. 用户行为分析：

   • 采集用户历史评论
   • 分析用户兴趣标签
   • 构建用户画像

3. 视频元数据挖掘：

   • 获取视频标签和分类
   • 分析热门视频特征
   • 预测视频流行趋势

4. 分布式爬虫架构：

   • 使用Scrapy-Redis实现分布式
   • 设计任务队列系统
   • 实现自动化监控告警

# 弹幕采集示例 def get_danmaku(cid): url = f"https://api.bilibili.com/x/v1/dm/list.so?oid={cid}" response = requests.get(url) # 解析XML格式的弹幕数据 # ...

在实际项目中，我们发现B站的防护机制会定期更新，特别是密钥生成算法大约每3-6个月会有细微调整。保持对接口变化的敏感度，定期验证爬虫的有效性，是长期稳定运行的关键。