Error message here!

Hide Error message here!

忘记密码?

Error message here!

请输入正确邮箱

Hide Error message here!

密码丢失?请输入您的电子邮件地址。您将收到一个重设密码链接。

Error message here!

返回登录

Close

Spider-天眼查字体反爬

枪林弹雨丶 2019-01-21 10:59:00 阅读数:338 评论数:0 点赞数:0 收藏数:0

字体反爬也就是自定义字体反爬,通过调用自定义的woff文件来渲染网页中的文字,而网页中的文字不再是文字,而是相应的字体编码,通过复制或者简单的采集是无法采集到编码后的文字内容!

1.思路

近期在爬取天眼查某公司详情页遇到了字体反爬,经过多次测试,终于解决了字体反爬

 

首先我们来看一下字体反爬

此图可以看出源代码数字跟页面显示的内容是不一样的,在调试器中看到它有一个类tyc-num

此图可以看出类tyc-num存放的是一个字体,通过network获取这个字体

此图可以看出正常的字体数字是1234567890而现在显示的是7540129863它是顺序打乱的,把tyc-num.woff下载过来,下载过来之后发现windows是查看不了的,我用的是在线工具查看

在线工具链接:FontEditor

此图可以发现索引2对应的是4,说明第4个数字是0,通过Python对woff转换成xml

from fontTools.ttLib import TTFont
font = TTFont('tyc-num.woff')
font.saveXML('tyc-num.xml')

查看xml文件

此图发现id2对应是4跟在线查看器是一样的,那就找到了对应关系

2.代码实现

安装 fontTools

pip install fontTools

上代码(代码更新2019-01-21|19:23:16) PS:发现某些公司时间还是对不上,代码更新了,上面思路是一样的

#!/usr/bin/env python
# -*- coding:utf-8 -*- 
from fontTools.ttLib import TTFont
import re
font = TTFont('tyc-num.woff') # 打开tyc-num.woff
font.saveXML('tyc-num.xml') # 保存为tyc-num.xml
with open('tyc-num.xml', 'r') as f:
xml = f.read() # 读取tyc-num.xml赋值给xml
GlyphID = re.findall(r'<GlyphID id="(.*?)" name="(\d+)"/>', xml) # 获得对应关系
GlyphIDNameLists = list(set([int(Gname) for Gid, Gname in GlyphID])) # 对应关系数量转换
# print(GlyphIDNameLists)
DigitalDicts = {str(i): str(GlyphIDNameLists[i - 2]) for i in range(2, len(GlyphIDNameLists)+2)} # 数字对应关系的字典推导式
# print(DigitalDicts)
GlyphIDDicts = {str(Gname): DigitalDicts[Gid] for Gid, Gname in GlyphID} # 通过数字对应关系生成源代码跟页面显示的字典推导式
print('-' * 39 + '数字对应关系的字典推导式' + '-' * 39)
print(DigitalDicts)
print('-' * 27 + '通过数字对应关系生成源代码跟页面显示的字典推导式' + '-' * 27)
print(GlyphIDDicts)

代码运行结果

版权声明
本文为[枪林弹雨丶]所创,转载请带上原文链接,感谢
https://www.cnblogs.com/Python-XiaCaiP/p/10297698.html

编程之旅,人生之路,不止于编程,还有诗和远方。
阅代码原理,看框架知识,学企业实践;
赏诗词,读日记,踏人生之路,观世界之行;

支付宝红包,每日可领