绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
Python 爬到的数据被加密了,可怎么办?
2020-02-05 19:51:52


Python 爬到的数据被加密了,可怎么办?

作者:州的先生

出处:州的先生

随着网络上爬虫的横行和猖獗,各大网站为了大限度地限制自家数据被采集,纷纷加入了各种反爬手段,比如:

  • 生成浏览器UA指纹识别;

  • 用各种验证方式(短信、滑块、点选汉字、点击)进行识别;

  • ……

这一类的反爬手段都是一层防御,类似于城堡的城门一样,只要突破这道防线,就可以为所欲为了。

Python 爬到的数据被加密了,可怎么办?

除此之外,还有一些网站,会进行二层防御,对数据加入各种限制措施,比如混淆、加密等。这就像我们进了城门之后,要是想进某某内城,还得经过门口的官兵对腰牌和核验。

Python 爬到的数据被加密了,可怎么办?

比如某电商网站就在数据中使用了AES加密,其返回的数据如下图所示:

Python 爬到的数据被加密了,可怎么办?

经过解密之后,我们可以得到真正的数据为,如下图所示:

Python 爬到的数据被加密了,可怎么办?

这就是利用Python进行AES解密实现的,下面,我们来介绍一下在Python中对数据进行AES加密和AES解密。

简介

以下内容来自于网络,大家随便看看,如果想详细了解,可以找专门的资料进行学习:

AES全称为加密标准,是Advanced Encryption Standard的首字母简写。

AES加密标准又称为加密标准Rijndael加密法,是美国国家标准技术研究所NIST旨在取代DES的21世纪的加密标准。AES的基本要求是,采用对称分组密码体制,密钥长度可以为128、192或256位,分组长度128位,算法应易在各种硬件和软件上实现。1998年NIST开始AES轮分析、测试和征集,共产生了15个候选算法。[1]

1999年3月完成了第二轮AES2的分析、测试。2000年10月2日美国政府正式宣布选中比利时密码学家Joan Daemen和Vincent Rijmen提出的一种密码算法Rijndael作为AES的加密算法。

AES加密数据块和密钥长度可以是128b、192b、256b中的任意一个。AES加密有很多轮的重复和变换。大致步骤如下:①密钥扩展(Key Expansion);②初始轮(InitialRound);③重复轮(Rounds),每一重复轮又包括字节间减法运算(SubBytes)、行移位(ShiftRows)、列混合(MixColurmns)、轮密钥加法运算(AddRoundKey)等操作;①终轮(Final Round),终轮没有列混合操作(MixColumns)。

加密

在这里,我们选用AES加密算法中的CBC模式来进行演示。

在上面我们提过,AES加密算法的CBC模式采用密钥和偏移量的方式对数据进行加密,所以我们首先定义几个公共的参数,包括原始数据、密钥、偏移量和AES的CBC模式,代码如下所示:

a = '''{'name':'州的先生','url':'zmister.com','desc':'编程应用实战'}''' # 原始数据k = 'zmistercomzmiste'.encode('utf-8') # 密钥iv = b'1234567890asdfgh' # 偏移量mode = AES.MODE_CBC # 模式

在这里,我们设置的密钥长度为16位字符串,也就是128位字节,在AES加密算法中,密钥的长度必须为16位字符串(128字节)、34位字符串(192字节)、32位字符串(256字节)。

接着,我们创建一个函数,用来对原始的数据进行加密:

# 加密数据def cryp_str(value): value = value.encode('utf-8') # 对数据进行utf-8编码 cryptor = AES.new(k, mode, iv) # 创建一个新的AES实例 length = 16 count = len(value) # 如果数据长度小于密钥长度 if count < length: add = (length - count) # \0 backspace text = value + ('\0' * add).encode('utf-8') elif count > length: add = (length - (count % length)) text = value + ('\0' * add).encode('utf-8') ciphertext = cryptor.encrypt(text) # 加密字符串 print("原始加密数据:",ciphertext) ciphertext_hex = b2a_hex(ciphertext) # 字符串转十六进制数据 print("十六进制加密:",ciphertext_hex) ciphertext_hex_de = ciphertext_hex.decode print("十六进制加密字符串:",ciphertext_hex_de) return ciphertext_hex_de

我们将原始数据传入其中运行,可以得到加密后的数据,如下图所示:

Python 爬到的数据被加密了,可怎么办?

在完成使用Python对数据进行AES加密之后,我们继续使用Python对AES加密的数据进行解密。

解密

相较于AES加密,AES解密要简单得多。我们首先实例化一个AES类,然后将加密的十六进制数据转换为字符串形式,接着调用AES实例的decrypt方法对数据进行解密即可,后再对解密的数据进行解码,就可以得到原始的数据,其代码如下所示:

# 解密数据def decry_str(value): cryptor = AES.new(k, mode, iv) # 创建一个AES实例 value_hex = a2b_hex(value) # 将十六进制数据转换为字符串 plain_text = cryptor.decrypt(value_hex) # 对字符串进行解密 print("解密数据:",plain_text) print('解码解密数据:',bytes.decode(plain_text).rstrip('\0')) return bytes.decode(plain_text).rstrip('\0')

我们将之前AES加密的数据作为参数传入其中并运行,后得到解密后的原始数据,如下图所示:

Python 爬到的数据被加密了,可怎么办?

这样,我们就完成了使用Python对数据进行AES加密和解密。

在实际的网站中,可能数据不仅仅是通过一种加密手段进行的加密,更多的加密数据会使用多种加密手段进行混淆加密。面对这种情况,一定要先摸透数据的加密过程,不能盲目尝试。


分享好友

分享这个小栈给你的朋友们,一起进步吧。

未知元素
创建时间:2019-11-10 22:02:06
未知元素
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • xiechundi
    栈主

小栈成员

查看更多
  • 渔人
  • abc
  • zyl
  • ?
戳我,来吐槽~