python爬取区块链浏览器上的交易列表数据

前言

2022年6月3日端午节安康。

今天主要分享如何利用爬虫爬取区块链浏览器上的交易列表数据。

原因

dune上没有bsc链上的转账明细数据表。FootprintAnalytics上现有的bsc_transactions表transfer_type粒度不够。

环境

python3.7

数据存储：mysql5.7

缓存：redis6.2.6

开发工具：pycharm

思路

所有协议、合约、swap地址转账信息全爬不太实际，对存储要求比较高。所以针对需要分析的协议，专门去爬取对应智能合约转账是个不错的选择。

区块链浏览器肯定是有反爬机制的。所以在代理选择上，要选择国外的代理。国内的代理都访问不到，具体原因你懂的。本文中不涉及代理部分，因为国外的代理厂家之前没有了解过。不过即使是上代理，对代码层面改动也比较小

采用了urllib同步请求+范围内随机时长程序休眠。减少了被风控的概率。但是也降低了爬虫的效率。

后面再研究用scrapy或异步请求

同步：请求发送后，需要接受到返回的消息后，才进行下一次发送。异步：不需要等接收到返回的消息。

实现

找到需要爬取合约的具体地址：

AAVE突破54美元:金色财经报道，行情显示，AAVE突破54美元，现报54.05美元，日内涨幅达到4.93%，行情波动较大，请做好风险控制。[2023/6/21 21:52:02]

第一页

http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8

第二页

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2

第三页

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3

....

可以知道p=？就代表页数。

然后F12点击“网络”，刷新界面，查看网络请求信息。

主要查看，网页上显示的数据，是哪个文件响应的。以什么方式响应的，请求方法是什么

Santiment：体现市场恐惧的社媒趋势指标或预示比特币即将反弹:5月21日消息，区块链分析公司Santiment最近指出，比特币的前景可能看涨，其关键指标类似于2022年11月FTX崩溃后的情况。数字资产领域普遍存在的恐惧，可能预示着比特币即将反弹。此外，Santiment发现，随着比特币的价格跌至2.6万美元，社交媒体上关于比特币的讨论有所增加。比特币的社交媒体讨论主导地位增加，通常被认为是一种恐惧的迹象，会增加市场反弹的可能性。

Santiment指出，比特币交易大幅减少，这是自2021年7月以来从未见过的低点。这一时期标志着比特币的底部约为29000美元，然后反弹至约69000美元的历史高点。据报道，自2021年7月以来，该网络每天交易的唯一比特币地址数首次少于80万。比特币效用的下降和市场价格的调整可能是其价格可能上涨的另一个迹象。（Crypto Globe）[2023/5/21 15:17:10]

如何验证呢，就是找一个txn_hash在响应的数据里面按ctrl+f去搜索，搜索到了说明肯定是这个文件返回的。

查看响应的数据，是html的格式。在python里面，处理html数据，个人常用的是xpath

在python里面安装相关的依赖

《富爸爸穷爸爸》作者：第三家美国银行即将倒闭:金色财经报道，《富爸爸穷爸爸》作者罗伯特·清崎在社交媒体发文称，硅谷银行的倒闭和Silvergate银行的自愿清算之后，又一家银行即将面临倒闭，但他没有透露第三家面临困境的银行名称，此外他还预测一旦第三家银行出现问题，黄金和白银价格可能会走高，而ETF产品可能会面临困境，罗伯特·清崎曾在2008年在CNN采访时预测雷曼兄弟倒闭。[2023/3/12 12:57:48]

pip?install?lxml?‐i?https://pypi.douban.com/simple

同时在浏览器上安装xpath插件，它能更好的帮助我们获到网页中元素的位置

XPathHelper-Chrome网上应用店(google.com)

然后就可以通过插件去定位了，返回的结果是list

**注：**浏览器看到的网页都是浏览器帮我们渲染好的。存在在浏览器中能定位到数据，但是代码中取不到值的情况，这时候可以通过鼠标右键-查看网页源码，然后搜索实现

巴拿马最高法院将对加密货币立法作出裁决:金色财经报道，巴拿马总统Laurentino Cortizo于1月26日将被称为 \"加密货币法案 \"的第697号法案送交高级法院审查和批准，此前他反对这项立法，声称它违反了宪法的核心原则，而且无法执行。最高法院现在必须决定是宣布该立法不可执行，还是在修改后批准它。

根据一份官方声明，政府认为法案的第34条和第36条是不可执行的，因为它们违反了国家的分权原则，在政府内部建立了行政机构。（cointelegraph）[2023/1/30 11:35:52]

#?请求和xpath定位具体实现代码：

def?start_spider(page_number):

????url_base?=?'http://bscscan.com

/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&'

????#?请求头

????headers?=?{

????????'User-Agent':?'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/92.0.4515.159?Safari/537.36',

????????'referer':?'https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8'

跨链收益聚合器 Astrolab 完成 50 万美元 Pre-Seed 轮融资:金色财经报道，跨链收益聚合器 Astrolab 完成 50 万美元 Pre-Seed 轮融资，参投方包括 Apollo Capital、Jane Street、0x Ventures、Upside DAO 等。

据悉，Astrolab 基于 deBridge 和 LayerZero 开发，旨在使用户可以在多链上更高效地分配资金。[2022/12/13 21:40:17]

????}

????#?需要传入的参数

????data?=?{

????????'p':?page_number

????}

????#?将参数转为Unicode编码格式

????unicode_data?=?urllib.parse.urlencode(data)

????#?拼接网址

????#?http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8

????url?=?url_base?+?unicode_data

????#?自定义request对象

????request?=?urllib.request.Request(url=url,?headers=headers)

????#?模拟浏览器发送请求

????response?=?urllib.request.urlopen(request)

????#?将返回的数据利用lxml转为

????tree?=?etree.HTML(response.read().decode('utf‐8'))

????#?//div//tbody//td//span/a/text()

????txn_hash_list?=?tree.xpath("//div//tbody//td//span/a/text()")

????#?//div//tbody//td//span/text()

????method_list?=?tree.xpath(

????????"//div//tbody//td//span/text()")

????#?//div//tbody//td//text()

????block_list?=?tree.xpath("//div//tbody//td//text()")

????#?//div//tbody//td/span//img/20230519064427201048/5.jpg "/>

最后就是存入到数据库了。这个没啥好说的。

以上就可以拿到转账列表中的txn_hash，后面还要写一个爬虫深入列表里面，通过txn_hash去爬取详情页面的信息。这个就下个文章再说，代码还没写完。

今天就写到这里。拜拜ヾ(?ω?`)o

来源：Bress

作者：撒酒狂歌

来源：金色财经

标签：比特币BSCCOMPAT比特币价格实时行情新浪BSC BETSSafe Community TokenXPAT价格

Gate.io热门资讯