| timezone | Asia/Shanghai |
|---|
-
自我介绍
大家好，我是KK。从事网络安全相关工作，再web3中相关工作不多，做过web3得代码审计，后期会长期深耕于Web3领域， 还需要继续努力学习。 -
你认为你会完成本次残酷学习吗？
努力完成 -
你的联系方式（推荐 Telegram）
tg：@Uncle_Kk
读了《如果 Web3 真能管事儿》这篇文章，这篇文章让我对 Web3 有了新得认知和思考。我一直觉得 Web3 每天充斥着奇奇怪怪，有模有样得东西，很多人为此而买单，看得懂得看不懂得都在涌入，说实话很难辨别哪些是优质哪些是劣质。 但是一种通过零知识证明技术实现自我监管和社会共识可以解决此问题，零知识证明技术可以验证身份、声誉和计算的完整性，为用户提供安全保障，通过零知识证明技术，可以建立一种新的社会共识，既能保证无许可的自由，又能实现必要的监管。 所以Web3 的发展离不开用户的信任，而信任的建立需要安全保障和社会共识，更是一种互相成就，互相找补得过程。
最近接手了一个非常棘手得项目，需要检测链上资金异常钱包以及资金流向追踪,所以需要TOP20主流区块链得所有交易记录，同时还得具备实时更新能力，当时我单纯以为这些数据既然是公开得那就可以直接下载得到，后面深入研究下发现要获取数据挺头疼得. 既然要获取数据就得满足3个要求1.获取所有地址得所有交易记录 2. 获取20个链上得数据 3.满足实时性。 当时想到得第一个方案就是全节点，深入研究发现，首先每个链得部署方式都不尽相同，而且依托于网络情况，最重要得需要一个庞大且无限扩容得SSD，才能容纳这么多得数据得，就以太坊得数据容量就需要12T得量级，最后维护起来是一大问题。 第二想到用区块浏览器，好处是免费方便，api直接调取，但是不能获取全量得数据，只能我需要什么数据获取某个地址得数据才可以，而且有调用限制。 第三当时问了几位DAO的大佬，建议使用服务商，Alchemy,QuickNode,Chainstack，Dune Analytics,但是这些有相对得收费标准，这个还没有深入研究。 最近会一直研究这个问题，会把找到的解决方案写到这里，当然希望有其他小伙伴有过类似的经验大佬指点一二 ，不胜感激，有对这方面感兴趣可以一起探讨，不胜感激。
找到两个数据方向
- Google BigQuery 公共数据集 覆盖链：以太坊、比特币、BSC、Solana等 数据内容： 全量历史交易 智能合约日志 ERC20转账记录 更新频率：每日批量更新（延迟约24小时）
- AWS 区块链数据集 使用方法和限制还在研究中