Bamvor 2018-10-20T04:56:08+00:00 bamv2005@gmail.com Meituan Position Performance Kernel And Docker 2018-10-20T00:00:00+00:00 Bamvor http://aarch64.me/2018/10/meituan-position-performance-kernel-and-docker 美团基础设施部门(?)招聘性能优化,分布式存储和内核职位

半瓦按:经常有朋友找人或找工作,想了想,单开了板块撮合大家。JD和简历都可以砸过来。

职位1:

全栈性能优化专家

职位描述: 负责私有云平台全栈的性能分析和优化

岗位要求: 1.熟悉x86系统架构、linux系统架构 2.具有丰富的全栈性能优化经验:硬件层性能优化、操作系统层性能优化(linux)、应用层性能优化; 3.熟悉各层常用的性能分析工具 4.熟悉了解各层常用的性能优化方法和一般理论 5.硬件层优化需要熟悉了解常用的硬件的特性和常用的优化手段和评测方法:cpu/mem/disk/网卡/x86多路服务器等 6.操作系统层优化主要针对linux系统,需要比较熟悉linux的内核实现和各种优化调测手段: 内存优化、调度优化、协议栈优化、文件系统优化等 7.应用层需要有丰富的jvm调优经验、c/c++应用调优经验等 8.以上满足3点即可

职位2:

分布式块存储开发运营专家

职位描述: 负责制订私有云平台使用分布式块方案的整体方案和问题解决,积极引入业界的成熟经验成果

岗位要求: 1.熟悉业界主流的分布式块存储产品,熟悉其特性差异,比如ceph、EBS等; 2.有过实际的分布式块存储产品开发经验或运营经验尤佳; 3.熟悉业界主流的云计算平台使用分布式块存储的方式和部署方案 4.熟悉云计算产品,了解其中的节点扩容、缩容、迁移、网络QoS保障、IO QoS保障等 5.有过实际的云计算平台接入分布式块存储的实际优化经验尤佳 6.做事严谨认真,对结果负责 7.善于沟通,做事灵活

职位3:

Linux内核开发工程师/专家

职位描述: 负责美团私有云平台kernel的维护演进和升级迭代

岗位要求: 1.熟悉操作系统原理,熟练掌握C/bash等; 2.熟悉Linux内核,精通某一子系统更佳,比如内存管理系统、调度系统、网络协议栈、文件系统等 3.熟悉常用的kernel debug技巧和工具,有实际的kernel开发和debug经验尤佳; 4.熟悉kernel开发社区,在kernel社区有贡献的优先; 5.需要候选人长期专注于kernel,做精做深,直接参与社区,一方面积极将内部的特性推向社区,一方面积极引入社区新特性; 6.做事严谨认真,对结果负责; 7.应届生基础好的也非常欢迎;

有意可私信笔者或直接发邮件和何大侠:heguanjun@meituan.com

半瓦的公众号文章

]]>
Thoughts After Watching Hichki 2018-10-16T00:00:00+00:00 Bamvor http://aarch64.me/2018/10/thoughts-after-watching-Hichki 《嗝嗝老师》,接纳与成长

整个电影给我印象最深刻的是接纳与成长。这并不仅仅是9F班,而是整个学校包括所有老师和同学,甚至包括他们父母共同的话题。就像影片最后9A班的班主任所说的,他原来总认为做老师很难,后来才明白做学生更难。学生做错就会被扣分,但是老师教错了并不会被扣分。

影片的开始是奈娜(Naina Mathur)小时候由于妥瑞氏疾病会发出怪叫一度面临退学,但是由于可汗校长对她接纳,她才能在普通的学校完成学业拿到双硕士学位,而不用去特殊教育学校。奈娜由此坚信自己应该去做一名老师。她宁可五年被18所学校拒绝,甚至被母校拒绝五次,仍然不放弃。

9F班是因为拆迁而并入这所学校的,全部都是贫民窟的学生。家长为了生活而疲于奔命,有的家长甚至家访都找不到人。奈娜耐心的了解学生,希望学生们能够放下自己的害怕与恐惧,通过飞纸飞机把自己的害怕和恐惧抛诸脑后。 整个电影给我印象最深刻的,我觉得是在说接纳与成长。这并不仅仅是9F班,而是整个学校包括所有老师和同学,甚至包括他们的父母共同的话题。就像影片最后9A班的班主任所说的,他原来原来总认为做老师很难,后来才明白做学生更难,做错就会被扣分,但是老师教错了并不会被扣分。

一起仍飞机fly-paper-plane__small 和同学们一起仍飞机,图片来源:http://img3.doubanio.com/view/photo/raw/public/p2535365470.jpg

同时她去观察孩子们的特点,他发现贫民窟的孩子生活经验很丰富,每个人都有每个人的优势,修车铺的孩子Aatish数学计算能力很强,有的人做饭很好,她把每个人所擅长的和学习的知识联系在一起,用抛鸡蛋学习抛物线,用投篮学习物理知识。

Aatish最终选择信任奈娜,放下自己之前信任别人而被抛弃所积累的恐惧。与全班希望老师继续做他们的北极星。孩子们和老师之间的互相接纳,看得半瓦落泪。学校认为他们不安全,不让他们在学校继续学习,他们就在船上在,在大街上,在一切能学习的地方学习。影片的最后9F, 9A学生一起完成了科技竞赛的作品并获奖。

Naina-being-Polaris-of-her-students--bamvor__small 孩子们希望奈娜继续做他们的北极星,原始图片来源:http://img1.doubanio.com/view/photo/raw/public/p2535298119.jpg

延伸阅读

本文首发笔者公众号《敏达生活》,欢迎勾搭,拍砖。

]]>
Career Rethinking 2018-10-14T00:00:00+00:00 Bamvor http://aarch64.me/2018/10/career-rethinking 读辉哥奇谭文章体会

你是否愿意降薪选择一份自己喜欢的工作?我心里面觉得这样的文章其实对我来说没有意义,因为我一直是觉得机会重要,将心没有那么重要。但是我发现,其实我没有回答辉哥说的这两个问题:

第一:你最想要什么?

第二:为了你想要的,你可以失去什么?

我之前只是做了鸵鸟。然后顺着看了《找工作时不要追求「顶薪」》

最关键的是一定要「上车」,并且坚持。这样,当公司业务发展,而你自己也在公司内成长时,会形成「双引擎驱动」薪水增长的局面。

我自己的感觉是上车容易坚持难。我自己就是加入一家公司之前有很多想法,加入之后很容易被所谓的琐事带跑偏了。回想起来,这样的原因是没有细化和可以执行的目标。然后看了《别把收入当身价》 ,里面提到理想情况是“身价高于收入”。然后顺着看了《为什么你需要三份收入?》 里面提到:

本职工作的收入;

「第二职业」的收入;

投资产生的收入。

说到第二职业的收入,之前作微信公众号楼和知识星球的时候,除了希望粉丝上涨,其实没有什么目标,就是觉得自己需要积累。回到人生一页纸,生活是比较清楚的:持续的个人探索,每周一天放空自己。每周3小时健身。我未来的技术目标是什么?如果我看好p2p,那么ipfs只是我的一个切入点。点对点计算,存储和网络才是完整的解决方案,并直接解决了业务的痛点才算是闭环。那关键结果是什么呢?可能有两条:

  • 关注p2p的技术发展;
  • 主流技术栈的开发能力;
    • 编码能力;
    • 社区参与。
]]>
Understanding Children With Drawing 2018-10-02T00:00:00+00:00 Bamvor http://aarch64.me/2018/10/Understanding-Children-with-Drawing 《理解孩子的画》——与孩子一起成长

这一期的读库MOOK寄来了两本书,一本书《理解孩子的画》,一本是《母亲这种病》。之前朋友推荐过一本书是《培养孩子从画画开始》,没有静心看下去。这次看了看这本书,很希望里面的配色。做些笔记,对照孩子们的画,与大家分享。

img

  • 作者: [法] 热内·巴尔迪

  • 出版: 新星出版社

  • 出版时间: 2018-9

第16页

书摘:蚂蚁和孩子:“蚂蚁会不会画小人?想象你正在一条小河的岸边,看着一只蚂蚁在筑坑洼注的地面上行进,突然,蚂蚁在潮湿的沙土上留下的痕迹,让你联想到一个小人的形象。蚂蚁难道两了个小人?没有。蚂蚁根本不知道什么是小人,也根本无意画出小人。就算蚂蚁留在地上的痕迹形成了“小人“二字,你也不会觉得它真的写了这两个字。无论蚂蚁的足迹构成什么样的形状,它都没有任何表征含义。即使这些形状与某些事物之同有着相似性,也无法称其为“画现在,三岁的孩子在潮温的沙土上用手指画了几条线,然后自豪地宣称:“找画了一个小人!”你观察着孩子的涂鸦,可能完全找不出它和小人的相似之处。尽管如此,你仍然会承认:既然孩子说了,

那他肯定是画了个小人。这个故事的寓意在于,相似性既不是形成画的必要条件(孩子的画),也不是充分条件(蚂蚁的足迹)。只有在两个意图交汇的情况下,线条才成为画,那就是:孩子画画时的意图,以及你看他画画时的意图。”

想起小女儿3.3画的手套(左上角蓝色区域)。

根据下面这个手画的

第19页

年龄并不重要,关键是了解孩子对图形认识的过程。另外比较喜欢这本书的配色。小女儿3.3画的三角龙:

第30页

是否让孩子填色,我始终看到过不同的说法。最开始和孙瑞雪只能找个幼儿园的妈妈,交流开始,一直是认为让孩子填色是不好的,因为这样会限制孩子的自由发挥。另一方面,蒙氏幼儿园里面普遍使用图形的填色,练习孩子手指对于笔的控制力。我想关键的问题并不是孩子是否填色,而是孩子填色中的感受和收获,他是在享受填色的过程,试图控制他的画笔,还是被迫按照书上的颜色和方式去画他的画。

大女儿 3.0的时候用毛笔画画,宝宝自己发现可以把毛笔按成扇面画画。

##第36页

大女儿4.2和爸爸一起做的草原,草是两个人一起贴的,背景是大女儿独立画的:


*《理解孩子的画》的原文和笔记通过 滴墨书摘APP 导出

#

]]>
Filecoin Faqs 2018-10-02T00:00:00+00:00 Bamvor http://aarch64.me/2018/10/Filecoin-FAQs Filecoin官方FAQ缩编和解读

10月2日协议实验室官方发布了FAQ。这是今年继多篇存储证明(Proof of Replication)论文(参考公司星际比特的发问:深度剖析复制证明论文),Q1,Q2 Update(参见笔者文章:是戏法是真货?深度解读Filecoin Q1&Q2 Update)之后第三篇长文,笔者读后觉得信息量很大。下文节选了笔者感兴趣的新增内容并标出了重点,与诸君分享。原文地址:https://filecoin.io/faqs,全文翻译见公司公众号IPFS星际比特文章:IPFS/Filecoin发布官方FAQs

注:下文以半瓦开头的内容是笔者所加,其余为官方内容。

什么是Filecoin和IPFS

FAQ从IPFS和Filecoin是什么开始,着重回答了两个问题:

  • “When should I choose to use Filecoin and when should I choose IPFS?)”(“什么情况下选择Filecoin,什么情况下选择IPFS?”):使用IPFS,意味着需要自己管理存储节点,每个节点都需要主动存储数据,IPFS层的每个节点并不会保证数据不会丢失。Filecoin通过激励机制解决了上述问题。
  • Filecoin和中心化存储(google cloud,apple cloud,百度网盘)的区别。

挖矿

Storage miners 得到块奖励(block reward)和交易费用(transaction fees)是和矿工对网络贡献的存储能力成正比的,和hash算力无关。 Retrieval miners想获得对于特定文件的出价和交易费用,需要看带宽,出价或对于交易的初始相应时间(时延,与客户的距离)。retrieval miner能支持的最大交易量由最大带宽决定。

矿机的形态和NAS类似,具体的CPU和内存要求还没有确定。值得注意的是,早起矿工需要做为全节点(Full node)接入Filecoin网络。

由于Filecoin使用的Proof-of-Replication and Proof-of-Spacetime并不是(类似于比特币的)计算hash的PoW。虽然Filecoin的proof需要硬件的辅助,但是由于ASIC(专用集成电路)随机访问大内存成本比较高,所以ASIC用场不大。协议实验室认为商业硬盘在产生和验证证明都能做到有竞争力的速度。

存储节点会存储两部分内容,一个是sealed数据(也就是用户要实际存储的数据,seal目的见文末名次解释),另一部分是Filecoin区块链本身的数据。用户数据本身并不包括在Filecoin链上数据中。Filecoin区块链的数据会远远小于用户数据的数量。

Retrieval miners允许自己存储数据,但是这并不意味着Retrieval miners成为Storage miners。Filecoin鼓励更多的Storage miners,它们可以质押存储,担保和通过Proof-of-Spacetime证明存储的连续性。

我们预计Retrieval miners同时会成为Storage miners或者从Storage miners得到他们认为的热点文件。Retrieval miners并不一定从Filecoin得到数据,也可以从IPFS网络(免费)得到。

在存储市场,矿工通过一直存储具体特定的文件获得奖励,同时存储市场的矿工有机会得到出块奖励以及记录在该块的所有交易的费用(和其它加密货币类似)。在索引市场,矿工通过更快为off-chain(链下)提供文件得到奖励。

客户

在解释为什么要使用Filecoin而不是已有token或直接使用美元时,协议实验室强调“Payment and rewards in filecoin power the incentive structure to guarantee a fair, permissionless, robust, and decentralized storage network.”,Filecoin的token FIL用于提供一个公平,permissionless,鲁棒和去中心化的存储网络。 半瓦注:permissionless networks相对于permissioned network,前者例如比特币,以太坊等公链,任何人都可以参与的网络。

在Filecoin得到数据是否是付费的?有些情况是,有些情况不是。 Filecoin中最基本的情况是,客户为得到数据付费。当然这个情况不能满足当前互联网的所有情况。例如可能有公司或组织通过优惠券的方式(免费)为最终客户提供数据服务,例如网站的运营者为网站付费,Filecoin的最终客户可以免费访问这个网站。(单纯的)IPFS节点和网络仍然是免费的。Filecoin上线后,IPFS节点可以收费或免费提供数据。此外,我们相信,会有非政府组织或政府赞助访问科学或文化数据(最终客户可以免费)。半瓦:看起来协议实验室官方认为会有很多Filecoin的运营商

没人能保证数据一定不会丢失,但是Filecoin网络会尽力保证数据尽可能可靠的做了副本。如果某个Filecoin节点数据丢失,它会损失它的质押的FIL。这里如果节点短时不在线,不会损失质押,长时间不在线才会。Filecoin网络会(通过存储市场?)自动找到另一个节点存储数据。

Filecoin市场有个默认的副本数量,客户可以根据需要调整副本数量。

如何保证hash碰撞?Filecoin选择了当前供认的不容易碰撞的hash算法。同时Filecoin使用CID保证未来平滑升级到其它(更好)的hash算法。半瓦:目前IPFS社区正在致力于从CIDv0升级到CIDv1

但是hash很难记忆怎么办?Filecoin社区计划解决这个问题。

Filecoin进阶

在去中心化这节,Filecoin列出了很多点,下面这些点看起来是说明Filecoin开源和建立基金会的信心,(半瓦:但是如何在初期保证社区不会分裂呢?) 任何人,无需任何许可可以:

  • Audit and verify the codebase
  • Improve the protocol by proposing and implementing improvements
  • Fork the codebase
  • Fork the blockchain

社区

再次强调Filecoin在中国没有官方社区。

提到了Filecoin meetup。

社区研究奖励

目前有效的有两个,都是关于CRDT的,最高能有20万美元的奖励:

名词解释

Seal操作的目的是:

强制保存多个不同副本时每个副本都是有差异的;

保证PoRep的Setup时间比Challenge时间长。这就是保证了存储矿工不可能在Verifier检查文件是否存在时临时生成指定的副本。

你可能感兴趣的文章

半瓦平时有随手记笔记的习惯,公众号原创文章只分享自己有体会的信息,希望能促进价值信息流动。任何建议欢迎给我留言或添加我的微信(公众号《敏达生活》后台回复“微信”,可以看到半瓦的微信)。

本文首发笔者公众号敏达生活,欢迎大家勾搭,拍砖。

]]>
IPFS+Filecoin北京meetup by 董天一(2018年9月15日) 2018-09-16T00:00:00+00:00 Bamvor http://aarch64.me/2018/09/Filecoin-IPFS-meet-up-Beijing 今天(2018年9月15日)在北京中关村IC咖啡,董天一老师为大家讲解了Filecoin,IPFS和Libp2p三个项目,笔者之前对ipfs和libp2p有些了解,仅仅记录了之前不知道的信息。供大家参考。从左至右分别是徐潇,戴嘉乐和董天一 从左至右分别是徐潇,戴嘉乐和董天一

热场

  • 全球大约2700人的社区,以开发者为主。
  • 协议实验室之前没有商务,现在刚有。
  • 中国只有志愿者没有官方渠道。

why filecoin

提到5G有更新的延迟,IPv6对于物联网的价值。强调js ipfs对于接入ipfs的意义。笔者之前写的Filecoin Q1和Q2 update对此也有涉及。

libp2p介绍

董天一提到libp2p规划做共识协议。笔者觉得应该是overlay在libp2p之上。google搜了下,只看到https://github.com/libp2p/go-libp2p-consensus,这个项目只在2016年有几个更新,并且github上没有其它项目引用。徐潇说目前代码尚未公开,看来是启动了新的项目。这个倒是比较符合协议实验室的习惯(笑)。

网络穿透

不管filecoin还是ipfs都是基于libp2p协议。内网需要NAT做穿透。最新的协议是Interactive Connectivity Establishment (ICE) (rfc8445(参考链接1))。董天一在寻求ICE go语言版本的合作。目前他不清楚社区是否能在上线前完成。戴嘉乐成立的公司有技术专家在和社区和一起做这个事情。

IPFS

IPFS全球节点分布。可以看到欧洲和美国最多 IPFS全球节点分布。可以看到欧洲和美国最多

awesome.ipfs.io awesome.ipfs.io

笔者所在公司星际比特计划从中选择一些有趣的项目介绍,已经完成的文章:

ipfs子网

董天一认为ipfs未来会成为互联网的子网。重点讲了浏览器对于ipfs的支持。

filecoin

爱西欧

Filecoin代币经济体系 Filecoin代币经济体系

  • 首先解释了为什么filecoin付费是合理的,世界上没有免费的午餐。
  • 提到了后续会成立filecoin基金会。
  • filecoin在2017年解决了没有度量网络带宽的问题:retrieval market(流量市场)。
  • 通过时空证明分发新币。只和存储矿工有关系。
  • 使用micro payment减少双花的概率。Filecoin是谁(矿工)提供数据给谁钱。
  • 复制证明的论文提到了形式化证明。
  • seal的sector目前在1M到1T之间。未来没有确定。很耗费cpu。

共识

PoStake -> PoStorage -> PoRep -> PoSt

问答

问题ipns有没有机会?

没有。另外觉得ipns性能还需要优化。

Erasure Code

Filecoin EC默认是5+2

第一批矿工的代币从哪里来?

(这个笔者之前没有考虑过)。主网上线前,代币会有发放方法。例如注册早期矿工空投。

内网专线。

如果有内网专线,异地走内网(比走公网快)有没有意义? 网络会做自平衡,优先考虑距离近的用户。 离用户距离近,指的是延迟和带宽。

ipfs目前主要是cdn应用。

戴嘉乐成立了公司做ipfs

ipfs社区

董天一是ipfs大使(中国)

参考链接

  1. rfc8445(ICE): https://tools.ietf.org/html/rfc8445
]]>
在Windows和Linux下设置go-shadowsocks2 2018-09-01T00:00:00+00:00 Bamvor http://aarch64.me/2018/09/go-shadowsocks public/images/shadowsocks/set_proxy__chrome__01__setting.jpg public/images/shadowsocks/set_proxy__chrome__02__advanced.jpg public/images/shadowsocks/set_proxy__chrome__03__open_proxy.jpg public/images/shadowsocks/set_proxy__chrome__04__lan_setting.jpg public/images/shadowsocks/set_proxy__chrome__05__proxy_setting.jpg public/images/shadowsocks/set_proxy__edge_01__internet_properties.jpg public/images/shadowsocks/set_proxy__edge_02__connection.jpg public/images/shadowsocks/setup_proxy_in_chrome.png

]]>
是戏法是真货?深度解读Filecoin Q1&Q2 Update 2018-08-31T00:00:00+00:00 Bamvor http://aarch64.me/2018/08/Filecoin-Q1-and-Q2-Update 北京时间周二午夜,协议实验室公布了Filecoin 2018年第一季度和第二季度的进展(参考链接1),内容包括开发进展,研究进展,路线图,媒体报道和演讲,filecoin与协议实验室两个两个项目IPFS和libp2p的关系等内容。Update描述的Filecoin开发进展比之前详细的多,再结合Q2 Roadmap(参考链接2),心里觉得踏实很多,感觉Filecoin项目还是挺靠谱的。

从Filecoin开发进展开Filecoin架构

图1: Filecoin Development Update 上面是Filecoin的开发进展,这是Filecoin项目第一次涉及到和协议实验室的IPFS和libp2p两个项目的关系。原本这篇文章之前,我心里面Filecoin和二者的关系是这样的。 图2: 我原本想象的Filecoin与IPFS和libp2p 看完这次资料之后,脑补了下面这张图: 图3: 脑补Filecoin与IPFS,Libp2p关系 上图中数字代表开发进展中的数字编号。上图中IPLD是IPFS中的重要组件(见下图),它用于IPFS数据表示和管理,IPFS中默认使用balanced merkledag存储数据。 图4: IPFS Stack 下图是协议实验室js-ipfs团队提供的IPFS核心架构图,可以看到DAG向上通过unixfs提供和*nixz一致的文件和目录管理,对下连接Bitswap(即上图的exchange,节点间数据交换)和blocks service(IPFS节点负责本地存储的接口)。笔者后续可以会写IPFS数据之旅系列文章,心急的小伙伴可以参考 这篇文章:Understanding the IPFS White Paper part 2 (参考链接3) 图5: ipfs core architecture https://github.com/ipfs/js-ipfs#ipfs-core-architecture 上图没有表示的内容有:

  • 第四条“miners can assemble blocks”结合Roadmap的“Miners can assemble transactions into a block (block creation)”,可以知道Filecoin目前已经可以从transactions建立区块(Block)。
  • 第五条”the nodes validate blocks & achieve consensus on the heaviest chain”和后面roadmap的“Nodes can choose the heaviest (or highest quality) chain (consensus)”,看起来是防止分叉的事情,具体怎么做的还不清楚。想一想现在的区块链项目很多是基于DAG的账本,Filecoin会不会也是呢?
  • 8, 9, 10三条都是Filecoin协议的实现,参见Filecoin白皮书: 图6: Illustration of the Filecoin Protocol, showing an overview of the Client-Miner interactions. from Filecoin whitepaper 参考链接2中的Roadmap还提到了Gas(运行智能合约的费用),下图是以太坊中gas对虚拟机执行智能合约(智能合约概念参见参考链接4)的影响: 图7: ethereum evm 有心画成computes.io的样子,还是缺一些信息: 图8: computes.io architecture

Filecoin研究进展

Filecoin研究一直围绕复制证明(Proof of REPlication)进行。在协议实验题500万美元的资助下,今年上半年也的确有5篇PoREP论文(参见公司公众号的解读:深度剖析复制证明论文),目前这方面研究已经转向PoREP的细分领域。 进展同时强调,上面对于PoREP的改进和Filecoin的测试网络是并行进行的,这里面的优化是说的性能优化,我认为言外之意是测试网络上线的时候很有可能不会用到这些性能优化,也就是说刚开始测试矿机需要性能比较强。考虑到Filecoin未来的需求,团队也在如下方面有部分投入:

  1. fully off-chain market orders;
  2. chain compression using proofs;
  3. user-defined file contracts;
  4. scalable consensus. 这次Update和Roadmap多次提到了On-chain和Off-chain的工作。结合之前Filecoin白皮书的Filecoin客户与矿机之前的交互协议(见前文图6),可以有更准确的理解。

libp2p与Filecoin

Other libp2p transports for Filecoin Highlight里面重点提到了Transports。

QUIC

libp2p新增的QUIC准备用在Retrieval Market。QUIC是libp2p的Transport接口(参考链接5)的实现。默认的Transport实现包括TCP,UTP(Micro Transport Protocol)。另一方面,go-ipfs QUIC支持正在合入 add QUIC support (参考链接6)。未来可以使用形如下面的multiaddress通过QUIC访问,”/ip4/0.0.0.0/udp/4001/quic/“,此外社区再讨论要不要支持”/ip4/127.0.0.1/udp/0/quic”,0表示由操作系统分配端口。

Tor

Tor改善了网络通信的匿名和隐私,所以适合用在用在安全和隐私要求比较高的存取文件场景。从2015年开始,社区就开始讨论Tor集成到IPFS,目前有两个思路,一个是OpenBazaar项目的go-onion-transport(参考链接7),需要在系统或浏览器中集成Tor,并打开Tor control port,参见:参考链接8。另一种是IPFS中集成Tor。

使用libp2p的区块链项目

libp2p used by many blockchain application Libp2p有Polkadot, 以太坊,OpenBazaar(项目介绍参见公司公众号文章 :IPFS生态之淘宝篇), Livepeer, Keep Network和Paratii等区块链项目使用。其中Polkadot和以太坊都在最近从以太坊的devp2p迁移到了协议实验室的libp2p,而且Polkadot还是第一个实际使用rust-libp2p的项目(参考链接8),笔者也很吃惊,要知道libp2p的rust开发时间是最短的,但是Rust在移动设备,嵌入式设备和c语言绑定方面有很大优势。又没有go语言的gc问题。想必对于Polkadot要解决区块链互操作性问题有帮助。

IPFS与Filecoin

IPFS和Filecoin这部分说明了什么是IPFS,并解释了二者的关系,但是有意思是的,里面没有提到任何IPFS具体技术。似乎说明IPFS基本满足了Filecoin的需要。有意思的是,IPFS和libp2p两部分都强调了二者对浏览器的支持,笔者猜测Filecoin所有的监控运维能力都通过ipfs和libp2p实现,从浏览器直接通过libp2p协议连接到Filecoin网络。 Some recent IPFS User Highlights

Roadmap / Upcoming Milestones

go-filecoin collaborator & contributor preview (ETA: 2018 Q4)

在今天第四季度,go-filecoin会引入早起社区贡献者。申请表格有如下信息:

  • 提到了go和rust两门语言的要求,意味着Filecoin未来会有go和rust两个版本。
  • 两个问题提到关于是否了解开源开放方式。在github上有持续活跃的贡献,对开源社区运作比较了解对申请会有帮助。
  • 是否对协议实验室的IPFS和libp2p有贡献。前文已经提到,Filecoin与IPFS和libp2p的关系,对二者有实际贡献有助于更好的参与Filecoin的开发。
  • 语言和地区。希望不同地区的人都能参与,并帮助翻译文档。

    ## ETA: 2018 Q4/2019 Q1 Opening up the go-filecoin codebase; Launching the first public Filecoin testnet 2018年第四季度和2019年第一季度安排了两个事情,go-filecoin项目开源和第一个公共测试网络上线。二者其实并没有依赖关系。早期矿工调查表格包括:矿工的硬盘类型(HDD,SSD和磁带),矿场容量(最大10PB+,10PB+的矿场群将在2019年第一季度测试),带宽等信息。

go-filecoin v1.0.0 feature freeze (ETA: 2019 Q1/Q2)

2019年第一第二季度go-filecoin v1.0.0版本feature freeze(特性冻结)。此后不能再添加新的特性,在修复所有已知问题之后,会进入Code Freeze(代码冻结)。Code Freeze之后做系统测试,如果没有问题,版本会Release(发布)。

Security Review & Audit (ETA: 2019 Q1/Q2)

1.0.0 release之后会进行严格的安全review和审计。

Launching the Filecoin mainnet (ETA: 2019 Q2/Q3)

主网上线之后,会持续改进网络的扩展性,完善网络工具,建立Filecoin基金会。基金会是开源社区的一种运作方式。例如Linux foundation(Linux基金会),多年来不仅仅支持了Linux社区的发展,还支持了Linux社区其它社区的发展,例如联盟链中常用的基础设施Hyperledger就是Linux基金会的项目。

Filecoin Project Roadmap (2018-Q2)

文中还提到了Filecoin Project Roadmap (2018-Q2) (参考链接2),里面涉及到更多技术细节。文中用绿色表示基本完成,黄色表示正在进行,无颜色是TODO。从中可以看到

  • 区块链,网络和存储市场的基本功能已经完成。只有网络部分更好的查找算法还没有做,这部分正是最近社区正在讨论和解决的。
  • PoRep已经有了原形,下一步是满足产品级的需求。所以依赖PeRep的Seal操作目前还没有开始,回顾下Filecoin的白皮书,Seal操作的目的是:
    1. 强制保存多个不同 副本时每个副本都是有差异的;
    2. 保证PoRep的Setup时间比Challenge时间长。这就是保证了存储矿工不可能在Verifier检查文件是否存在时临时生成指定的副本。
  • 由于Seal还没有做,文件修复(使用纠删码)也没有开始。
  • 虚拟机基本功能已经有了,目前在做出错处理,例如gas(用于交易的费用)没有时,虚拟机需要暂停。

你可能感兴趣的文章

区块链与数据存储周报

原创技术文章

参考链接

  1. Filecoin 2018 Q1 & Q2 Update: https://filecoin.io/blog/update-2018-q1-q2/ 
  2. Filecoin Project Roadmap (2018-Q2) : https://docs.google.com/document/d/1cgss-rifFO2iSJgnMmOsD_tPal40MUp1m7crTFQuVYQ/edit?usp=sharing 
  3. Understanding the IPFS White Paper part 2: https://hackernoon.com/understanding-the-ipfs-white-paper-part-2-df40511addbd
  4. smart contract: https://blockgeeks.com/guides/smart-contracts/
  5. Libp2p Transport Interface:https://github.com/libp2p/go-libp2p-transport/blob/master/transport.go#L42
  6. add QUIC support: https://github.com/ipfs/go-ipfs/pull/5350
  7. OpenBazaar/go-onion-transport: https://github.com/OpenBazaar/go-onion-transport
  8. Requirement of OpenBazaar Tor:https://github.com/ipfs/notes/issues/37#issuecomment-307966649
  9. Polkadot PoC-2: https://medium.com/polkadot-network/polkadot-poc-2-is-here-parachains-runtime-upgrades-and-libp2p-networking-7035bb141c25
]]>
区块链与数据存储周报:2018年8月19日——2018年8月25日 2018-08-28T00:00:00+00:00 Bamvor http://aarch64.me/2018/08/blockchain-and-data-storage-20180819-20180825 IPFS技术例会

本周例会包括如下内容。

WHATWG HTML Spec

Lidel介绍了提交spec和合入浏览器代码的状态,基本是鸡生蛋(先有标准再合入代码)还是蛋生鸡(先合入代码验证没问题再新增标准)的状态。好在目前没有人明确反对。说到和社区协作,笔者之前写过与Linux内核社区的协作方式之一之二

Demo

本次有两个Demo,一个是介绍完全基于浏览器的ipfs节点,其中使用libdweb解析ipfs://或其它点对点协议。另一个是ipfs cluster demo,详见上周笔者的周报。

区块链存储项目速读:NBS(http://nbsio.net/)

NBS项目的CTO就是上周笔者提到的IPFS系列文章的作者“西二旗李老师”。简单看了下白皮书,可以看到NBS使用类似 Ethereum 的公链技术,支持智能合约,使用PoSt共识机制,使用了零知识证明,使用IPFS做数据存储。

为了便于粉丝参与,NBS提供了基于qt的app,目前支持启动IPFS daemon,讲会支持IPFS基本操作。这个有点类似于社区的IPFS Desktop(参考链接1)

你可能感兴趣的文章

区块链与数据存储周报

原创技术文章

参考链接

  1. ipfs desktop: https://github.com/ipfs-shipyard/ipfs-desktop
]]>
区块链与数据存储周报:2018年8月12日——2018年8月18日 2018-08-20T00:00:00+00:00 Bamvor http://aarch64.me/2018/08/blockchain-and-data-storage-20180812-20180818 本周要点

IPFS例会

  • all hands meeting:讨论了CIDv1的进展,笔者后续的“IPFS数据之旅”会以实例讲解CIDv1;
  • Dynamic Data and Capabilities WG:专注在构建DAPP(去中心化应用)的基础组件的工作组。本次双周例会既要(参考链接1),视频(需翻墙)(参考链接2)

IPFS社区开发进展

  • ipfs-cluster:本周ipfs-cluster的sharding已经合入master分支;同时ipfs-cluster也支持指定副本数量的pin。参见demo(参考链接3)。

学习资料

区块链存储项目速读: Android vpn app: b.network

  • 从官网(b.network)描述看是基于区块链的vpn/cdn方案:

    BNET是一种基于区块链、人工智能和边缘传输技术实现的通信网络服务。在BNET的网中,每个人都可以轻松创建多个专属网络,并通过这些专属网络安全地发送消息、共享照片和视频,传输文件。在BNET网络里,不存在任何数据泄漏与被监控的风险。

  • whitepaper (参考链接6) 提到用边缘节点做数据传输,用AI自动做路由,还提到IoT的算子(这个有目录没有内容,汗)。
  • 项目代码(参考链接7)
    • 搜了下代码没有找到ipfs和libp2p相关的代码。开发者自称是基于自己的p2p协议。
    • android ap 测试:需要相机和存储权限,但是卡在应用启动界面么,无法测试。
  • bnetwork里面节点类型根据在网络中的位置和能力不同分为三种:H节点,R节点和T节点(见下图)
  • bnetwork使用mixin 区块链技术:

    Mixin Kernel is a high performance distributed ledger and it sole responsibility is to verify asset transactions. That said, the single permanent Mixin Kernel is also a distributed network just like Bitcoin network as a whole. Price = Traffic \*D \*QoS \*S.

  • 其它链接:

这是本月的第三篇原创文章。半瓦平时有随手记笔记的习惯,公众号原创文章只分享自己有体会的信息,希望能促进价值信息流动。任何建议欢迎给我留言或添加我的微信(公众号《敏达生活》后台回复“微信”,可以看到半瓦的微信)。

你可能感兴趣的文章

参考链接

  1. Dynamic Data and Capabilities WG双周例会既要:https://github.com/ipfs/dynamic-data-and-capabilities/issues/37
  2. Dynamic Data and Capabilities WG双周例会视频:https://www.youtube.com/watch?v=TNEJNk5lZT0&feature=push-u&attr_tag=jgyUR0iiWBYMZUeM%3A6
  3. ipfs cluster add and pin: https://asciinema.org/a/M5ZBzxAWvNwqUaYPYPE25JW81
  4. NBS 李万胜《IPFS协议层深入分析》:https://www.jianshu.com/u/832753b872c5
  5. IPFS/IPNS Tutorials for non-developers(参考链接5) :https://discuss.ipfs.io/t/ipfs-ipns-tutorials-for-non-developers/3636
  6. b.network white paper:https://b.network/files/Whitepaper_EN.pdf_
  7. b.network GitHub project: https://github.com/bdotnetwork
  8. b.network weekly: https://medium.com/@BnetOfficial/bnet-weekly-1-c968ef95bce7

本文首发笔者公众号《敏达生活》,欢迎关注拍砖。

]]>