广泛:吴清源到底有多牛逼?

都说年最后,该给自己写写总计了。前天我想谈一谈的是自个儿在店堂这一年多里的担当的局部工作—爬虫。做了这么久的爬虫,是该写点什么,留下点什么。在自身所负担的这一段时间了。我总结了眨眼之间间大体有以下几类爬虫设计思想。

来源:http://blog.renren.com/blog/421255284/940344822

  • 简单劳动器定时爬虫
  • 客户端爬虫
    • lua解析
    • javascript解析
  • 服务器离线爬虫

吴清源先生于昨天病逝,测度会有诸四个人认为意外,一个下围棋的日籍华人,去世了干吗要闹得如此大张旗鼓的。如若仔细翻一下关于吴清源的信息,会意识一周前刚刚是她的百岁生日,于是数百政要齐聚香港为他开办了严正的庆典。奇怪的人唯恐就更要想拿到,什么杨振宁,聂卫平,张震……三教九流何人都有干嘛聚在一块儿给这样个老年人过生日?

下边在来细聊以下。

即便满腔想念之情,可是自己以为那么些时候,可能做个吴清源先生的普遍更有意义一些。

服务器-定时简短爬虫

在最开头的时候,我们做的就是那几个。这应该是最简便的爬虫了。搜索引擎搜出来的大致就是这一类了。

这一类的爬虫特点是自身只需要爬取一个网站的某一局部数据,发起http请求做html解析,然后存数据库,就完了。比如有些别样网站提供的一对公共数据,或者不要求实时性的数量。如汽车之家的汽车数量,如英雄联盟的勇敢数据,如政坛网站的一点呈现数据。我用过scrapy来抓取dota2的一部分数据,后来发觉scrapy不必然完全在温馨掌控中,我自己写了一个爬虫框架,叫Tspider。我现在做一些简短的爬虫都会用它。基于php的协程与curl_multi_*函数集实现的。单进程可到2000使得处理/min。

这一类的爬虫处理流程大概接近如下

简单的说爬虫流程图

网上做广告的比如说《xxx抓取TmallMM照片》、《我从天涯论坛偷取了有点数量》等等爬虫,大概如此。《21天通晓xx语言》的既视感。

这一类的爬虫的优点大概就是简单吗。

首先要申明吴清源先生的工作:围棋手。他生平都干这一个,没干过其它,目测也干不佳此外。这就拉扯到围棋是个什么样东西——简单地说,中国总讲“琴棋书画”四艺,其中的“棋”就是围棋,是种很有些年头也很复杂的棋子。

客户端解析(lua、javascript)

咱俩集团是做运动端产品的,若是你也恰恰是有(android/ios)客户端扶助的。并且对数码的实时性要求较高,或者爬数据的时候ip封的太厉害了。可以试试我下面说的法子。我给她取名叫客户端解析

在这一类爬虫中,需要客户端嵌入脚本执行引擎。把http的呼吁与数量解析放到客户端去履行。最终把多少显现出来或者上报给服务器。准确度、实时性较高。

客户端解析爬虫

  • 剧本:脚本的效应只是是把对应网站的多寡(json、jsonp,html等等)转换为我们需要的数据(格式化数据)。当对方做出改变,我们只需要转移脚本就行。
  • 政策:策略的效能是告诉客户端,你们需要某有些时候,去实践脚本中的哪个方法?
    是否需要缓冲?是否需要出示原始网站的内容?等等一些透过服务器控制客户端表现的东西。
  • 离线爬虫:是否需要在服务器爬取,将请求丢给音信队列,离线爬虫系统协调单方面玩去。

这种形式至少有多少个亮点:ip离散,实时性较高。

古往今来,围棋手的地位都有点异样。因为四艺之中,围棋就相比较相当。此外三艺都是纯粹的办法,讲究的是知音难觅,纵然有胜负之分,也是人人主观裁判出来的——围棋不是,本质上讲,围棋首先是一种竞赛棋类,只要下棋,必分高下。然则围棋和象棋军旗跳棋飞行棋大富商游戏棋又有些不均等,围棋相比较微妙,他除了纯粹的成败之外,包含的情节相比多。就像读本红楼梦,经学家看见易,道学家看见淫,才子看见缠绵一个道理,参考《天龙八部》擂鼓山“珍珑棋局”那一段的形容,不同的人通过围棋会体会到有些不等的东西。所以围棋手自古以来的身价也相比较好奇,跨度相当大——下的好的,叫国手(国手这么些词仅限于围棋,其余棋类哪怕你再强,也无法享受这些称呼),享受国士待遇,受到全社会的珍视;下的不得了的,在街头摆个棋摊让大家来下,一盘几文钱,和其余路口演出的也没怎么分别。

服务器-离线爬虫系统

对于绝大部分劳动,数据的爬取需求,依旧需要在服务器完成的。对于这一类的爬虫。架构的宏图,需要有很好的扩充性。

服务器离线爬虫

  • 爬取请求从后台控制、对外网关而来。
  • 爬虫触发器,就是通过信息队列告诉爬虫节点什么时候爬,爬什么人的多寡。
  • 后台控制,可以操纵襄助什么网站的数量,告警,非常管理。
  • 信息队列用于分发音信给某个爬虫节点。
  • 爬虫节点:完成具体的爬虫,格式化爬虫数据。援助某个网站的爬取,平时修改此次就行了,这里也亟需盘活总结,做好告警。
  • 去重:去重可以尝试布隆过滤器simhash指纹算法和海明距离比较

吴清源就是一名纯粹的围棋手。他以围棋谋生,以围棋养家,也以围棋名留青史。

思维或叫准则吧

小结一下:

  • 只关心对的,不关心错的。错误的,你永远也枚举不完。
  • 在分层结构中,应该是越往最内层,数据(请求)越小,有效数据(请求)占比越高。
  • 备份思想很重大。如若一台机械挂断的几率是百分之一,两台机械同时挂掉的票房价值就是千载难逢。
  • 没有什么万能钥匙,具体问题,具体分析,具体解决。
  • 不曾什么完美的化解方案,有些时候需要基于业务做一些增选。

末尾,感谢自己的leader——corey,谢谢!

吴清源先生的一世是天赋的终身,战斗的终身,也是只身的终生。可以说一辈子沉迷于围棋之中,除了围棋,他如何都没弄精通,活的稀里纷纷扬扬,甚至还弄出了个汉奸的称谓。他生于浙江,幼年合家就搬家迪拜。由于出身名门望族,从小衣食无忧,加上二伯我已经留学日本,是个一流围棋迷,所以他才能接触围棋并且沉迷其中。那一个年代正赶上民国初年,社会动乱,一般劳碌起亚没激情也没工夫啄磨围棋这种事物,所以研商围棋的前提基本上就是衣食无忧。吴清源很已经表流露过人的围棋天赋,在辽宁罕逢对手之后,在香港市也快捷打响了名头,11岁成为段祺瑞的门客,每个月靠下棋可以领100块银元。恰逢这时赶上家道衰落,所以吴清源很已经凭借下棋补贴生活费了。考虑到100块大洋这时惊人的购买力,只可以惊叹天才就是牛逼。

吴清源一生的转折来源于1925年她11岁的时候,在一个安徽人的撮合下,当时在京城曾经打出了名头的吴清源被布置和一个扶桑大王下了一盘棋。说是扶桑大王,据考证也就是职业初段的水平,最终吴清源险胜。这盘胜利引起了一个东瀛经纪人山崎有民的瞩目,他最先考虑想方法让吴清源去日本学棋。

这边就牵涉到了第二个问题——好端端的在华夏学棋不行呢?干嘛要去日本学棋?

其实,不行,这时候想学棋,还不得不去日本。

尽管围棋这东西是我们的老祖先黄帝他父母闲着粗俗发明出来的,不过透过了几千年的传承之后,到了民国在中原现已非常式微,原因很简短,在此之前也提过——每日兵荒马乱的,我们脑子里想的都是填饱肚子和别被干掉,何人有心文学围棋这种东西?本身学围棋就费时费劲,有这工夫多种两亩地欠好吧?反倒是当场的遣唐使在重返日本的时候把围棋这东西带了过去,日本这时候什么都学中国,一看这玩意儿在中华府算是有知识的玩意儿,立时起先仔细探究,几百年下来,让她们探究出了门道,论棋艺水平,到了20世纪初,五个国家根本就不在一个数目级上。差距的轻重基本得以参照CBA和NBA,或者中超和英超。

山崎这人有东瀛人特有的认真,自从见了吴清源一面之后,他就把带吴清源去日本的心理给坚定了下来。在她看来,吴清源是围棋天才,这种天才留在中国就是荒废,只有日本才能发挥他的才能。恰好山崎作为一个围棋迷,认识随即日本棋院的濑越宪作名誉九段,于是她没关系就给濑越宪作讲:中国有个天才少年吴清源啊,你早晚要看看她的棋。讲的次数多了,濑越宪作也来了兴致。

于是接下去1926年1927年吴清源分别和旅中的日本棋院职业棋手下了几盘棋,吴清源表现优良,去扶桑学棋的事务也规范提上了日程。1928年的时候吴清源以日本棋院的留学考察生的名义正式东渡扶桑,那一年她14岁,形影相吊,留学生每个月有200个大头的捐助,而及时他家就巴望他这200个元宝养家糊口。

接下去的5年中,吴清源的棋艺突飞猛进,名头也越打越响,简而言之就是一块从青铜5杀到了钻石组,成为了即刻日本瞩目标风行。但是真正让吴清源初叶全日本有名的,是1933年他直面秀哉名家干的一件大逆不道的事情。

这边牵扯到了第六个问题——秀哉名人是谁,对她干点什么就能称得上大逆不道?

扶桑是一个等级制度森严的国度,在围棋上也是这般。从江户时代初叶,扶桑就形成了最强的四大围棋世家:本因坊、井上、安井、林。可是其他三家远远不如本因坊家,由此逐步的本因坊家在日本棋坛就颇具了典型的地位,可以当做扶桑棋坛的皇家。不过本因坊世家并不以血缘来传位,而是师徒相传。每代的世家掌门人都被号称“x世本因坊”,弄得一股浓浓的“第x代火影”即视感。而一世本因坊日海统治的时候,织田信长册封他为“有名的人”,从此世家与名称系统组成,东瀛在执政者的协助下形成了标准的棋士制度。这么些秀哉名人,就是第21世本因坊,也是最后一位世袭本因坊——秀哉在回老家前把本因坊称号捐给了扶桑棋院,建立了本因坊比赛,从此之后每届的赢球者即活动变成下一世本因坊。倘假若东瀛人制服,还要由此改名。比如山下敬吾二〇一二年拿了本因坊亚军,从此她就多了一个名字“本因坊道吾”。

1933年的吴清源因为战表不错,克服了多位同龄对手,得到了向21世本因坊秀哉名家挑战的权利。说是挑衅,可是在即时的日本看来,不过是取得了让秀哉指点一下的机遇。就仿佛你在中忍考试的时候,因为前面表现完美,在最后一关得到了和火影交手的火候,正常人的首先反应,应该是好紧张好感动,然后又觉得温馨不曾期望获胜。不过吴清源先生身为天才这些时候就显露出了他特殊的高逼格——他控制用她商讨出的新布局战术战胜秀哉,相当于那位幸运的中忍打算用新开发的忍术做掉火影。这一年,吴清源19岁。

这盘棋吴清源执黑先行,第一步下在了右上“三三”位,这个地点在本因坊一脉看来,叫做“鬼门”,是纯属不允许在开头第一意况的地点。所以吴清源同学这一手的情趣就很引人注目了:做好准备,我是来打你的脸的。

跟着吴清源的第二手和第三手分别下在了星位和天元,这是历史上从没有过的下法,而且充斥了蔑视权威的表示——因为当时的日本人布局尚未下星位,第三手天元这种事更是只有欺负实力弱于自己的挑衅者才会下出来,在非凡的秀哉面前如此下,摆明了不给长辈面子。所以这盘棋第一天的棋谱被读卖信息社刊登在报纸上从此,全日本轰动——大家都了解了有个大逆不道的孩子在秀哉有名的人面前装逼。

由于吴清源的招数完全出乎秀哉意料之外,事实上他那辈子从没见过,所以秀哉早早发布打挂截至了第一天的博弈。

那边牵扯到第两个问题——为啥会有“第一天的棋谱”?什么叫打挂?

缘由很粗略,在这时的扶桑,上手拥有随时刹车棋局的权利,下的不爽快,说声“我发烧打挂谢谢”,棋局就暂停了,只可以第二天再战。秀哉作为上手,就有所这种权利——所以这盘棋从1933年八月16日上马,下到了1934年五月29日,下了整个3个半月,期间累计打挂了14次。而天天打挂之后,读卖音讯社就把前些天的棋谱刊登在报纸上,基本上第二天就会抢购一空,也算趁机捞足了销量。

澳门美高梅手机网站,内需证实的是,秀哉有名气的人很不可以,他每回因为感冒打挂之后三遍家,头即刻就不痛了,而此刻他的家里一度坐满了她的徒弟,各样都是生意棋士,然后我们就起来研商吴清源前天又下了怎么着棋,我们应当怎么回复,前几天我们又该下点什么,活生生的兼职参谋。而吴清源同学在那3个多月里还有11盘比赛要下,因为她是饭碗棋手,不下比赛就不曾出场费,就无可奈何赚钱养家。

比赛一直到一大多的时候,吴清源都占据显明优势,可是最终秀哉的徒弟前田陈尔五段发现了第160手的王牌,接济秀哉挽回了劣势,最后吴清源以2目惨败。

秀哉有名的人利用这场胜利保住了最后的端庄,可是吴清源同学的名声早已成功:全日本都驾驭有个中国区区敢跟秀哉有名的人装逼,而且还差点儿成功了。吴清源下出的时尚布局也正式进入了豪门的视野,介于它几乎干掉秀哉的无敌威力,再也没人敢视其为邪魔外道,而是起首认真钻研。而且由于吴清源同学在这盘棋中面临的不公道待遇,打挂这些制度随后就着力被撤回了。

可是在这一年,吴清源迎来了人生中第一件备受争议的业务——作为日本棋院的差遣棋手去东北和伪满洲国的国王溥仪下指引棋,并且随着在1936年加盟了日本国籍,而这时候九一八事变已经发生了5年。从此掀开了关于她是不是汉奸的研商,那些业务很复杂,我以后会仔细讲。

到了1938年,前面提到的本因坊秀哉有名的人揭橥引退,遵照常规要下一盘引退棋。这盘棋的挑战者是吴清源先生的挚友,当时扶桑棋坛的另一位大师“鬼童丸”木古实七段(对您们没看错就是大蛇丸的手下这么些鬼童丸),最后失去了打挂特权的秀哉有名的人不敌。于是大家想,第一人隐退了,那么制伏了第一人的木古实是否就是最强了?不过一想还有吴清源,又认为这事情没准,于是决定利用最直白的章程,让这五人比一比,不就通晓什么人最强了?

上一遍尝到了甜头的读卖消息社登时撺掇出了一场在镰仓召开的十番棋对决。这一年是1939年,昭和14年。从此,吴清源起首了他破格后无来者的十番棋制霸年代,在这期间,他达到了实在的优秀,独孤求败。

首先要注解一下扶桑的十番棋有咋样新鲜的地点:一言以蔽之,那不是单独的连着下十盘棋,而是赌上身为棋士全体荣耀的烟尘。

非凡年代的围棋,还没有“贴目”或者“让点”一说,所以执黑先行代表抢占了先机,是具有优势的。那么十番棋,要下10盘,到底怎么决定什么人下黑棋何人下白棋呢?日本人的解决办法是:依据棋力,也就是段位来判断。

两岸段位相同,为平手,那么下棋的时候是“平先”,也就是一人一盘黑棋,何人也不占便宜;一方高于另一方一段,那么就要接纳“先相先”手和,也就是低手第一盘执黑,接下去的每三盘棋里面有两盘棋执黑;如若实力差别更大,就要动用“定先”,也就是低手的一方永远执黑;差异更大,就要动用“先二先”,然后是“二先二”,“定二”……以此类推,优势尤其显明。也可以精晓为dota或者lol的中单solo,假若实力差异大,一上来按规定高段位的必须先白送低段位的总人口,至于送多少个要看段位差多少,送完才正式启幕竞赛。

干什么说扶桑的十番棋赌上了饭碗棋士的百分之百荣誉?因为十番棋规定采取升降制,也就是每当双方的胜局差达到4场(4:0,5:1……)的时候,落后的一方就降半先:原本大家是平先的,改为先相先,原本就是先相先的,改成让先……被降半先在日本的差事棋士看来是不得以被容忍的——因为这表示和谐不负有和敌手一样对弈的资格,自己是“入手”。从此未来无论在此外场地,只要相同的五个人展开十番棋比赛,那么先前的升降级要被一起,也就象征自己毕生在敌方面前就从不抬头做人的身份了。

是因为这种残忍的规定,所以每位下十番棋的能工巧匠都尽力,殚精竭虑,为此折寿的也很多。而1939年的镰仓十番棋第一盘中,木古实就因为过于投入,流了鼻血,没办法只可以到一旁休息。但尽管如此,他也未尝放弃棋局,而是挣扎着下完了第一盘,最后失败。

镰仓十番棋下到第5局时,吴清源4:1遥遥超过,再胜一盘木古实就要降级,于是木古实剃了光头,以示在第六盘决一死战的立意。可惜第6局依然不敌,被吴清源打至先相先手和。最后吴清源6胜4负赢球,木古实被降半先。

镰仓十番棋竞赛的1939年,正值中日民族关系最紧张的每日,抗日战争打的激烈,东瀛国内的仇中心绪也很要紧,吴清源迫于生计虽然参与了扶桑国籍(为啥迫于生计等下会解释),可是并不被视作日本人比较,由于克服了木古实,他的活着不断碰着骚扰,甚至还面临了死亡威吓。而就在这种情景下,吴清源迎来了下一个挑战者雁金准一八段。

日本不可以接受最强称号到了一个神州人手中,于是读卖信息社起先积极寻找下一个挑战者。最后他们找到了秀哉有名的人的师兄,当年和秀哉争夺本因坊称号的雁金准一八段。作为一把手的王牌,全日本都对她报以伟人的盼望,结果雁金准一八段果然没有被降职——在5局为止吴清源4:1遥遥超过之后,雁金准一由于名誉问题放弃剩余比赛认输了…也不领悟她那算是要脸依旧不要脸…

继而吴清源又和藤泽库之助举办了十番棋对决,吴清源4胜6负——看上去貌似是吴清源输了,不过出于竞赛是在让先的情景下进展,也就是说10盘棋藤泽全体执黑,因而假诺不可能把吴清源打降级,就是藤泽战败,可惜从始至终吴清源就从未给过藤泽让自己降级的火候。

这多少个时候日本人已经不可以忍了——自己劳苦挑选高手过来,棋谱全国发布,结果一个一个就是送菜的?于是恼羞成怒的东瀛政坛撤消了吴清源的日本国籍,而扶桑棋院拒绝任何非日本权威参预自己设立的交锋——也就是说,吴清源一下子变成了无国籍无编制的双无人员。失去了扶桑棋院在编棋手的身价,吴清源也就错过了另外生活来源,他无奈参加日本棋院的比赛得到对局费,因而十番棋竞赛的对局费一下子成了他的整个生活来源。

于是接下去的十年里日本棋坛出现了一种极端搞笑的情状——东瀛的营生棋士们搏击,杀个不亦新浪,决出最强的棋手,然后这多少个高手就被送去和吴清源下十番棋,然后被吴清源干掉,而且肯定会被杀的降级。日本人一看这一个可怜了,接着挑,挑出新的再送去下十番棋,然后再被吴清源干掉,周而复始,循环往复了10次。

被干掉的人中,有21世本因坊桥本宇太郎,22世本因坊高川格,23世本因坊坂田荣男……21世本因坊桥本宇太郎最闻名的史事,除了创建独立于东瀛棋院的关西棋院,就是“核爆之局”——他和岩本薰(也是被吴清源干掉的人之一)在广岛郊区举行斗争本因坊称号的交锋,结果广岛原子弹爆炸,桥本宇太郎整个人都被掀到了房间外面,不过爆炸过后六个人仍然坚定不移继承对局并且分出了胜负,而爆裂地点相距他们比赛的房屋只有10公里。刚才提到的藤泽库之助也在里面,此前因为年轻段位低,以让先身份下的十番棋他不服气,所以他升段后以平先的地位开首下了两次十番棋,结果首次吴清源7胜2负1和把他降到先相先手和,第二次以先相先先河,下到第6盘吴清源就5胜1负把他打成了定先手和,下到第6盘的时候,藤泽库之助写好了要递交给日本棋院的辞呈,即使再输就辞职工作棋士的地方,结果这么大的狠心也没能帮她逃过再度降级的气数,这位感觉脸上挂不住,自动抛弃了剩余的竞技。从此未来这位日本野史上率先位业内九段只要遭遇吴清源,就再也逃然则被让先的天数。

17年间,吴清源一共和当世最强的差事棋士下了10次十番棋,以吴清源全胜告终。这10次十番棋中吴清源只要输任何五回,以当下独特的山势和她的身价,他都将万劫不复,读卖消息社因此将那么些十番棋称为“悬崖上的白刃战”,可是吴清源两回都未曾让协理她的人不尽人意,所有对手最终都被吴清源打至先相先手和或者让先手和,无一防止。因为这无敌于天下的武功是在昭和年间取得,他由此被称为“昭和棋圣”。

新兴扶桑人自己欠好意思了,终于起初同意吴清源参加他们举行的比赛,然后吴清源在最强者决定战中8胜2负争冠,再然后1961年风云人物战前夕,吴清源在祥和人迹罕至的家门口被陡然驶过的一辆摩托车撞飞,从此身体大不如前,进入半隐退状态——至于为何那些人迹罕至的地方会突然出现一辆摩托车直挺挺冲他撞过去,没有人知道。

其后之后,吴清源基本不再列席比赛,而是悉心于指引后辈和对围棋的下法举办兴利除弊——我们可以清楚为,他转行当教练了。不过随后之后的围棋第一人失去了悬念,当世所有的超一流棋士基本都公认为吴清源。如同贝利之于足球,乔丹(乔丹)之于篮球,他树立了头名的地位——后边当然也会有马拉多纳、梅西(Messi)、科比、詹姆斯(James)这一个人油不过生,不过王者只有一个。而比上述两位更加广远的地点在于,吴清源以无与伦比的创建力开启了围棋的新时代,在她事先和她日后的围棋完全是五个规范,他以一己之力对一项运动的改制超越了其他运动时期甚至几代人的效应。

设若有趣味,可以看看川端康成写的《有名气的人》,或者看看田壮壮导演,张震主演的《吴清源》,或许能体味一些这位无敌棋圣的有的气质。

PS:吴清源的国籍问题很复杂,基本得以用“棋艺无双,气节有亏”来描写,但是我个人坚定不移认为即使气节有亏,不过算不上汉奸,有空会再写一篇关于他国籍的问题。这篇只是期待做个广大,让我们探听一下,这位后天离世的百岁老人,对于围棋而言究竟意味着什么样。

PPS:有多少个错误被指出,感谢各位。

先是是吴清源的风水,是三月12日,我是九月24号刚赏心悦目生日庆典的信息,由此犯了想当然的一无是处;

说不上是本因坊的千古,桥本宇太郎并不曾永远。我因为记得秀哉之后的本因坊是桥本宇太郎,所以犯了多少个谬误:第一是秀哉之后的本因坊并不是众人有称号,只出名誉本因坊才有世代称号,比如高川格(22世本因坊高川秀格),坂田荣男(23世本因坊坂田荣寿),赵治勋(25世本因坊治勋,这货是日籍高丽国人为此这名字),第二是秀哉之后的率先位比赛决出的本因坊是1943年的关山利一,因为这人除了得本因坊没啥大成功,我把她忘了…

最后是关于日本布局的题材:我说星位以前没人下,那话的确不标准。不过星位在扶桑围棋中从来被视为非正统。我的第一本围棋书是山部俊郎九段编的《围棋定式大辞典》,这人是个老派的日本权威,所以他编的这本书1000多页,光小目定式就有500多页,星位、三三、高目、目外和此外加起来不到一半,星位在其间还算少的,可以看到老派扶桑围棋对于星位的态势。本质上是因为老派东瀛围棋重视边角不推崇中腹控制;

有关打挂被基本裁撤,个人认为说法还算准确。因为尽管在新生的三大头衔战(本因坊、名家、棋圣)中保存了所谓的打挂制度,然而头衔拥有者只是有所了在规定时间前提前暂停竞赛的权利,而且第二天必须必须连续比赛,不像秀哉可以重返一下和门人弟子探究好几天,本质上终于对头衔拥有者的一种尊重,不公正的象征已经很少了。

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

*
*
Website