丝丝缕缕的思念,已经编织成一张密密的网,拌住了我的脚步,却放飞了心中的思绪。
低头闭目我想你,泪如雨飞,暗湿了我的衣襟,也浸湿了那帧熟悉的照片,滴中了你的唇边,远方的你可曾偿到这泪珠的味儿…….
永远不会忘记,那个曾经的微笑,它是我心中的骄阳,夜里的浩月,心中即使是乌云密布,只要见到它,就能雨过天晴。
如今那可爱的笑容,充满爱意的眼神,已在风中失去,我再也无法感觉到它的暖意。
春意正浓,万物苏醒,可我的心里还是隆冬腊月,眼前却是雪花飞舞,可怜的我不知道哪里才是自己的避风港……
比较务实的一本书,也是我2014年推荐的第一本书《这就是搜索引擎:核心技术详解》,这本书陆陆续续看了大半年,受益匪浅。虽说是核心技术详解,实际上这并不是给专业人员看的书,站长朋友看了后会对搜索引擎多了一份理性,少一分谩骂。本书看起来很轻松。
全书通俗易懂,内容广而不深,对搜索引擎的技术做了很全面的介绍,包括搜索引擎整体框架、爬虫、抓取策略、暗网爬取、分布式爬虫等内容。
搜索引擎作为互联网用户的上网入口,对流量的引导与分流至关重要,甚至可以说起了决定性的作用。1991年,Tim Berners-Lee将超文本的概念引入互联网,同时推出了WWW雏形、配套的HTTP传输协议及相应的Web服务器技术。1993年,第一个图形浏览器mosaic诞生,网页浏览客户端趋于成熟,这些技术与产品为互联网的快速普及和发展做好了技术准备,互联网用户开始从最初的军队和高校等科研机构普及到普通的个人用户,为接下来互联网的商业化大规模发展奠定了基础。
互联网信息量在过去15年获得了爆炸性增长,信息过载的问题目前来说非常严重,随着互联网个性化的发展趋势逐步展现,普通用户发布信息的成本越来越低,这个问题将会更加严重。这是搜索引擎相关引用越来越重要的一个基础背景。搜索是目前解决信息过载的相对有效的方式,在没有有效的替代解决方式出来之前,搜索引擎作为互联网网站和应用的入口及处于行业制高点的重要地位只会逐步加强。
搜索引擎发展史:分类目录(网址导航)是史前时代、文本检索是第一代、链接分析是第二代、以用户中心是第三代,
搜索引擎的3个目标:更全、更快、更准。
搜索引擎的3个核心问题:1.用户真正的需求是什么,2.哪些信息是和用户需求是真正相关的,3.哪些信息是用户可以信赖的。
搜索引擎的架构,一张图可以说明情况:
除了上述的子功能模块,“反作弊”模块也日益重要。
互联网页面划分为五个部分:1.已下载网页集合、2.已过期网页集合、3.待下载网页集合、4.可知网页集合、5.不可知网页集合。
网络爬虫分为:批量性爬虫、增量型爬虫、垂直型爬虫。
爬虫抓取的策略:1.宽度优先遍历、2.非完全PageRank、3.OPIC(Online Page Importantance Computation)、4.大站优先。
网页更新策略:1.历史参考策略、2.用户体验策略、3.聚类抽样策略。
写在最后:
结合上面的信息我们就能大致明白了:爬虫分很多种,爬虫来了不一定抓取的原因就是这里。另外爬虫是否抓取(重新抓取)你的网页也有很多种参考因素,我们通常所以的保证网站持续更新就是历史参考策略了。本文我把网页和爬虫的部分都罗列了出来,有兴趣的朋友可以买书来看。
很多时候,你问的答案就在这里,如果你不细读的话!
书名:《这就是搜索引擎:核心技术详解》
作者:张俊林
出版社:电子工业出版社
出版日期: 2012年1月1日
平装: 300页
原链接来自百度
最近看了两本书《自控力》和《暗时间》,这两本都没还看完,目前都是各看了一半。本来是想看完了再写个读后感,但是启发和感觉并不是以书的本数为单位的,感觉到了就先记录下来。
前者是关于学习如何自控的书,基调是人人都可以自控,后者是一些思考(学习)方法的反思和总结。以下是我看这两本书期间的一些思考过程,重点是建设更好的自己。
现在网络如此发达的年头,如果你经常上网的话,不用去特地找一些至理名言,那些深受大家赞同的或者说比较重要的观点啊、人生态度啊有一天自然会浮现在你的眼前。比如说晚上八点钟之后做的事情的重要性啊还有人生各阶段的心理状态啊都已经看到过几次了,也是比较赞同的。
但是关于自控力的重要性,我只在某个论坛的角落里看到过一次的这一句话:“人是靠自控力生存的生物”。虽然之前我也知道自己总是拖拉不自控,但是没想到自控是有这么重要,突然间我明白了限制自己发展的瓶颈不在于智商,更重要的是自控。智商不是硬伤啊,自控才是啊!药,药。
也许大家都已经默认这个观点,也许大家也没注意到其重要性,所以到最近我才真正思考提升自控。我还是写出一些基本观点,因为我觉得分享成就你我啊。
那么自控的能量从何而来,自控的信号由大脑的前额皮质发出。前额皮质是人类最新进化出的一个区域,它掌管理智控制自己的部分(理智的自己),但是由于进化是循序渐进的,人类也保留了大脑中原始本能的那一区域(原始本能的自己)。
在远古时代,原始本能曾经救了人类很多次,也得以让人类的基因继续延续。经过了几百万年人类进化出了勉强可以用的前额皮质。但是人类进入农业文明才几千年,进入工业社会才几百年,进入信息化的今天才几十年不到,相较于几百万年的进化,这时间实在是太短了,也就是说进化已经跟不上人类发展的节奏了。有时候是一种无法抑制的本能,比如说明明知道老虎锁在笼子里,但是如果它对你怒吼,你还是会起寒毛的。
很多情况下,原始的自己和理智的自己是冲突的。一个广为流传段子:“小学的时候心里总是有两个小人在打架,难舍难分,中学的时候邪恶的小人赢了,大学的时候已经感觉不到小人在打架了,正义的小人已经被打死了”。这就是一个自我博弈的过程。具体分析一下,小时候家长增加了一部分让你理智的能量,而到中学或者大学的时候这种监管逐渐变少,原始部分马上暂居上风,尤其是在你没有人生目标的时候,人生陷入了第一次迷茫,就像程序跑飞了一样,只有对于挂科的恐惧推动你向前进(恐惧信号也是由原始部分发出的)。原始的自己为什么这么做,为什么总是让你去享受当下,因为在远古时代能量是非常宝贵的资源,所以当前能摄入多少就摄入多少,能爽一时就爽一时,只要没有什么能威胁到自己的东西,我才不会浪费自己的能量在那些可能都没有结果或者成效的事情上去呢,万一明天就有野兽什么突然袭击呢,还是先存储能量好啊。
我们要做的是,让原始的自己和理智的自己协同合作,并且逐渐增强自控力。
如何增强自己自控力。自控力实际上就像是肌肉,如果你经常自控的话,那么肌肉会越来越强壮,如果你老是不用的话,自然就会萎靡。自控力也犹如锻炼肌肉一样,如果你老是不锻炼,突然来一下很猛的一套锻炼,那么肌肉可能会拉伤,反而起不到锻炼的效果。也犹如锻炼肌肉,锻炼之后要休息,休息之后才能更好的使用或者锻炼。但是别忘了自控力或者说理智的锻炼并不能带来身体的活力,如果身体状态好的话,也就是精力旺盛的话自控会更有效果。
以上是基本原理。那么到底如何锻炼。
举个例子。以前的我有时候在发呆以及搞东搞西啥都没搞的一上午之后,我为自己的浪费感到淡淡的忧伤,于是怒设定一目标,下午专注看书四个小时!结果是我在勉勉强强看了一个小时不到之后又开始想这想那,之后三个小时看起来在做事,实际上注意力没集中,效果较差,甚至一直在等这三个小时的结束。这种目标的设定只是给自己的心理安慰而已,并没有积极的效果。实际上甚至设定一个小时的看书时间这样的目标可能效果也比以上要好。所以首先不要欺骗自己,看清自己,设定一个自己能较好达成的目标,然后再循序渐进的完成它,不然的话,就像戒了一段时间烟的人之后反而会抽得更猛。
所以要设定一些小而多的目标,即使是锻炼也是分几组几组练的呀。实际上生活中存在的选择比我们要想象得多的多,要学会监视和反思自己的行为,在一些小选择上思考应该或者不应该,而在条件允许下,首先设定一些不难的目标,再循序渐进。很多时候胜负早就已经在你慢慢地失控下决出。比如你可能每天都要逛淘宝都想买东西并且很多时候买完都想剁手甚至觉得自己是蜈蚣就好了,其实最终目标是,你不想剁手(现实中存在有赌博犯在真的剁掉小拇指之后还是继续赌博的案例的),但是你的自控力已经在漫无目的地逛淘宝时已经慢慢地失去了,但是不让你逛淘宝是不可能的,所以先设个简单的目标,比如一个星期某一天不逛淘宝开始。
书中提到最好的锻炼自控的方法就是每天坚持跑步。这样即能锻炼身体,而本身坚持就是锻炼自控的一种方式。
锻炼之后如何休息。
书中提到一种冥想的状态,就是什么都不想什么都不听什么都不看静静的休息几分钟之后自控的力量会恢复一些。还有就是保证充足的睡眠,如果处于缺眠状态那么会更容易失控。
以上方法核心在于,切割易化任务,给自己找成就感,不要过多的责怪自己,因为很多时候失控是因为你没有意识到那些让你失控的原因。
如何让原始的自己和理智协同合作。
这要利用大脑原始部分的特性,恐惧、欲望、开心、失落这些都是原始部分的管辖范围。而前额皮质只是做理智分析而已(并没有情绪,我理解是这样,说错勿怪)。学霸为什么就喜欢做题就喜欢看书学习,难道他们天生自控力特别强吗,这可不一定,这也可能是他们一做题一学习就会“开心”,为什么会开心呢,因为他们想想自己做这些题目就能拿第一了那怎么能不开心。
那么让理智和原始的协作就是要靠情绪渲染了,比如说想象自己这么干以后就会有女神了,或者不这么干就要活撸辈了,再或者经历了一次惨痛的失恋(可能会有副作用),都能一定程度上激发出自己的能动性。关键在于并不是每次我们都能想到这些,甚至想到那么远,或者切身感受到那么遥远的以后的自己会是多么开心或者失落,所以我们需要强化“我想要”以及“我不要”的主观感受,强化的意思就是多次去思考这个问题然后激发出情绪。
额,写了有一些了,先到这,也不知道有没人看。
2014年,祝大家变得更好。
手机的正常行为是闲置一段时间后屏幕变暗,然后熄灭,然后CPU关闭。
有些场景需要改变这种行为,例如播放视频时希望屏幕不要熄灭;
正在进行一些后台操作比如下载东西的时候希望CPU不要停止;
保持屏幕点亮:
在activity中执行如下code(不要在service或者其他组件调用)
getWindow().addFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);
这种做法不需要权限,一般你也无需clean这个flag,系统会管理一切。
或者在activity的layout中设置属性,这和上面的方法是一样的。
android:layout_width=”match_parent”
android:layout_height=”match_parent”
android:keepScreenOn=”true”>
…
保持CPU打开
需要通过PowerManager拿到wake locks,这种方式一般不用再activity中,一般用在后台service中,用于在屏幕熄灭的时候让CPU继续开启。
首先需要声明权限
申请
PowerManager powerManager = (PowerManager) getSystemService(POWER_SERVICE);
Wakelock wakeLock = powerManager.newWakeLock(PowerManager.PARTIAL_WAKE_LOCK,
“MyWakelockTag”);
wakeLock.acquire();
释放
wakeLock.release();
如果用法是你的broadcast receiver中启动一个service,这个service需要保持CPU开启,那么可以使用WakefulBroadcastReceiver。
WakefulBroadcastReceiver会创建和管理一个PARTIAL_WAKE_LOCK,它保证启动的service执行期间CPU是开启的。
(这儿提到了PARTIAL_WAKE_LOCK,一共有4种lock。)
Value CPU Screen Keyboard PARTIAL_WAKE_LOCK On Off Off SCREEN_DIM_WAKE_LOCK On Dim Off SCREEN_BRIGHT_WAKE_LOCK On Bright Off FULL_WAKE_LOCK Ob Bright Bright public class MyWakefulReceiver extends WakefulBroadcastReceiver {
@Override
public void onReceive(Context context, Intent intent) {
// Start the service, keeping the device awake while the service is
从大一刚入学进到桑梓到现在已经十三个月了,却连个记录自己学习路线、经验、感受的空间都没有。很多资料简单的收藏下载之后就压在箱底不再去看,
虽然之前遇到问题上网求解的时候也看了很多大牛的博客,也萌生过自己开一个的想法,但拖延症作祟,即使只是几个简单的步骤,也拖到了今天才开通。
而没有拖得更久的原因是——嗯,每次暗下决心其实都是这个原因——受了刺激。
先是看到从牛顿撞钟开始关注的碎总的imid.me越来越强大,早已不是当年简陋的模样,Nexus5、RMBP、ADT、录音室的图片罗列起来隐约透着大牛的味道。碎总现在也已经是小米的小骨干了,业余时间完成的Fuubo也是倍受好评。
而我也过了蛋碎君做牛顿撞钟时的年纪,却还是学啥啥不成,Linux还一知半解呢,又开始折腾ObjC,其实都没怎么上心,甚至连C++都快要丢掉了,当初预想的Android连头都没开,一腔热血下好的ADT也搬出硬盘。明年就要大三了,估计要开始负责桑梓运维的事情,可看看自己现在的水平,实在是无颜见学长学姐学弟学妹。
昨晚又看到Hebe的CSDN博客已经攒了不少内容。想想大一的时候,其实编程水平跟蚊香君差不了多少,眼界也要开阔不少,可是眼高手低又不敢做事的挫逼性格搞得自己越来越Low,不敢做也就懒得去练,不鸣则已一鸣惊人只是幻想,从未认真过。ACM连半途都没有就废掉了,而Hebe现在已经能去参加区域赛了。
What The Fuck Am I Doing!!!
两个刺激都跟博客有关,所以就从开自己的技术博客开始吧。规划路线很简单,难的是走好,终于迈出了第一步,以后的每一步都会认真的记录下来,为了这一点也要坚持下去,毕竟这玩意儿大家都看着呢,嘿。
高数前的这几周忙过之后就开始着手搭建自己的博客了,听碎总的话从Wordpress开始学起,敢起飞才不会永远是菜鸟。
嗯,先这样吧,晚安。
习惯了 SSH Shell 黑色的配色,Xshell 自带的 ANSI Colors on Black 其实也挺好的,就是蓝色不行,粗体的蓝色就更矬了,在黑色的背景里很难分辩(分显示器),所以就在网了找了个叫做 Solarized Dark 的配色方案,又根据自己的需求在原来的基础上做了些修改,加强了 text 和 text(bold) 的亮度。
Solarized Dark.xcs
下载上面的文件,使用 Xshell 的配色方案管理功能导入就行了。
以下是配色方案的详情:
[Names] count=1 name0=Solarized Dark [Solarized Dark] text(bold)=b0b0b0 magenta(bold)=6c71c4 text=d0d0d0 white(bold)=fdf6e3 green=859900 red(bold)=cb4b16 green(bold)=586e75 black(bold)=073642 red=dc322f blue=268bd2 black=002b36 blue(bold)=268bd2 yellow(bold)=657b83 cyan(bold)=93a1a1 yellow=b58900 magenta=dd3682 background=000000 white=eee8d5 cyan=2aa198
互联网信息性问题
【摘要】:针对Web信息可信度问题,提出了一种为Deep Web数据记录计算可信度的有效方法C-Rank。该方法为每一条记录构造一个S-R可信度网络,包含两种类型顶点及三种类型边。首先基于可信度传播的思想,利用顶点出度为每一个顶点计算其局部可信度值;再利用Record顶点入度及相邻Site顶点的可信度值,为该Record顶点计算权值;继而求得整个S-R网络的全局可信度值。实验证明,C-Rank方法能够合理而有效地评价数据记录的可信度,从而达到甄别虚假信息,为用户推荐可信数据记录的目的。该方法普遍适用于Deep Web的各个领域。
【作者单位】: 中国人民大学信息学院
【关键词】: 深层网络 Web信息可信度 S-R可信度网络 可信度传播
#include "hi_comm_ive.h" #include "mpi_ive.h" #pragma pack(1) typedef struct{ short type; int size; short reserved1; short reserved2; int offset; } BMPHeader; typedef struct{ int size; int width; int height; short planes; short bitsPerPixel; unsigned compression; unsigned imageSize; int xPelsPerMeter; int yPelsPerMeter; int clrUsed; int clrImportant; } BMPInfoHeader; #pragma pack() int saveBMPFile(unsigned char* src, int width, int height, const char* name){ BMPHeader hdr; BMPInfoHeader infoHdr; int ret = 0; FILE* fp = NULL; if(NULL == src) { return (-1); } fp = fopen(name,"
1.移植wpa_supplicant ,上一篇当中已经说明了。
2.加载网卡驱动
我写了一个脚本:W311m.sh
#!/bin/sh
modprobe rt2800usb
echo 148F 5370 > /sys/bus/usb/drivers/rt2800usb/new_id 3.创建连接暗文密码
wpa_passphrase 路由器名 密码 > /etc/wpa_supplicant.conf
4.后台运行wpa_supplicant
wpa_supplicant -Dwext -iwlan0 -C/var/run/wpa_supplicant -c/etc/wpa_supplicant.conf &
要一直等待,直到出现:
Trying to associate with 94:44:52:b1:8b:83 (SSID=’yateksrd’ freq=2412 MHz) Associated with 94:44:52:b1:8b:83 WPA: Key negotiation completed with 94:44:52:b1:8b:83 [PTK=CCMP GTK=CCMP] CTRL-EVENT-CONNECTED – Connection to 94:44:52:b1:8b:83 completed (auth) [id=0 i]
5.自动配置IP地址
udhcpc -i wlan0
也要一直等待,直到出现:
Sending discover… Sending select for 192.168.1.24… Lease of 192.168.1.24 obtained, lease time 49979008 deleting routers route: SIOCDELRT: No such process adding dns 192.
每个人都想要别人倾听自己的心声。社交网络发达的今天,各种个人主页上刷屏一样的状态不断地证明这样话。
在之前的相当长一段时间里,我一直依靠腾讯说说,人人状态,向外界传达自己的心声。个人感觉,这种方式过于浮躁,但符合这个快餐文化的时代。
常常觉得需要系统整理自己的思路,说说之类的微博流却难以做到的。
前几天,读到了刘未鹏的《暗时间》,里面关于写博客的讨论论断,鼓励我最终做出了写博客的决定。
身处这个快节奏的社会,我们做很多事情都变得过于急躁。学习,工作,娱乐,聚会。。。。。。几乎所有的社会活动里都被提速了。我们来不及
思考,也来不及反省。对于人类本身来说,很多次大的突破,源于某些个体在反思自身过程中的顿悟。如果一个人,没有了思考,那么他终将停滞不前。
写博客一个很重要的好处就是:它可以帮助你停下来思考过往的生活,系统地整理自己思路。好比日记,不过对于我这个写字好难看的人来说,日
记还是算了吧。
以上是我现在选择开始写博客的原因。与大家分享,希望更多的人找到符合自己的提高的方式。