robots.txt文件配置

作者:shih 发布时间:March 6, 2011 分类:Internet No Comments

想配置个禁止爬虫来爬站的robots.txt,又一时想不起来这玩意应该怎么配置了,于是查了一下资料,把常用的、可能会用到的,配置记录一下,以便日后查找。

robots.txt文件,只有当你想禁止搜索引擎收录你网站上某一部分的时候才会用到,希望全部收录的请勿使用。

robots.txt文件应该放置在网站根目录下。例:http://shihweblog.com/robots.txt , http://shihweblog.com:80/robots.txt 。

robots.txt文件的格式:#为注释,以User-agent开始,后面带上若干行Disallow和Allow。
User-agent:
该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的Disallow和Allow行的限制。

阅读剩余部分...

VPS下LNMP配置后ssh安装的程序无法使用解决办法

作者:shih 发布时间:March 3, 2011 分类:Ubuntu 1 Comment

最近在VPS上配置好LNMP环境之后为了方便直接用root帐号ssh安装的blog不过发现了问题,由于VPS就自己一个人用,也没有建别的ssh帐号,相信广大vpser应该也是这样,所以接下来这个问题应该还会有人遇到。

ssh登陆在vps虚拟主机目录下,使用wget,unzip,tar……等一系列命令来导入程序相信很多人都会用到,但是在只有一个root帐号的vps下会出现问题,就是这样导入的文件通过web以及ftp无法对其进行操作。

在出现这个问题之后Google之未发现可行的解决办法,又询问了一些朋友,得到的回复是“权限问题”。

知道到了问题的根源算是找到了解决的路线,ssh登陆到vps ls -l 查看发现,确实在权限上有问题

第一行是通过root帐号ssh得到的文件,第二行是通过web方式上传的文件,第三行是通过ftp上传的问题,有了这个算是明白了,root帐号ssh得到的文件权限用户组为root,而通过web于ftp得到的文件用户组是www,www组的权限当然没有root组的权限大,因此出现了不能对文件进行操作的问题。

解决办法,对root帐号ssh得到的文件在ssh下执行 chown www:www -R  目录 将目录给www用户组。

还有个方法应该可行,但是未测试,在vps上建立个www组的用户,然后用这个用户去虚拟主机目录进行操作。

BurstNET 1# VPS测试

作者:shih 发布时间:March 2, 2011 分类:Ubuntu,Internet No Comments

VPS装的ubuntu,准备学ubuntu在VPS上装个玩一下也不错,很多人都说BurstNET的这款VPS玩玩确实不错,价格很好,一月才35块。

折腾了几天摸索出来点门道,咱也学人家来进行个测试。


磁盘读写测试 84M/s 速度不错。


unixbench测试得分774.4还不错。

只不过速度不是很好,vePortal的面板,有基本开机重启重装操作,重装系统不错点一下就搞定了,前后不过1分钟,所以可以放心大胆的操作,捣鼓出毛病了大不了就是一个os reload反正很方便。

居然找到了09年备份的日志

作者:shih 发布时间:March 1, 2011 分类:Journal No Comments

一直以来自己都是个不善于备份数据的人,不过一下子找到了以前备份的数据还是真都有点小激动,毕竟印象中自己没备份过几次数据,而这仅有的那么几次被我发现了。

这两天搞了个VPS在捣腾,确实感觉不错,比虚拟主机耐玩。探针点这里

装的是LicessLNMP一键包,期间也试过自己一个一个的来装,太麻烦,一共下来可能装了有3个多小时,期间也走了不少弯路,不过学到了不少东西,LNMP一键包就方便多了,大约20分钟左右全部搞定。接下来也写一些装LNMP的心得、经验,有看的可以少走一些弯路。

终于下定决心给笔记本装上ubuntu了,虽然现在仅仅是wubi安装等自己研究明白了再真正的装上吧。

院子里的那只猫

作者:shih 发布时间:October 10, 2010 分类:Journal No Comments

家里的院子很久以前被一只怀孕的野猫占领了,直到其产仔后一个月才离开,大猫走了,小猫却留下了,于是开始喂猫,就在这之后不久小猫渐渐的张大了也都跑了,不过最近有一只受伤的小猫又跑回来了,两条后腿好像都有问题跑起来也不利索了,看上去像是被人打的,所以又开始了喂猫的日子.
野猫就是野猫反正是怎么喂都喂不熟.现在这受伤的小猫见了人依然要跑,也许是被人打了怕人了吧.不过在它养好伤之后又不见了.
猫
每天就这么卧着,这个地方是每天我出来之后它的第一潜逃地点

阅读剩余部分...