Meta 标 签 放 在 每 个 网 页 的 《head》...《/head》 中，我 们 大 家 比 较 熟 悉 的 如： 《meta name="GENERATOR" content="Microsoft FrontPage 3.0"》说明编辑工具； 《meta name="KEYWORDS" content="..."》说明关键词； 《meta name="DESCRIPTION" content="..."》说明主页描述； 《meta http-equiv="Content-Type" content="text/html; charset=gb_2312-80"》和 《meta http-equiv="Content-Language" content="zh-CN"》说明所用语言及文字... 可 见 META 有 两 种，name 和 http-equiv。 name 主 要 用 于 描 述 网 页, 对 应 于 content, 以 便 于 搜 索 引 擎 机 器 人 查 找、 分 类（目 前 几 乎 所 有 的 搜 索 引 擎 都 使 用 网 上 机 器 人 自 动 查 找 META 值 来 给 你 的 网 页 分 类）。这 其 中 最 重 要 的 是 DESCRIPTION（你 的 站 点 在 引 擎 上 的 描 述）和 KEYWORDS（搜 索 引 擎 籍 以 分 类 的 关 键 词），应 该 给 你 的 “每 一 页” 都 插 入 这 两 个 META 值。当 然 你 也 可 以 不 要 搜 索 引 擎 检 索, 可 用: 《meta name="ROBOTS" content="all | none | index | noindex | follow | nofollow"》 来确定: 设定为"all"时文件将被检索，且页上链接可被查询; 设定为"none"则表示文件不被检索，而且不查询页上的链接; 设定为"index"时文件将被检索; 设定为"follow"则可查询页上的链接; 设定为"noindex"时文件不检索，但可被查询链接; 设定为"nofollow"则表示文件不被检索，但可查询页上的链接. http-equiv 顾 名 思 义 相 当 于 http 文 件 头 的 作 用，可 以 直 接 影 响 网 页 的 传 输。比 较 直 接 的 例 子 如: 1、自动刷新，并指向新网页 《meta http-equiv="Refresh" content="10; url= http://yourlink"》10秒后刷新到http://yourlink; 2、网页间转换时加入效果 《meta http-equiv="Page-Enter" content="revealTrans(duration=10, transition=50)"》 《meta http-equiv="Page-Exit" content="revealTrans(duration=20, transition=6)"》 加在一个网页中，进出时有一些特殊效果，这个功能即FrontPage 98的Format/Page Transition.不过注意所加网页不能是一个Frame页; 3、强制网页不被存入Cache中 《meta http-equiv="pragma" content="no-cache"》 《meta http-equiv="expires" content="wed, 26 Feb 1997 08:21:57 GMT"》 大家可以到http://www.internet.com上看看，它的首页当你断线后，就无法在cache中再调出。（本身是关于建站很棒的站点) 4、定义指向窗口 《meta http-equiv="window-target" content="_top"》 可以防止网页被别人作为一个Frame调用.(不过,我试了一下,似乎不灵) Meta 还 有 很 多 功 能, 如 大 家 关 心 的 "怎 样 在 搜 索 引 擎 中，被 放 在 搜 索 结 果 前 面 的 位 置" ( http://vancouver-webpages.com/VWbot/mk-metas.html). 你 可 以 在 以 下 站 点 进 一 步 查 询： http://webdeveloper.com/categories/html/ html_metatag_res.html http://vancouver-webpages.com/META/ http://www.nlc-bnc.ca/ifla/II/metadata.htm Internet越来越酷，WWW的知名度如日中天。在Internet上发布公司信息、进行电子商务已经从时髦演化成时尚。作为一个Web Master，你可能对HTML、javascript、Java、 ActiveX了如指掌，但你是否知道什么是Web Robot？你是否知道Web Robot和你所设计的主页有什么关系？ Internet上的流浪汉--- Web Robot 有时你会莫名其妙地发现你的主页的内容在一个搜索引擎中被索引，即使你从未与他们有过任何联系。其实这正是Web Robot的功劳。Web Robot其实是一些程序，它可以穿越大量Internet网址的超文本结构，递归地检索网络站点所有的内容。这些程序有时被叫 “蜘蛛（Spider）” ， “网上流浪汉（Web Wanderer）”，“网络蠕虫（web worms）”或Web crawler。一些Internet网上知名的搜索引擎站点（Search Engines）都有专门的Web Robot程序来完成信息的采集，例如Lycos，Webcrawler，Altavista等，以及中文搜索引擎站点例如北极星，网易，GOYOYO等。 Web Robot就象一个不速之客，不管你是否在意，它都会忠于自己主人的职责，任劳任怨、不知疲倦地奔波于万维网的空间，当然也会光临你的主页，检索主页内容并生成它所需要的记录格式。或许有的主页内容你乐于世人皆知，但有的内容你却不愿被洞察、索引。难道你就只能任其“横行”于自己主页空间，能否指挥和控制Web Robot的行踪呢？答案当然是肯定的。只要你阅读了本篇的下文，就可以象一个交通警察一样，布置下一个个路标，告诉Web Robot应该怎么去检索你的主页，哪些可以检索，哪些不可以访问。 其实Web Robot能听懂你的话 不要以为Web Robot是毫无组织，毫无管束地乱跑。很多Web Robot软件给网络站点的管理员或网页内容制作者提供了两种方法来限制Web Robot的行踪： 1、Robots Exclusion Protocol 协议 网络站点的管理员可以在站点上建立一个专门格式的文件，来指出站点上的哪一部分可以被robot访问, 这个文件放在站点的根目录下，即http://.../robots.txt. 2、Robots META tag 一个网页作者可以使用专门的HTML META tag ，来指出某一个网页是否可以被索引、分析或链接。 这些方法适合于大多数的Web Robot，至于是否在软件中实施了这些方法，还依赖于 Robot的开发者，并非可以保证对任何Robot都灵验。如果你迫切需要保护自己内容，则应考虑采用诸如增加密码等其他保护方法。 使用Robots Exclusion Protocol协议 当Robot访问一个 Web 站点时，比如http://www.sti.net.cn/，它先去检查文件http: //www.sti.net.cn/robots.txt。如果这个文件存在，它便会按照这样的记录格式去分析： User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ 以确定它是否应该检索站点的文件。这些记录是专门给Web Robot看的，一般的浏览者大概永远不会看到这个文件，所以千万不要异想天开地在里面加入形似《img src=*》 类的HTML语句或是“How do you do? where are you from?”之类假情假意的问候语。 在一个站点上只能有一个 "/robots.txt" 文件，而且文件名的每个字母要求全部是小写。在Robot的记录格式中每一个单独的"Disallow" 行表示你不希望Robot访问的URL，每个URL必须单独占一行，不能出现 "Disallow: /cgi-bin/ /tmp/"这样的病句。同时在一个记录中不能出现空行，这是因为空行是多个记录分割的标志。 User-agent行指出的是Robot或其他代理的名称。在User-agent行，'*' 表示一个特殊的含义---所有的robot。 下面是几个robot.txt的例子： 在整个服务器上拒绝所有的robots： User-agent: * Disallow: / 允许所有的robots访问整个站点： User-agent: * Disallow: 或者产生一个空的 "/robots.txt" 文件。 服务器的部分内容允许所有的robot访问 User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /private/ 拒绝某一个专门的robot： User-agent: BadBot Disallow: / 只允许某一个robot光顾： User-agent: WebCrawler Disallow: User-agent: * Disallow: / 最后我们给出 http://www.w3.org/站点上的robots.txt： # For use by search.w3.org User-agent: W3Crobot/1 Disallow: User-agent: * Disallow: /Member/ # This is restricted to W3C Members only Disallow: /member/ # This is restricted to W3C Members only Disallow: /team/ # This is restricted to W3C Team only Disallow: /TandS/Member # This is restricted to W3C Members only Disallow: /TandS/Team # This is restricted to W3C Team only Disallow: /Project Disallow: /Systems Disallow: /Web Disallow: /Team 使用Robots META tag方式 Robots META tag 允许HTML网页作者指出某一页是否可以被索引，或是否可以用来查找更多的链接文件。目前只有部分robot实施了这一功能。 Robots META tag的格式为： 《META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"》 象其他的META tag一样，它应该放在HTML文件的HEAD区： 《html》 《head》 《meta name="robots" content="noindex,nofollow"》 《meta name="description" content="This page ...."》 《title》...《/title》 《/head》 《body》 ... Robots META tag指令使用逗号隔开，可以使用的指令包括 [NO]INDEX 和[NO] FOLLOW。INDEX 指令指出一个索引性robot是否可以对本页进行索引；FOLLOW 指令指出robot是否可以跟踪本页的链接。缺省的情况是INDEX和FOLLOW。例如： 《meta name="robots" content="index,follow"》 《meta name="robots" content="noindex,follow"》 《meta name="robots" content="index,nofollow"》 《meta name="robots" content="noindex,nofollow"》 一个好的Web 站点管理员应该将robot的管理考虑在内，使robot为自己的主页服务，同时又不损害自己网页的安全。