《htmlparser使用指南》由会员分享，可在线阅读，更多相关《htmlparser使用指南（18页珍藏版）》请在金锄头文库上搜索。
1、需要做一个垂直搜索引擎，比拟了nekohtml和htmlparser 的功能，尽管nekohtml在容错性、性能等方面的口碑好似比htmlparser好htmlunit也用的是nekohtml，但感觉 nekohtml的测试用例和文档都比htmlparser都少，而且htmlparser根本上能够满足垂直搜索引擎页面处理分析的需求，因此先研究一下htmlparser的使用，有空再研究nekohtml和mozilla html parser的使用。 html的功能还是官方说得最为清楚， 引用 HTML Parser is a Java library used to parse HTML in
2、either a linear or nested fashion. Primarily used for transformation or extraction, it features filters, visitors, custom tags and easy to use JavaBeans. It is a fast, robust and well tested package. The two fundamental use-cases that are handled by the parser are extraction and transformation (the
3、syntheses use-case, where HTML pages are created from scratch, is better handled by other tools closer to the source of data). While prior versions concentrated on data extraction from web pages, Version 1.4 of the HTMLParser has substantial improvements in the area of transforming web pages, with s
4、implified tag creation and editing, and verbatim toHtml() method output. 研究的重点还是extraction的使用，有空再研究transformation的使用。 1、htmlparser对html页面处理的数据结构 color=blue 如下图，HtmlParser采用了经典的Composite模式，通过RemarkNode、TextNode、TagNode、AbstractNode和Tag来描述HTML页面各元素。 * org.htmlparser.Node： Node接口定义了进行树形结构节点操作的各种典型操作方法，
5、包括： 节点到html文本、text文本的方法：toPlainTextString、toHtml 典型树形结构遍历的方法：getParent、getChildren、getFirstChild、getLastChild、getPreviousSibling、getNextSibling、getText 获取节点对应的树形结构结构的顶级节点Page对象方法：getPage 获取节点起始位置的方法：getStartPosition、getEndPosition Visitor方法遍历节点时候方法：accept (NodeVisitor visitor) Filter方法：collectInto (
6、NodeList list, NodeFilter filter) Object方法：toString、clone * org.htmlparser.nodes.AbstractNode： AbstractNode是形成HTML树形结构抽象基类，实现了Node接口。 在htmlparser中，Node分成三类： RemarkNode：代表Html中的注释 TagNode：标签节点。 TextNode：文本节点 这三类节点都继承AbstractNode。 * org.htmlparser.nodes.TagNode： TagNode包含了对HTML处理的核心的各个类，是所有TAG的基类，其中有分
7、为包含其他TAG的复合节点ComositeTag和不包含其他TAG的叶子节点Tag。 复合节点CompositeTag： AppletTag,BodyTag,Bullet,BulletList,DefinitionList,DefinitionListBullet,Div,FormTag,FrameSetTag,HeadingTag, HeadTag,Html,LabelTag,LinkTag,ObjectTag,ParagraphTag,ScriptTag,SelectTag,Span,StyleTag,TableColumn, TableHeader,TableRow,TableTag,T
8、extareaTag,TitleTag 叶子节点TAG： BaseHrefTag,DoctypeTag,FrameTag,ImageTag,InputTag,JspTag,MetaTag,ProcessingInstructionTag, 2、htmlparser对html页面处理的算法 主要是如下几种方式 Java代码 1. *采用Visitor方式访问Html 2. 3. try 4. Parserparser=newParser(); 5. parser.setURL( :/ google ); 6. parser.setEncoding(parser.getEncoding(); 7.
9、 NodeVisitorvisitor=newNodeVisitor() 8. publicvoidvisitTag(Tagtag) 9. logger.fatal(testVisitorAll()Tagnameis: 10. +tag.getTagName()+nClassis: 11. +tag.getClass(); 12. 13. 14. ; 15. 16. parser.visitAllNodesWith(visitor); 17. catch(ParserExceptione) 18. e.printStackTrace(); 19. 20. 21. *采用Filter方式访问ht
10、ml 22. 23. try 24. 25. NodeFilterfilter=newNodeClassFilter(LinkTag.class); 26. Parserparser=newParser(); 27. parser.setURL( :/ google ); 28. parser.setEncoding(parser.getEncoding(); 29. NodeListlist=parser.extractAllNodesThatMatch(filter); 30. for(inti=0;ilist.size();i+) 31. LinkTagnode=(LinkTag)lis
11、t.elementAt(i); 32. logger.fatal(testLinkTag()Linkis:+node.extractLink(); 33. 34. catch(Exceptione) 35. e.printStackTrace(); 36. 37. 38. *采用org.htmlparser.beans方式 39. 40. 另外htmlparser还在org.htmlparser.beans中对一些常用的方法进行了封装，以简化操作，例如： 41. 42. Parserparser=newParser(); 43. 44. LinkBeanlinkBean=newLinkBean
12、(); 45. linkBean.setURL( :/ google ); 46. URLurls=linkBean.getLinks(); 47. 48. for(inti=0;iurls.length;i+) 49. URLurl=urlsi; 50. logger.fatal(testLinkBean()-urlis:+url); 51. 52. 53. 54. 3、htmlparser关键包结构说明 55. 56. htmlparser其实核心代码并不多，好好研究一下其代码，弥补文档缺乏的问题。同时htmlparser的代码注释和单元测试用例还是很齐全的，也有助于了解htmlparse
13、r的用法。 57. 58. 59. 3.1、org.htmlparser 60. 61. 定义了htmlparser的一些根底类。其中最为重要的是Parser类。 62. 63. Parser是htmlparser的最核心的类，其构造函数提供了如下：Parser.createParser(Stringhtml,Stringcharset)、Parser()、Parser(Lexerlexer,ParserFeedbackfb)、Parser(URLConnectionconnection,ParserFeedbackfb)、Parser(Stringresource,ParserFeedbackfeedback)、Parser(Stringresource) 64. 65. 各构造函数的具体用法及含义可以查看其代码，很容易理解。 66. 67. Parser常用的几个方法： 68. 69. *elements获取元素 70. 71. Parserparser=newParser( :/ goog
