初学者学习网页采集要经历的几大难关：
1、如何找到抓取的数据所在的网页链接---用httpfox或者fiddler2
2、如何得到数据-------------------------------用Microsoft.XMLHTTP、Msxml2.XMLHTTP、MSXML2.ServerXMLHTTP、WinHttp.WinHttpRequest.5.1对象
3、如何转换编码-------------------------------用Adodb.Stream对象
4、如何得到最终需要的数据-----------------vba字符串处理的基本功（字符串和数组处理，split、replace、filter、正则等）
下面看一个简单的网页采集例子
- Sub test()
- Dim strRespText$, tt$, i&, DW$
- Dim URL
- URL = "******************************" '链接请看楼顶说明里的帖子，俺这里就不写了，以免被防水墙删贴
- With CreateObject("Microsoft.XMLHTTP")
- .Open "GET", URL, False '要抓取的链接，"GET"尽量用大写，以免某些系统不兼容
- .Send
- tt = .responsetext
- With CreateObject("new:{1C3B4210-F441-11CE-B9EA-00AA006B1A69}") 'DataObject对象，数据放入剪贴板，记事本观察数据
- .SetText tt '因为XMLHTTP默认是UTF-8，不能识别gb2312，会发现数据乱码
- .PutInClipboard '所以不能采用.responsetext对象来得到字符串
- End With
- tt = BytesToBstr(.ResponseBody, "GB2312") '因此要用Adodb.Stream对象
- 'tt = StrConv(.ResponseBody, vbUnicode，&H804) '或者StrConv函数，从.ResponseBody得到字符串
- 'tt = StrConv(.ResponseBody, vbUnicode) '因网页为GB2312，简体版的操作系统也可以不写第三个参数
- With CreateObject("new:{1C3B4210-F441-11CE-B9EA-00AA006B1A69}") '得到的字符串放入剪贴板，记事本观察数据
- .SetText tt '数据正常显示，可以提取了
- .PutInClipboard
- End With
- tt = Replace(tt, vbCrLf, "") '清理要提取的数据，准备提取
- tt = Replace(tt, "</font></b></td> <td width=""392""><font size=""2"">", "")
- DW = Split(Split(tt, "报考单位：")(1), "<")(0) '提取数据
- MsgBox DW
- End With
- End Sub
复制代码
下面是采集用到的Bstr编码转换函数
- Function BytesToBstr(strBody, CodeBase) '使用Adodb.Stream对象提取字符串
- Dim objStream
- On Error Resume Next
- Set objStream = CreateObject("Adodb.Stream")
- With objStream
- .Type = 1 '二进制
- .Mode = 3 '读写
- .Open
- .Write strBody '二进制数组写入Adodb.Stream对象内部
- .Position = 0 '位置起始为0
- .Type = 2 '字符串
- .Charset = CodeBase '数据的编码格式
- BytesToBstr = .ReadText '得到字符串
- End With
- objStream.Close
- Set objStream = Nothing
- If Err.Number <> 0 Then BytesToBstr = ""
- On Error GoTo 0
- End Function
|
