黑马程序员技术交流社区

标题: 抓取网页源码问题 [打印本页]
作者: 陈家辉    时间: 2013-8-11 09:36
标题: 抓取网页源码问题
本帖最后由 陈家辉 于 2013-8-18 00:00 编辑

HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = "http://ci.aizhan.com/seo/",

                Encoding = Encoding.UTF8,
                Method = "get",//URL     可选项 默认为Get
                ContentType = "application/x-www-form-urlencoded",
            };
            //得到HTML代码
            HttpResult result = http.GetHtml(item);
            result = http.GetHtml(item);
            richTextBox1.Text = result.Html;


这样去抓的话抓不到任何数据，网页直接访问可以访问到数据！各位大哥大姐，新人求帮助！
作者: 聂广强    时间: 2013-8-11 10:17
  1. #region 得到网页源码方法 GetHttpWebRequest
  2.         public string GetHttpWebRequest(string url)
  3.         {
  4.             string str = null;
  5.             HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
  6.             //得到返回
  7.             HttpWebResponse response = (HttpWebResponse)request.GetResponse();
  8.             //得到流
  9.             Stream recStream = response.GetResponseStream();
  10.             //指定转换为gb2312编码
  11.             StreamReader sr = new StreamReader(recStream, Encoding.Default);
  12.             //以字符串方式得到网页内容
  13.             String content = sr.ReadToEnd();
  14.             str = content;
  15.             recStream.Close();
  16.             sr.Dispose();
  17.             return str;
  18.         }
  19.         #endregion
复制代码
这个是我的得到网页源码所写的一个方法 可以参考一下



欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2