using System;
using System.Xml;
using System.Text;
using System.Net;
using System.IO;
using System.Collections;
using System.Text.Regularexpressions;
public class App
{
public static void Main()
{
string strCode;
ArrayList allinks;
Console.Write("请输入一个网页地址:");
string strURL = Console.ReadLine();
if(strURL.Substring(0,7) != @"http://")
{
strURL = @"http://" + strURL;
}
Console.WriteLine("正在获取页面代码,请稍侯...");
strCode = GetPageSource(strURL);
Console.WriteLine("正在提取超链接,请稍侯...");
allinks = GetHyperlinks(strCode);
Console.WriteLine("正在写入文件,请稍侯...");
WriteToXml(strURL,allinks);
}
// 获取指定网页的HTML代码
static string GetPageSource(string URL)
{
Uri uri =new Uri(URL);
HttpWebRequest hwReq = (HttpWebRequest)WebRequest.Create(uri);
HttpWebResponse hwRes = (HttpWebResponse)hwReq.GetResponse();
hwReq.Method = "Get";
hwReq.KeepAlive = false;
StreamReader reader = new StreamReader(hwRes.GetResponseStream(),System.Text.Encoding.GetEncoding("GB2312"));
return reader.ReadToEnd();
}
// 提取HTML代码中的网址
static ArrayList GetHyperlinks(string htmlCode)
{
ArrayList al = new ArrayList();
string strRegex = @"http://([w-]+.)+[w-]+(/[w- https://www.cnblogs.com/zhangpengshou/p/?%&=]*)?";
Regex r = new Regex(strRegex,RegexOptions.IgnoreCase);
MatchCollection m = r.Matches(htmlCode);
for(int i=0; i<=m.Count-1; i++)
{
bool rep = false;
string strNew = m[i].ToString();
// 过滤重复的URL
foreach(string str in al)
{
if(strNew==str)
{
rep =true;
break;
}
}
if(!rep) al.Add(strNew);
}
al.Sort();
return al;
}
// 把网址写入xml文件
static void WriteToXml(string strURL, ArrayList alHyperlinks)
{
XmlTextWriter writer = new XmlTextWriter("Hyperlinks.xml",Encoding.UTF8);
writer.Formatting = Formatting.Indented;
writer.WriteStartdocument(false);
writer.WriteDocType("Hyperlinks", null, "urls.dtd", null);
writer.WriteComment("提取自" + strURL + "的超链接");
writer.WriteStartElement("Hyperlinks");
writer.WriteStartElement("Hyperlinks", null);
writer.WriteAttributeString("DateTime",DateTime.Now.ToString());
foreach(string str in alHyperlinks)
{
string title = GetDomain(str);
string body = str;
writer.WriteElementString(title,null,body);
}
writer.WriteEndElement();
writer.WriteEndElement();
writer.Flush();
writer.Close();
}
// 获取网址的域名后缀
static string GetDomain(string strURL)
{
string retVal;
string strRegex = @"(.com/|.net/|.cn/|.org/|.gov/)";
Regex r = new Regex(strRegex,RegexOptions.IgnoreCase);
Match m = r.Match(strURL);
retVal = m.ToString();
strRegex = @".|/$";
retVal = Regex.Replace(retVal, strRegex, "").ToString();
if(retVal == "")
retVal = "other";
return retVal;
}
}
提取网页中的超级链接
2024-12-20
- 最新文章
- 2025-04-16电信卡怎么异地销户 销户流程是什么手机卡停机多久会被注销「电信卡怎么异地销户 销户流程是什么」
- 2025-04-16梦金园去年净利同比降17.8%至1.89亿元 海外增700%
- 2025-04-16Real Moto 2(真实摩托2游戏手机版)摩托手机「Real Moto 2(真实摩托2游戏手机版)」
- 2025-04-16怎么找回qq密码qq密码忘记了手机号也换了怎么办「怎么找回qq密码」
- 2025-04-16家居“新物种”:行业新革命!叶盛明珠发热岩板颠覆家居采暖逻辑
- 2025-04-16如何连接usbusb怎么连接手机「如何连接usb」
- 相关文章
- 同类文章
- 2025-03-30龙湖管理层:楼市明显回暖,新房市场下降空间有限
- 2025-02-14如何给支付宝充值支付宝手机充值「如何给支付宝充值」
- 2025-02-13iphone7手机壁纸尺寸是多少手机壁纸尺寸「iphone7手机壁纸尺寸是多少」
- 2025-01-03ImageFX
- 2024-12-29【俊跃JUNYUE是哪个国家的品牌?】
- 2024-12-20提取网页中的超级链接
- 热门文章
- 2025-04-16全球首款三折叠手机亮相 华为抢占折叠屏手机高位三折叠手机「全球首款三折叠手机亮相 华为抢占折叠屏手机高位」
- 2025-04-16理导伴你行丨辅导员手机里面的故事手机故事「理导伴你行丨辅导员手机里面的故事」
- 2025-04-16手机探测门到底有多厉害?移除SIM卡和电池的手机也能检测到手机检测「手机探测门到底有多厉害?移除SIM卡和电池的手机也能检测到」
- 2025-04-16终极格斗冠军赛4手机版ufc游戏手机版「终极格斗冠军赛4手机版」
- 2025-04-16清明不只青团!还有乌稔饭、枣糕等地方特色美食
- 2025-04-16手机壳会致癌 被窝里玩更要命手机壳有异味有毒吗「手机壳会致癌 被窝里玩更要命」