博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用Jsoup抓取页面的数据
阅读量:4070 次
发布时间:2019-05-25

本文共 891 字,大约阅读时间需要 2 分钟。

package test;
import java.io.IOException;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
public class Test {
 
    @org.junit.Test
    public void getDatasByCssQueryUserBaidu() {
        try {
            parseRequestUrl("http://www.xicidaili.com/nt");
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
 
    public static void parseRequestUrl(String url) throws IOException {
        Connection con = Jsoup.connect(url); // 获取请求连接
        // 浏览器可接受的MIME类型。
        con.header("User-Agent",
                "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0");
        Document doc = con.get();
        Elements tds = doc.getElementsByTag("td");
        for (int i = 0; i < tds.size(); i++) {
            String linkText = tds.get(i).text();
            if (linkText.indexOf(".") > 0) {
                System.out.println("========" + linkText);
                String port = tds.get(i+1).text();
                System.out.println("-----------------"+port);
            }
        }
    }

}

转载地址:http://fihji.baihongyu.com/

你可能感兴趣的文章
Jenkins + Docker + SpringCloud 微服务持续集成 - 高可用集群部署(三)
查看>>
Golang struct 指针引用用法(声明入门篇)
查看>>
Linux 粘滞位 suid sgid
查看>>
C#控件集DotNetBar安装及破解
查看>>
Winform皮肤控件IrisSkin4.dll使用
查看>>
Winform多线程
查看>>
C# 托管与非托管
查看>>
Node.js中的事件驱动编程详解
查看>>
mongodb 命令
查看>>
MongoDB基本使用
查看>>
mongodb管理与安全认证
查看>>
nodejs内存控制
查看>>
nodejs Stream使用中的陷阱
查看>>
MongoDB 数据文件备份与恢复
查看>>
数据库索引介绍及使用
查看>>
MongoDB数据库插入、更新和删除操作详解
查看>>
MongoDB文档(Document)全局唯一ID的设计思路
查看>>
mongoDB简介
查看>>
Redis持久化存储(AOF与RDB两种模式)
查看>>
memcached工作原理与优化建议
查看>>