HTTP协议的请求与数据抓包

caroline11

HTTP请求过程：
输入目标网站，通过http发出GET请求或者POST请求，通过代码找到相应的函数，返回一个相关数据。

什么是GET请求和POST请求：
GET：是从服务器获取原数据，不会更改数据库的数据和状态

POST：携带数据发送到服务器，一般会更改服务器的数据

通过代码说明如何使用GET请求：
image爬虫抓包：
不同服务器之间的数据都是通过网络来进行传输，对那些在网络上传输的数据（发送、请求的数据）进行截获、编辑、转存等操作叫做抓包。抓包可以是抓取服务器请求的数据，通过对网络上传输的数据进行抓取，可以对其进行分析。

GET、POST请求发送的数据包的不同：
GET请求过程中，会出现两种数据包，目标网站会将这两个数据包一起传送出去。状态码返回200，成功返回数据

POST请求过程中，会一步一步想目标网站发出请求，目标网站会先会传送header，装填码返回100后，在传送data，状态码返回200，才能成功返回数据

GET与POST请求方式不同，步骤当然也不可能，可能有些人会觉得POST请求步骤麻烦一些。但是并不是这个根据自己的实际请求而定。

通过代码分析如何数据抓包：

1. import java.io.IOException;
   
2. import java.net.Authenticator;
   
3. import java.net.InetSocketAddress;
   
4. import java.net.PasswordAuthentication;
   
5. import java.net.Proxy;
   
6. 
   
7. import org.jsoup.Jsoup;
   
8. import org.jsoup.nodes.Document;
   
9. 
   
10. 
    
11. public class Demo
    
12. {
    
13.     // 代理验证信息
    
14.     final static String ProxyUser = "username";
    
15.     final static String ProxyPass = "password";
    
16. 
    
17.     // 代理服务器(产品官网 www.16yun.cn)
    
18.     final static String ProxyHost = "t.16yun.cn";
    
19.     final static Integer ProxyPort = 31111;
    
20. 
    
21.     // 设置IP切换头
    
22.     final static String ProxyHeadKey = "Proxy-Tunnel";
    
23. 
    
24. 
    
25.     public static String getUrlProxyContent(String url)
    
26.     {
    
27.         Authenticator.setDefault(new Authenticator() {
    
28.             public PasswordAuthentication getPasswordAuthentication()
    
29.             {
    
30.                 return new PasswordAuthentication(ProxyUser, ProxyPass.toCharArray());
    
31.             }
    
32.         });
    
33.         // 设置Proxy-Tunnel
    
34.         Random random = new Random();
    
35.         int tunnel = random.nextInt(10000);
    
36.         String ProxyHeadVal = String.valueOf(tunnel);
    
37. 
    
38.         Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(ProxyHost, ProxyPort));
    
39. 
    
40.         try
    
41.         {
    
42.             // 处理异常、其他参数
    
43.             Document doc = Jsoup.connect(url).timeout(3000).header(ProxyHeadKey, ProxyHeadVal).proxy(proxy).get();
    
44. 
    
45.             if(doc != null) {
    
46.                 System.out.println(doc.body().html());
    
47.             }
    
48.         }
    
49.         catch (IOException e)
    
50.         {
    
51.             e.printStackTrace();
    
52.         }
    
53. 
    
54.         return null;
    
55.     }
    
56. 
    
57.     public static void main(String[] args) throws Exception
    
58.     {
    
59.         // 要访问的目标页面
    
60.         String targetUrl = "http://httpbin.org/ip";
    
61. 
    
62. 
    
63.         getUrlProxyContent(targetUrl);
    
64.     }
    
65. }

复制代码