Эхлэл Бүгдийг харах Тусламж
Бүртгүүлэх Нэвтрэх
david
/
IPProxyPool
-ын хуулбар https://github.com/qiyeboy/IPProxyPool.git
1
0
Салаа 0
Файлууд Асуудлууд 0 Мэдлэгийн сан
Салаа: master
Салаанууд Тагууд
IPProxyPool
/
test
/
testlxml.py

testlxml.py 13 KB
Байнгын холболт Түүх Анхны өгөгдөл

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172 
  1. # coding:utf-8
    2. 

  2. from lxml import etree
    3. 

  3. 

  4. __author__ = 'Xaxdus'
    5. 

  5. 

  6. html = '''
    7. 

  7. 

  8. <!doctype html public "-//w3c//dtd xhtml 1.0 transitional//en" "http://www.w3.org/tr/xhtml1/dtd/xhtml1-transitional.dtd">
    9. 

  9. <html xmlns="http://www.w3.org/1999/xhtml">
    10. 

  10. <head>
    11. 

  11. <title>北京http代理ip_66免费代理ip提取网</title><meta http-equiv="Content-Type" content="text/html; charset=gb2312"/>
    12. 

  12. <meta name="keywords" content="ip提取，http代理，国内外代理，免费高匿名代理，免费ip提取网站，ip代理提取，免费ip代理,代理ip,ip代理,ip代理软件"/>
    13. 

  13. <meta name="description" content="66免费ip代理网时时更新最新免费代理ip、http代理为主,常年提供免费代理ip、qq代理ip、https匿名代理、国内代理软件等加速服务，为用户提供最优质代理."/>
    14. 

  14. <meta name=generator content="mshtml 8.00.7601.17514">
    15. 

  15. <script type="text/javascript" src="/common/js/public.js"></script>
    16. 

  16. <script type="text/javascript" src="/common/js/app.js"></script>
    17. 

  17. <link rel="stylesheet" type="text/css" href="/common/css/main.css"/>
    18. 

  18. </head>
    19. 

  19. <body>
    20. 

  20. <div id="header" class="header">
    21. 

  21. <div class="logoarea">
    22. 

  22. <a class="logo left block" href=""><img src="/common/tp/logo.gif" alt="66免费ip代理网LOGO" height="65"></a>
    23. 

  23. <div class="clr">
    24. 

  24. <div align="right">
    25. 

  25. <a href="index.html"></a>
    26. 

  26. <ul class="textlarge" style="padding-top:12px">
    27. 

  27. <a href="/zh.php">祝贺:网站会员已经开通在线支付功能,支持支付宝.财付通.微信,付款购买会员点击购买!
    28. 

  28. <a href="http://www.66ip.cn/zh.php" rel="nofollow" target="_blank"><img src="/common/img/yaoyao.jpg" border="0"></a>
    29. 

  29. </ul>
    30. 

  30. </div>
    31. 

  31. </div>
    32. 

  32. </div>
    33. 

  33. <div class="navigator">
    34. 

  34. <div align="center">
    35. 

  35. <ul class="textlarge">
    36. 

  36. <li><a href="/index.html">网站首页</a></li>
    37. 

  37. <li><a href="/pt.html">免费HTTP提取</a></li>
    38. 

  38. <li><a href="/nm.html">免费匿名IP提取</a></li>
    39. 

  39. <li><a href="/rj.html">免费软件IP提取</a></li>
    40. 

  40. <li><a href="/yz">在线代理IP检测</a></li>
    41. 

  41. <li><a href="/zz.html">收费会员IP提取</a></li>
    42. 

  42. <li><a href="/zh.php">收费购买IP价格</a></li>
    43. 

  43. <li><a class="logo left block" href="tencent://message/?uin=709295847&amp;site=客服&amp;menu=yes"><img src="/common/tp/qq.gif" alt="QQ客服" width="77" height="22" border="0" align="right"></a></li>
    44. 

  44. </ul>
    45. 

  45. </div>
    46. 

  46. </div>
    47. 

  47. </div>
    48. 

  48. <div style="margin-top:10px">
    49. 

  49. <table style="width:959px;margin:0 auto;border:1px solid #ccc;border-collapse:collapse" cellpadding="0" cellspacing="0">
    50. 

  50. <tr>
    51. 

  51. <td>
    52. 

  52. <p>
    53. 

  53. <a href="http://shang.qq.com/wpa/qunwpa?idkey=21cc6c4df48771b2049764bbc76a51fb9df9627e6096c14378f8f1bef78a2e8f" target="_blank"><img src="/klz/953X164.gif" alt="免流量" border="0"></a>
    54. 

  54. </p>
    55. 

  55. </td>
    56. 

  56. </tr>
    57. 

  57. <tr>
    58. 

  58. <td>
    59. 

  59. </td>
    60. 

  60. </tr>
    61. 

  61. </table>
    62. 

  62. </div>
    63. 

  63. <div style="margin-top:10px;">
    64. 

  64. <table cellspacing="0" cellpadding="0" style="width:959px;margin:0 auto;border:1px solid #cccccc;border-collapse:collapse;">
    65. 

  65. <tr>
    66. 

  66. <td style="padding-right:0px;">
    67. 

  67. <ul class="textlarge22">
    68. 

  68. <li><a href="http://www.66ip.cn">全国代理ip</a> </li>
    69. 

  69. <li class="myactive"><a href="/areaindex_1/1.html">北京代理ip</a> </li>
    70. 

  70. <li><a href="/areaindex_2/1.html">上海代理ip</a> </li>
    71. 

  71. <li><a href="/areaindex_3/1.html">天津代理ip</a> </li>
    72. 

  72. <li><a href="/areaindex_4/1.html">重庆代理ip</a> </li>
    73. 

  73. <li><a href="/areaindex_5/1.html">河北代理ip</a> </li>
    74. 

  74. <li><a href="/areaindex_6/1.html">山西代理ip</a> </li>
    75. 

  75. <li><a href="/areaindex_7/1.html">辽宁代理ip</a> </li>
    76. 

  76. <li><a href="/areaindex_8/1.html">吉林代理ip</a> </li>
    77. 

  77. <li><a href="/areaindex_9/1.html">黑龙江代理ip</a> </li>
    78. 

  78. <li><a href="/areaindex_10/1.html">江苏代理ip</a> </li>
    79. 

  79. <li><a href="/areaindex_11/1.html">浙江代理ip</a> </li>
    80. 

  80. <li><a href="/areaindex_12/1.html">安徽代理ip</a> </li>
    81. 

  81. <li><a href="/areaindex_13/1.html">福建代理ip</a> </li>
    82. 

  82. <li><a href="/areaindex_14/1.html">江西代理ip</a> </li>
    83. 

  83. <li><a href="/areaindex_15/1.html">山东代理ip</a> </li>
    84. 

  84. <li><a href="/areaindex_16/1.html">河南代理ip</a> </li>
    85. 

  85. <li><a href="/areaindex_17/1.html">湖北代理ip</a> </li>
    86. 

  86. <li><a href="/areaindex_18/1.html">湖南代理ip</a> </li>
    87. 

  87. <li><a href="/areaindex_19/1.html">广东代理ip</a> </li>
    88. 

  88. <li><a href="/areaindex_20/1.html">海南代理ip</a> </li>
    89. 

  89. <li><a href="/areaindex_21/1.html">四川代理ip</a> </li>
    90. 

  90. <li><a href="/areaindex_22/1.html">贵州代理ip</a> </li>
    91. 

  91. <li><a href="/areaindex_23/1.html">云南代理ip</a> </li>
    92. 

  92. <li><a href="/areaindex_24/1.html">陕西代理ip</a> </li>
    93. 

  93. <li><a href="/areaindex_25/1.html">甘肃代理ip</a> </li>
    94. 

  94. <li><a href="/areaindex_26/1.html">青海代理ip</a> </li>
    95. 

  95. <li><a href="/areaindex_27/1.html">台湾代理ip</a> </li>
    96. 

  96. <li><a href="/areaindex_28/1.html">内蒙古代理ip</a> </li>
    97. 

  97. <li><a href="/areaindex_29/1.html">广西代理ip</a> </li>
    98. 

  98. <li><a href="/areaindex_30/1.html">西藏代理ip</a> </li>
    99. 

  99. <li><a href="/areaindex_31/1.html">宁夏代理ip</a> </li>
    100. 

  100. <li><a href="/areaindex_32/1.html">新疆代理ip</a> </li>
    101. 

  101. <li><a href="/areaindex_33/1.html">香港代理ip</a> </li>
    102. 

  102. <li><a href="/areaindex_34/1.html">澳门代理ip</a> </li>
    103. 

  103. </ul>
    104. 

  104. </td>
    105. 

  105. </tr>
    106. 

  106. </table>
    107. 

  107. </div>
    108. 

  108. </ul></div></div>
    109. 

  109. <div id=main class=container>
    110. 

  110. <div class="containerbox boxindex">
    111. 

  111. <div>
    112. 

  112. <div>
    113. 

  113. <div class=style1>
    114. 

  114. <div align="center"></div>
    115. 

  115. </div>
    116. 

  116. <div id="footer" class="footer">
    117. 

  117. <div align="center">
    118. 

  118. <p>
    119. 

  119. 

  120. <span class="style6">新界面-新ip-高质量-新功能-多ip</span></p>
    121. 

  121. <p class="style6">更多http-https追求更高的质量</p>
    122. 

  122. <p class="style6">ip地区表格数量会出现误差请不要大量对比</p>
    123. 

  123. <p>
    124. 

  124. </p>
    125. 

  125. <p class="style7">北京代理总数 <span style="color:red;">165</span></p>
    126. 

  126. <table width='100%' border="2px" cellspacing="0px" bordercolor="#6699ff">
    127. 

  127. <tr><td>ip</td><td>端口号</td><td>代理位置</td><td>代理类型</td><td>验证时间</td></tr>
    128. 

  128. <tr><td>124.206.56.125</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日13时 验证</td></tr><tr><td>115.25.138.245</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日13时 验证</td></tr><tr><td>180.76.189.148</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日12时 验证</td></tr><tr><td>180.76.189.148</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日12时 验证</td></tr><tr><td>123.119.27.67</td><td>8118</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日12时 验证</td></tr><tr><td>123.119.27.67</td><td>8118</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日12时 验证</td></tr><tr><td>115.183.11.158</td><td>9999</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日11时 验证</td></tr><tr><td>118.26.226.157</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日11时 验证</td></tr><tr><td>115.25.138.245</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日10时 验证</td></tr><tr><td>101.251.247.82</td><td>10000</td><td>北京市海淀区</td><td>高匿代理</td><td>2016年07月19日10时 验证</td></tr><tr><td>182.48.102.2</td><td>9000</td><td>北京市海淀区</td><td>高匿代理</td><td>2016年07月19日09时 验证</td></tr><tr><td>203.91.121.74</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日09时 验证</td></tr><tr><td>111.202.112.169</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日08时 验证</td></tr><tr><td>118.244.239.2</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日08时 验证</td></tr><tr><td>119.254.84.90</td><td>80</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日07时 验证</td></tr><tr><td>119.254.84.90</td><td>80</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日07时 验证</td></tr><tr><td>123.124.168.107</td><td>80</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日07时 验证</td></tr><tr><td>123.124.168.107</td><td>80</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日07时 验证</td></tr><tr><td>101.200.174.11</td><td>3128</td><td>北京市海淀区</td><td>高匿代理</td><td>2016年07月19日06时 验证</td></tr><tr><td>125.39.118.163</td><td>18000</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日06时 验证</td></tr><tr><td>182.61.9.177</td><td>80</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日05时 验证</td></tr><tr><td>118.26.226.157</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日05时 验证</td></tr><tr><td>118.26.226.157</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日05时 验证</td></tr><tr><td>182.61.9.177</td><td>80</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日05时 验证</td></tr><tr><td>182.61.7.193</td><td>80</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日04时 验证</td></tr><tr><td>111.202.112.169</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日04时 验证</td></tr><tr><td>203.91.121.74</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日03时 验证</td></tr><tr><td>116.213.102.66</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日03时 验证</td></tr><tr><td>118.244.239.2</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日02时 验证</td></tr><tr><td>124.16.70.20</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日02时 验证</td></tr><tr><td>219.141.225.149</td><td>80</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日01时 验证</td></tr><tr><td>203.91.121.74</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日01时 验证</td></tr><tr><td>182.48.102.2</td><td>9000</td><td>北京市海淀区</td><td>高匿代理</td><td>2016年07月19日00时 验证</td></tr><tr><td>182.48.102.2</td><td>9000</td><td>北京市海淀区</td><td>高匿代理</td><td>2016年07月19日00时 验证</td></tr><tr><td>203.91.121.74</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日00时 验证</td></tr><tr><td>203.91.121.74</td><td>3128</td><td>北京市</td><td>高匿代理</td><td>2016年07月19日00时 验证</td></tr></table>
    129. 

  129. <style>#pagelist a{width:23px;display:block;float:left;}.btn_left{position:absolute;left:0px;top:0px;display:block;width:16px;}.btn_right{position:absolute;right:0px;top:0px;display:block;width:16px;}.mypage a{background:#fff none repeat scroll 0 0;border:1px solid #eaeaea;display:inline;margin:0 0 0 3px;padding:5px 9px;text-decoration:none;}.mypage a:hover{background:#cecece none repeat scroll 0 0;border:1px solid #eaeaea;}a.pagecurrent{background:#e3e3e3 none repeat scroll 0 0;}a.dotdot{background:#fff none repeat scroll 0 0;border:0px;}a.dotdot:hover{background:#fff none repeat scroll 0 0;border:0px;}</style>
    130. 

  130. <div class="mypage" style="position:relative;margin:10px auto;width:900px;">
    131. 

  131. <div style="width:740px;overflow:hidden;height:30px;margin:0px auto;"><div id="PageList" style="width:944px;"><a href="/areaindex_1/index" class="pageCurrent">1</a> <a href="/areaindex_1/2.html">2</a> <a href="/areaindex_1/3.html">3</a> <a href="/areaindex_1/4.html">4</a> <a href="/areaindex_1/5.html">5</a> <a href="/areaindex_1/6.html">6</a> <a href="/areaindex_1/7.html">7</a> <a href="/areaindex_1/8.html">8</a> <a href="/areaindex_1/9.html">9</a> <a href="/areaindex_1/10.html">10</a> <a href="javascript:void();" class="dotdot">..</a> <a href="/areaindex_1/59.html">59</a> <a href="/areaindex_1/2.html">&raquo;</a></div></div>
    132. 

  132. </div>
    133. 

  133. </div>
    134. 

  134. </div>
    135. 

  135. <div align="center"></div>
    136. 

  136. <div align="center"></div>
    137. 

  137. <div class="footer">
    138. 

  138. <div align="center" class="center">
    139. 

  139. <p>copyright&nbsp;&copy; 2012-2016 66IP.版权所有 粤icp备14092868号-1|QQ一群：<a target="_blank" href="http://shang.qq.com/wpa/qunwpa?idkey=1f3ff00fef89fe190d2606b070fdd656f9ec25ba6a35f9becffa6fd712992ea2" rel="nofollow"><img border="0" src="http://pub.idqqimg.com/wpa/images/group.png" alt="免费HTTP代理提取66ip.cn" title="免费HTTP代理提取66ip.cn"></a>|QQ二群：<a target="_blank" href="http://shang.qq.com/wpa/qunwpa?idkey=cecdb11c7c6fda939dee876cad2cbaefe02091584788e22bdd3b5815d246e9c0"><img border="0" src="http://pub.idqqimg.com/wpa/images/group.png" alt="免流圣子IP代理提取2群" title="免流圣子IP代理提取2群"></a>
    140. 

  140. </a><span>|</span><a href="/sitemap.html">网站地图</a></div>
    141. 

  141. </script>
    142. 

  142. <script type="text/javascript">
    143. 

  143.     /*120*300 创建于 2016-02-28*/
    144. 

  144. var cpro_id = "u2535026";
    145. 

  145. </script>
    146. 

  146. <script src="http://cpro.baidustatic.com/cpro/ui/f.js" type="text/javascript"></script>
    147. 

  147. <script type="text/javascript">
    148. 

  148.     /* 创建于 2015-05-14*/
    149. 

  149.     var cpro_psid = "u2103791";
    150. 

  150. </script>
    151. 

  151. <script src="http://su.bdimg.com/static/dspui/js/f.js"></script>
    152. 

  152. <script>
    153. 

  153. var _hmt = _hmt || [];
    154. 

  154. (function() {
    155. 

  155.   var hm = document.createElement("script");
    156. 

  156.   hm.src = "//hm.baidu.com/hm.js?1761fabf3c988e7f04bec51acd4073f4";
    157. 

  157.   var s = document.getElementsByTagName("script")[0];
    158. 

  158.   s.parentNode.insertBefore(hm, s);
    159. 

  159. })();
    160. 

  160. </script>
    161. 

  161. </div>
    162. 

  162. </body>
    163. 

  163. </html>
    164. 

  164. 

  165. '''
    166. 

  166. 

  167. root = etree.HTML(html)
    168. 

  168. proxys = root.xpath(".//*[@id='footer']/div/table/tr[position()>1]")
    169. 

  169. 

  170. for proxy in proxys:
    171. 

  171.     print
    172. 

  172.     proxy.xpath('./td[1]')[0].text
    173.