智联招聘

火车头使用Post方法采集Ajax页面教程_我的网站

一 |     

　    阿里云优惠券 先领券再下单        前面有写过一篇瀑布流的采集方法，今天在添加一个POST方法来采集Ajax刷新页面的教程。    预览核心要点：画面完全重制，但保留了经典的底层玩法。    之前的文章请看：火车头采集动态加载Ajax数据（无分页瀑布流网站）    如果遇到POST方法来架子Ajax数据，这和我之前写的是两个类型，瀑布流是直接刷新出数据的页面。    采集网站分析    采集任何一个新站前我们都要对他进行一番分析才好下手。    列表页分析    这个网站的列表页，前面并不是通过Ajax加载的。用户界面也经过了重新设计，从 MS-DOS 时代的起源提升到了现代标准。重制版完美支持所有原版及社区制作的旧地图。

二 | 在育碧宣布并推出了 Assassin’s Creed: Black Flag remake 的这一年，魔法门之英雄无敌 3 - 高清版 的复兴可能并不是最受瞩目的重制项目，但它依然是一部令人感激的作品。虽然官方公告中毫不避讳地谈到了项目的规模——这款 1999 年的作品正被带回 PC 和主机平台——我们通过远程会议进行了游戏试玩，以观察这个版本与近三十年前的原版有何不同。CTRL+U可以直接看到列表内容，通过浏览器也看不到相关请求地址。    

    因为习惯原因，我直接看了下尾页列表页。对于初接触者来说，魔法门之英雄无敌4 是一个策略游戏系列，玩家扮演不同派系的角色，在大地图上引导军队进行战斗。然后顺手CTRL+U看看网站代码结构有没有大的变化。

三 | 防止后期采集出错。每个派系由一名英雄领导，探索拥有多个兴趣点的地图，招募新士兵，获取资源，并最终与敌军发生冲突。在这些冲突中，玩家在被划分为六边形地块的侧视视角战场上移动单位，为成为己方英雄的最后幸存部队而战。

四 | 重制版完整保留了所有这些玩法，让 魔法门之英雄无敌4 III 感觉就像粉丝们在过去几十年中所熟悉和喜爱的经典之作，只是换了一层新涂装。结果就发现无法看到列表内容。

五 | 虽然 魔法门之英雄无敌4 III 在十年前曾由育碧推出过高清复刻版，但 2026 年的这部作品在视觉效果上是彻头彻尾的全方位重制，而玩法则基本保持不变。2026 年的版本在视觉效果上是彻头彻尾的全方位重制，而玩法则基本保持不变。浏览器可以看到一个通过post请求的地址。现代的 3D 图形辅以现代化的用户界面改进，它并没有完全抛弃经典游戏的 MS-DOS 风格，而是将其作为构建新美术和菜单的基石。也就是说，重制版并没有丢掉粉丝们喜欢的早期游戏元素，但确实努力让一切变得更加清晰易读。    

    这时候就意识到这网站列表页可能后面的应该全是通过Ajax加载的。    通过笨方法，手动访问页面看看Ajax加载大概是哪些。这一点在基地建设界面最为明显，全新的美术设计让你不再需要为了寻找想要升级的基地窗口而扫视整个屏幕，即使是还没有背下布局的新玩家，一眼看去也能更轻松地识别和解析。最后找到大概从2200页左右开始Ajax加载。

六 | 在演示中，我们获准进入了两张不同的地图。    那我们采集的时候，前面的列表页就可以使用普通方式去采集（速度更快）。    2200页开始到尾页就通过post请求Ajax页面数据。    抓包获取Post数据    这个Ajax地址我在浏览器看不到任何跟页码有关的数据。第一张是名为《女王的离去》的战役教程地图，通过讲述一位女王在其父去世后离开王国的战役故事，向玩家教授 魔法门之英雄无敌4 III 核心系统中的移动和战斗基础。她和她的随从在前往港口的途中击退了土匪，但真正让她的队伍措手不及的是恶魔的突然袭击。

七 | 另一张地图《傲慢》是原版游戏中的经典剧本，独立于战役之外，在粉丝中享有盛誉。

八 | 这张地图有多个派系为了争夺该地区的霸权而围绕许多城镇和造船厂展开战争。最后只能使用抓包工具看一下详细的请求内容了。    

    使用抓包工具Fiddler    Fiddler下载地址：OneDrive-Fiddler-Setup_v5.0.20204.45441.zip    安装设置完成后我们打开浏览器。地图设计通过其布局限制了快攻，并允许玩家深入地底层获取资源，因此因其复杂性和多变性而一直保持着高人气。重新访问一下采集页面，Fiddler会抓到很多请求地址。

九 | 虽然说 魔法门之英雄无敌4 III 是“起死回生”在某种程度上是准确的，但也必须承认它从未真正消失过。    查看分析Post数据    Ctrl+F 我们搜索那个Ajax地址    

    Fiddler会以黄色将搜索到的结果显示出来，我们点击一下他。        在Fiddler右侧会显示这个请求地址的相关详细信息。        信息顶部可以看到是post请求方法。一个忠实的玩家群体在四分之一个世纪里一直在玩这款游戏并为其创作地图，育碧表示公司一直在邀请社区的核心成员参与重制版的创作。魔法门之英雄无敌4 III Remake 从一开始就支持所有旧地图，让《傲慢》等地图在 2026 年重获新生。值得一提的是，魔法门之英雄无敌4 III Remake 从一开始就支持所有那些旧地图，让《傲慢》等地图在 2026 年重获新生。重制版会扫描原版地图（包括战役地图和玩家制作地图）的地形和设计，并使用现代图形以 3D 形式重新制作。地图和战役编辑器将在 魔法门之英雄无敌4 III Remake 发布时同步推出。    可以看到有我们请求的页码相关内容。

十 | 在《傲慢》地图中，我正如其名地让自己陷入了本以为稳操胜券、结果却被敌军击败的境地。    

    访问不同页码的页面，经过研究发现规律。

十一 |     

    currentPageIndex的值和页码相关，值等于页码减一。我们访问6139页时，currentPageIndex值是6138。在第一次尝试时，我处理守卫附近城堡城镇的怪物时动作太慢，等我终于扫清道路并占领城镇时，竞争对手已经建造了船只并入侵了我的海岸。

十二 | 我的单位根本不够强大，无法与他们对抗，我只能眼睁睁地看着他们在将我的派系从地图上消灭的途中夺走了所有资源。

十三 |     这就找到了规律，我们打开火车头采集器。    火车头采集器配置分页设置    起始网址填入Ajax请求地址    

    点“高级模式”。

十四 | 第二次尝试时，我的目标是速度，所以我使用了一个法师派系，以尽可能快的速度进行建设和扩张。这个计划奏效了，至少在附近的一支狮鹫分队蹂躏了我的单位之前是这样，这让我变得非常脆弱，直到我撤退到一个不死生物的地下巢穴。演示在我发现这种进退两难的境地会给我带来什么结果之前就结束了，但也许这样更好。在努力将 魔法门之英雄无敌4 带给现代观众，以及通过最新的重制版弥合与老粉丝之间鸿沟的各种努力之间，现在是成为该策略系列爱好者的好时机。

十五 | 随着 魔法门之英雄无敌4 III 登陆主机平台，或许它还会吸引一批新的玩家，让他们发现 1999 年以来的玩家一直都知道的事实：这始终是一个精彩绝伦的策略系列。

十六 |     

    点“分页设置”，http请求方式“post”。        把我们Fiddler抓包获取的内容填进去。        将currentPageIndex值的内容替换成火车头采集器的“分页”标签。        下面填入页码。    页面地址是从2200到6140，上面我们分析得出post请求内容的currentPageIndex值是实际页码减一。所以这里面我们填2199到6139.        网址获取选项设置    为了筛选出我们需要的内容，我们设置一下网址获取选项。    打开浏览器F12开发工具，预览一下Ajax获取的内容。

十七 |     

    可以看到链接的形式是    自考成考报名条件有哪些？    完整的链接地址是    https://域名/chengrenzikao/20200611152022.html    那我们就可以使用下面的规则提取地址。        我们测试一下网址采集。

十八 |     测试网址采集    点击测试可能提示“post请求必须选择网页编码”我们在火车头其他设置中将编码选为“UTF8”即可。

十九 |     

    可以看到已经正确获取到了链接。不放心可以复制链接实际访问一下看看是否正确。        注意事项    采集过程注意运行线程和请求间隔时间。教程在测试时因为开的线程较多，频率过高导致对方网站开启了防CC设置。拉黑了我一个服务器IP，此教程写完用了两台服务器。    我们实际采集可以只开1个线程，并设置合适的间隔时间，比如1000ms到1500ms左右。    本文来自2号站长网，转载请注明出处：https://www.zz2zz.com/331414.html

        

    

申请创业报道，分享创业好点子。

| 点击此处，共同探讨创业新机遇！。

Current article:http://apvy.diapoqiechuangpenghua.sbs/myl8/20260826/5573989.html

Published on:09:14:07