2020最新最穩微信公衆号爬蟲(新)
發表時(shí)間:2020-11-3
發布人(rén):融晨科技
浏覽次數:71
一、公衆号抓取來(lái)源
1、搜狗預覽器抓取:公衆号搜索功能,不(bù)過現在(zài)已經關閉入口了(le/liǎo)。
2、通過個(gè)人(rén)公衆号來(lái)抓取微信文章,缺點cookies易過期,且頻率過高時(shí)會進行封賬号處理。
3、通過監聽微信app公衆号插入數據庫操作進行監聽,獲取公衆号信息發送到(dào)自建服務器上(shàng),優點是(shì)實時(shí)性強,且抓取鏈接爲(wéi / wèi)永久鏈接,目前封号率很高
4、通過DLL注入PC微信監聽微信公衆号推送,實時(shí)抓取。優點是(shì)可以(yǐ)多開,且封号率幾乎爲(wéi / wèi)0!
二、DLL注入原理
所謂DLL注入就(jiù)是(shì)将一個(gè)DLL放進某個(gè)進程的(de)地(dì / de)址空間裏,讓它成爲(wéi / wèi)那個(gè)進程的(de)一部分。要(yào / yāo)實現DLL注入。
軟件的(de)内部
軟件 = 代碼 + 數據
數據 = 靜态數據 (數據不(bù)會變)+ 動态數據 (數據會改變)
動态數據 = 全局數據 (多個(gè)函數共用)+ 局部數據(單個(gè)函數私有)
代碼和(hé / huò)靜态數據在(zài)軟件運行過程不(bù)會改變,位置固定,可以(yǐ)方便使用。
全局數據,因爲(wéi / wèi)是(shì)共用的(de),位置固定,也(yě)可以(yǐ)方便使用。
所以(yǐ)這(zhè)三種的(de)偏移是(shì)不(bù)變的(de)。
内存地(dì / de)址 = 基址 + 偏移。
基址可以(yǐ)用GetModuleHandle得知。
偏移又是(shì)不(bù)變的(de),内存地(dì / de)址也(yě)就(jiù)可以(yǐ)算出(chū)來(lái)了(le/liǎo) 。
而(ér)偏移會變化的(de)局部數據,就(jiù)不(bù)能直接算出(chū)來(lái)了(le/liǎo)。
局部數據,是(shì)軟件運行過程中,臨時(shí)生成又銷毀的(de)。
所以(yǐ)要(yào / yāo)獲取局部數據,隻能在(zài)軟件的(de)運行過程進行攔截。(也(yě)就(jiù)是(shì)所謂的(de)HOOK)
三、軟件運行
通過注入DLL獲取PC客戶端數據,當收到(dào)消息信息時(shí)進行轉發到(dào)python客戶端。
監聽到(dào)信息msg"111114414",同樣通過監聽獲取到(dào)公衆号信息。
[on_recv] client_id: 1, message_type: 11054, message:{“from_wxid”: “gh_3219e59b249a”, “is_pc”: 0, “msgid”: “7990612437219863968”, “raw_msg”: “\n <appmsg appid=”" sdkver=“0”>\n <![CDATA[警鍾\uff01隔離三個(gè)月後複陽\uff0c曾參加婚禮\uff01專家解讀\u2026\u2026]]>\n <![CDATA[]]>\n \n 5\n 1\n <![CDATA[]]>\n 0\n <![CDATA[http://mp.weixin.qq.com/s?__biz=MzI1NjM4ODIwMQ==&mid=2247532094&idx=1&sn=f1672ff09d7a66bea16df1cf9f675fb8&chksm=ea254338dd52ca2e6b1cc18dee18746b54e8880449542e2b2e535195aa54c9029318c91508da&scene=0&xtrack=1#rd]]>\n <![CDATA[]]>\n \n 0\n \n \n \n \n \n <category type=“20” count=“2”>\n <![CDATA[人(rén)民網科普]]>\n \n <![CDATA[https://mmbiz.qpic.cn/mmbiz_jpg/DiaNZoXKtiaYYtZAd0qP5icpaJLAmpPdoWdnlMm3Fjsr0TKD9FHqtlmqlmXetGA84Pydz2s0K4ZOJ21EssRguoZiaQ/640?wxtype=jpeg&wxfrom=0]]>\n 0\n 0\n <![CDATA[]]>\n \n \n \n 0\n <![CDATA[警鍾\uff01隔離三個(gè)月後複陽\uff0c曾參加婚禮\uff01專家解讀\u2026\u2026]]>\n <![CDATA[http://mp.weixin.qq.com/s?__biz=MzI1NjM4ODIwMQ==&mid=2247532094&idx=1&sn=f1672ff09d7a66bea16df1cf9f675fb8&chksm=ea254338dd52ca2e6b1cc18dee18746b54e8880449542e2b2e535195aa54c9029318c91508da&scene=0&xtrack=1#rd]]>\n <![CDATA[]]>\n <![CDATA[]]>\n <pub_time>1604391833</pub_time>\n <![CDATA[https://mmbiz.qpic.cn/mmbiz_jpg/DiaNZoXKtiaYYtZAd0qP5icpaJLAmpPdoWdnlMm3Fjsr0TKD9FHqtlmqlmXetGA84Pydz2s0K4ZOJ21EssRguoZiaQ/640?wxtype=jpeg&wxfrom=0]]>\n \n <![CDATA[]]>\n 100048442\n \n \n <![CDATA[人(rén)民網科普]]>\n \n \n \n <native_url></native_url>\n <del_flag>0</del_flag>\n 0\n <play_length>0</play_length>\n <play_url><![CDATA[]]></play_url>\n <![CDATA[]]>\n \n \n <music_source>0</music_source>\n <pic_num>0</pic_num>\n \n <![CDATA[]]>\n <![CDATA[]]>\n <pic_urls></pic_urls>\n <comment_topic_id>1590472721132503047</comment_topic_id>\n <cover_235_1><![CDATA[https://mmbiz.qpic.cn/mmbiz_jpg/DiaNZoXKtiaYYtZAd0qP5icpaJLAmpPdoWdnlMm3Fjsr0TKD9FHqtlmqlmXetGA84Pydz2s0K4ZOJ21EssRguoZiaQ/640?wxtype=jpeg&wxfrom=0]]></cover_235_1>\n <cover_1_1><![CDATA[https://mmbiz.qpic.cn/mmbiz_jpg/DiaNZoXKtiaYYtZAd0qP5icpaJLAmpPdoWd0n8NJ9EGibwFJyHh241kxISlxt8nolYjW1vL0icqWGgyfByHsbrJC06Q/300?wxtype=jpeg&wxfrom=0]]></cover_1_1>\n <cover_16_9><![CDATA[https://mmbiz.qpic.cn/mmbiz_jpg/DiaNZoXKtiaYYtZAd0qP5icpaJLAmpPdoWdnlMm3Fjsr0TKD9FHqtlmqlmXetGA84Pydz2s0K4ZOJ21EssRguoZiaQ/640?wxtype=jpeg&wxfrom=0]]></cover_16_9>\n <appmsg_like_type>2</appmsg_like_type>\n <video_width>0</video_width>\n <video_height>0</video_height>\n <is_pay_subscribe>0</is_pay_subscribe>\n \n \n \n 0\n <![CDATA[多人(rén)被診斷\u201c布病\u201d\uff0c卻拿到(dào)了(le/liǎo)\u201c健康證明書\u201d\uff01]]>\n <![CDATA[http://mp.weixin.qq.com/s?__biz=MzI1NjM4ODIwMQ==&mid=2247532094&idx=2&sn=bed3736cdd9ca8a79cca513dfe2e6a0b&chksm=ea254338dd52ca2e7aa37e672c4db7687896abd511d396eaaf0220381a39388cf8af6ea7b4b9&scene=0&xtrack=1#rd]]>\n <![CDATA[]]>\n <![CDATA[]]>\n <pub_time>1604391833</pub_time>\n <![CDATA[https://mmbiz.qpic.cn/mmbiz_jpg/DiaNZoXKtiaYYtZAd0qP5icpaJLAmpPdoWdcAbibsPphtiaUpNoRN5ontSTUAzW7spssaD8wNfPb0GQAgqMJjFkSgkQ/300?wxtype=jpeg&wxfrom=0]]>\n \n <![CDATA[]]>\n 0\n \n \n <![CDATA[人(rén)民網科普]]>\n \n \n \n <native_url></native_url>\n <del_flag>0</del_flag>\n 0\n <play_length>0</play_length>\n <play_url><![CDATA[]]></play_url>\n <![CDATA[]]>\n \n \n <music_source>0</music_source>\n <pic_num>0</pic_num>\n \n <![CDATA[]]>\n <![CDATA[]]>\n <pic_urls></pic_urls>\n <comment_topic_id>1590472721719705606</comment_topic_id>\n <cover_235_1><![CDATA[https://mmbiz.qpic.cn/mmbiz_jpg/DiaNZoXKtiaYYtZAd0qP5icpaJLAmpPdoWdcAbibsPphtiaUpNoRN5ontSTUAzW7spssaD8wNfPb0GQAgqMJjFkSgkQ/300?wxtype=jpeg&wxfrom=0]]></cover_235_1>\n <cover_1_1><![CDATA[https://mmbiz.qpic.cn/mmbiz_jpg/DiaNZoXKtiaYYtZAd0qP5icpaJLAmpPdoWdcAbibsPphtiaUpNoRN5ontSTUAzW7spssaD8wNfPb0GQAgqMJjFkSgkQ/300?wxtype=jpeg&wxfrom=0]]></cover_1_1>\n <cover_16_9><![CDATA[https://mmbiz.qpic.cn/mmbiz_jpg/DiaNZoXKtiaYYtZAd0qP5icpaJLAmpPdoWdcAbibsPphtiaUpNoRN5ontSTUAzW7spssaD8wNfPb0GQAgqMJjFkSgkQ/300?wxtype=jpeg&wxfrom=0]]></cover_16_9>\n <appmsg_like_type>2</appmsg_like_type>\n <video_width>0</video_width>\n <video_height>0</video_height>\n <is_pay_subscribe>0</is_pay_subscribe>\n \n \n \n \n <![CDATA[gh_3219e59b249a]]>\n <![CDATA[人(rén)民網科普]]>\n \n <template_header></template_header>\n <template_detail></template_detail>\n <forbid_forward>0</forbid_forward>\n \n <![CDATA[https://mmbiz.qpic.cn/mmbiz_jpg/DiaNZoXKtiaYYtZAd0qP5icpaJLAmpPdoWdnlMm3Fjsr0TKD9FHqtlmqlmXetGA84Pydz2s0K4ZOJ21EssRguoZiaQ/640?wxtype=jpeg&wxfrom=0]]>\n \n <![CDATA[gh_3219e59b249a]]>\n \n \n <![CDATA[人(rén)民網科普]]>\n 1\n \n \n \n \n \n \n \n", “room_wxid”: “”, “timestamp”: 1604391874, “to_wxid”: “wxid_f1zufq9du0nv22”, “wx_sub_type”: 5, “wx_type”: 49}
其中有公衆号永久鏈接,通過永久鏈接就(jiù)可以(yǐ)進行抓取了(le/liǎo)。
console.log("公衆号:蟲術")
console.log("wx:spiderskill")
歡迎大(dà)家前來(lái)交流