市场震荡基金股票飘绿，Python爬取开放式基金排行数据方法全解析

我们先不要急于上传代码和数据，得先仔细研究一下这个目标网站。这样做可以使我们对于基金数据的抓取过程更加明了。接下来，我会逐一为大家解释说明。

目标网站初试探

打开任意一个基金详情，你便会惊喜地看到，该页面的网址是由首页基金代码及若干其他元素拼接而成。依据这一规律，我们在进行爬取时，就能轻松定位到基金详情页，大大减少了不必要的麻烦。这就像拿到了通往宝藏之门的钥匙，让我们能迅速且精确地找到目标页面。

查看详情页的各个组成部分，掌握它们的构造，对之后的数据搜集大有裨益。一旦明确了各元素在页面上的具体位置，寻找数据便更加便捷，数据的定位也会更加精确。这便如同熟悉了藏宝之室的布局，寻找物品自然更加得心应手。

持仓信息寻踪迹

浏览基金详情页面向下滚动，便能看到该基金持有的股票列表，从而了解它购入了哪些股票。一旦锁定这一核心信息，我们便对基金的投资走向有了把握。以某基金重仓持有科技股为例，便可推断出其投资倾向。

一些基金的持股种类可能十分丰富，而另一些则较为单一。不同的投资组合各自具有不同的风险和回报特性。分散持股有助于减少个别股票价格波动带来的影响，而集中持股则可能在某个行业板块大幅上涨时带来较高的回报。

持仓详情页探秘

基金持仓详情页的网址是有规律的，它是由一些特定元素和基金代码拼接而成的。一旦掌握了这个规律，我们就可以不用逐个查找，而是按照规则直接生成网址进行抓取，这样可以大大提高效率。这就像使用公式快速得出结果一样简便。

不手动依据规律查找持仓详细信息，会导致工作繁重且容易犯错。一旦掌握了规律，便可通过编写代码批量生成网址，进而高效地抓取信息，既节省时间又减少劳动强度。只需运行一次代码，便可迅速收集到大量数据。

数据加载难题解

这些数据是通过js动态加载的，直接进行抓取确实挺有挑战性的。但我们可以采取模拟浏览器行为的方式进行抓取。模拟浏览器可以运行页面中的js代码，进而展示出动态加载的数据，这样一来，我们就能轻松获取所需信息。这就像请了一位助手帮忙开门，进而拿到了门内的物品。

实际上，我们还可以采用其他途径进行数据抓取。比如，页面上那些通过js动态加载的数据，其实是由服务端自动添加到html页面的js代码中。虽然初次访问时这些数据可能无法直接看到，但通过一些特定的技巧，我们依然可以获取到它们。然而，对于一些特别难以抓取的数据，模仿浏览器的行为会更加稳妥。

代码实现巧操作

import re
from lxml import etree
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pymongo

在首页请求加载js数据时，需从url中通过正则表达式提取出六位数的基金标识。正则表达式如同精准的探测器，能精确地找到所需的标识码。提取到标识码后，依据持仓详情页的url构建规则，便可以构建出相应的url。

def is_contain_chinese(check_str):
    """
    判断字符串中是否包含中文
    :param check_str: {str} 需要检测的字符串
    :return: {bool} 包含返回True， 不包含返回False
    """
    for ch in check_str:
        if u'u4e00' <= ch <= u'u9fff':
            return True
    return False
#selenium通过class name判断元素是否存在，用于判断基金持仓股票详情页中该基金是否有持仓股票；
def is_element(driver,element_class):
    try:
        WebDriverWait(driver,2).until(EC.presence_of_element_located((By.CLASS_NAME,element_class)))
    except:
        return False
    else:
        return True
#requests请求url的方法,处理后返回text文本
def get_one_page(url):
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
    }
    proxies = {
        "http": "http://XXX.XXX.XXX.XXX:XXXX"
    }
 
    response = requests.get(url,headers=headers,proxies=proxies)
    response.encoding = 'utf-8'
    if response.status_code == 200:
        return response.text
    else:
        print("请求状态码 != 200,url错误.")
        return None
#该方法直接将首页的数据请求、返回、处理，组成持仓信息url和股票名字并存储到数组中；
def page_url():
    stock_url = []      #定义一个数组，存储基金持仓股票详情页面的url
    stock_name = []     #定义一个数组，存储基金的名称
    url = "http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=zzf&st=desc&sd=2018-11-26&ed=2019-11-26&qdii=&tabSubtype=,,,,,&pi=1&pn=10000&dx=1&v=0.234190661250681"
    result_text = get_one_page(url)
    # print(result_text.replace('"',','))    #将"替换为,
    # print(result_text.replace('"',',').split(','))    #以,为分割
    # print(re.findall(r"d{6}",result_text))     #输出股票的6位代码返回数组；
    for i in result_text.replace('"',',').split(','):  #将"替换为,再以,进行分割，遍历筛选出含有中文的字符(股票的名字)
        result_chinese = is_contain_chinese(i)
        if result_chinese == True:
            stock_name.append(i)
    for numbers in re.findall(r"d{6}",result_text):
        stock_url.append("http://fundf10.eastmoney.com/ccmx_%s.html" % (numbers))    #将拼接后的url存入列表；
    return stock_url,stock_name
#selenium请求[基金持仓股票详情页面url]的方法，爬取基金的持仓股票名称；
def hold_a_position(url):
    driver.get(url)  # 请求基金持仓的信息
    element_result = is_element(driver, "tol")  # 是否存在这个元素，用于判断是否有持仓信息；
    if element_result == True:  # 如果有持仓信息则爬取；
        wait = WebDriverWait(driver, 3)  # 设置一个等待时间
        input = wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'tol')))  # 等待这个class的出现；
        ccmx_page = driver.page_source  # 获取页面的源码
        ccmx_xpath = etree.HTML(ccmx_page)  # 转换成成 xpath 格式
        ccmx_result = ccmx_xpath.xpath("//div[@class='txt_cont']//div[@id='cctable']//div[@class='box'][1]//td[3]//text()")
        return ccmx_result
    else:   #如果没有持仓信息，则返回null字符；
        return "null"

在爬取基金持仓股票的详细信息页面时，由于页面内容是通过JavaScript动态加载的，并且需要确认基金是否持有股票，我们便运用了特定的工具进行数据抓取。同时，我们还采用了显式等待策略，以确保数据加载完全。通过这些方法，我们能够确保获取到全面且精确的数据信息。

数据处理与拓展

数据被爬取并保存在数据库中后，必须进行加工，使其变为可用形态。我们需要计算基金持有的所有股票的综合信息，即便其中存在重复。这样做可以让我们全面掌握基金的投资状况。

if __name__ == '__main__':
    # 创建连接mongodb数据库
    client = pymongo.MongoClient(host='XXX.XXX.XXX.XXX', port=XXXXX)  # 连接mongodb，host是ip，port是端口
    db = client.db_spider  # 使用（创建）数据库
    db.authenticate("用户名", "密码")  # mongodb的用户名、密码连接；
    collection = db.tb_stock  # 使用（创建）一个集合（表）
 
    stock_url, stock_name = page_url()     #获取首页数据，返回基金url的数组和基金名称的数组；
 
    #浏览器动作
    chrome_options = Options()
    chrome_options.add_argument('--headless')
    driver = webdriver.Chrome(options=chrome_options)    #初始化浏览器，无浏览器界面的；
 
    if len(stock_url) == len(stock_name):       #判断获取的基金url和基金名称数量是否一致
        for i in range(len(stock_url)):
            return_result = hold_a_position(stock_url[i])  # 遍历持仓信息，返回持仓股票的名称---数组
            dic_data = {
                'fund_url':stock_url[i],
                'fund_name':stock_name[i],
                'stock_name':return_result
            }        #dic_data 为组成的字典数据，为存储到mongodb中做准备；
            print(dic_data)
            collection.insert_one(dic_data)     #将dic_data插入mongodb数据库
    else:
        print("基金url和基金name数组数量不一致，退出。")
        exit()
 
    driver.close()    #关闭浏览器
 
    #查询：过滤出非null的数据
    find_stock = collection.find({'stock_name': {'$ne': 'null'}})  # 查询 stock_name 不等于 null 的数据（排除那些没有持仓股票的基金机构）；
    for i in find_stock:
        print(i)   

分析基金不能仅限于这些数据，比如持仓分布、基金经理的相关信息等。个人依据数据挑选基金，通常比听从他人建议更可靠。这里只是提供一些初步的思路，希望能激发大家的思考。今后，大家还可以进一步挖掘更多数据指标进行深入研究。

您在挑选基金时，更关注哪些具体的数据和指标？若觉得本文对您有所帮助，不妨点个赞或分享给他人。