Day 25 - 重覆呼叫shioaji.Shioaji()产生的记忆体问题-修正篇

在前一天的Day 24 - Shiaoji.Login踩坑经验及修正中，谈到在执行login动作时，未考虑要等待contract fetch动作完成，导致所抓的资料内容不完整。这次的踩坑经验，也让我重新去思考Day 23 - 重覆呼叫shioaji.Shioaji()产生的记忆体问题中，是否也会因为相同的问题，影响测试的结果。
所以，我把当时测试的程序码，改为以下方式：

import os, psutil, gc, time
import shioaji as sj
from dotenv import load_dotenv

load_dotenv('D:\\python\\shioaji\\.env') #读取.env中的环境变数

process = psutil.Process(os.getpid())
print(os.getppid())
print(f'mem usage as start: {process.memory_info()[0]/float(2 ** 20)}MB')
for i in range(5):
    api = sj.Shioaji(simulation=True)
    print(f'({i})mem usage at api initial: {process.memory_info()[0]/float(2 ** 20)}MB')
    start_time = time.time()
    # api.login(
    #     person_id=os.getenv('YOUR_PERSON_ID'), 
    #     passwd=os.getenv('YOUR_PASSWORD'),
    #     contracts_timeout=10000
    # )
    api.login(
        person_id='PAPIUSER01',
        passwd='2222'
    )
    print(api.Contracts) #增加此行，等待所有的Contract资料fetch完成後，才继续
    print(f'contract exe time:{time.time()-start_time}')
    print(f'({i})mem usage at api.login: {process.memory_info()[0]/float(2 ** 20)}MB')
    api.logout()
    del api

gc.collect()
print(f'mem usage after del api: {process.memory_info()[0]/float(2 ** 20)}MB')

这次的程序中，在login後增加一行print(api.Contracts)，确保所有的Contract资料都fetch完成後，才继续後续的动作；另外在记忆体计算部份，因为换算时是除以2的20次方，所以单位是MB而不是KB。而这一次的测试，也一并测试Contract fetch所需要的时间，以便与优化後做比较。

修正後的测试结果

本次的测试，也依照上次的4个不同场景做测试，测试结果如下：

这一次的测试结果，每个测试场景的记忆体使用量及时间，其实都差不多；而上一次的测试结果，测试环境及Linux环境下，之所以都会比windows平台或是正式环境要来得低，都是因为Contract资料下载不完整，而得到错误的测试结果
虽然在测试程序中，有执行del api及gc.collect，但测试的结果却是记忆体使用量没有下降，因为Python的记忆体空间都是由Python memory manager在做管理，而实际上会不会清理出记忆体空间，也是要看是不是符合memory manager的管理机制，并不像C/C++可以直接在程序中做记忆体管理。
关於Python memory manager，可参考下列文章：
Python 3.10.0 Documentation » Python/C API Reference Manual » Memory Management
Memory Management in Python
Python 用del删除变量以后为什么还是OOM（Python的内存管理与垃圾回收）

优化方式及差异

在上次那篇有谈到，记忆体使用量优化的方式，这里就说明程序码调整内容，以及优化後的测试结果
优化的分别程序码如下：

将sj.Shioaji()移至外层，不重覆执行

import os, psutil, time
import shioaji as sj
from dotenv import load_dotenv

load_dotenv('D:\\python\\shioaji\\.env')

process = psutil.Process(os.getpid())
print(os.getppid())
print(f'mem usage as start: {process.memory_info()[0]/float(2 ** 20)}MB')
process_start_time = time.time()
api = sj.Shioaji() #api宣告移至最外层，不重覆执行
for i in range(5):
    print(f'({i})mem usage at api initial: {process.memory_info()[0]/float(2 ** 20)}MB')
    start_time = time.time()
    api.login(
        person_id=os.getenv('YOUR_PERSON_ID'), 
        passwd=os.getenv('YOUR_PASSWORD')
    )
    print(api.Contracts)
    print(f'({i})contract fetch time:{time.time()-start_time}')
    print(f'({i})mem usage at api.login: {process.memory_info()[0]/float(2 ** 20)}MB')
    api.logout()

print(f'process total exe time:{time.time()-process_start_time}')

仅第一次执行时，执行contract fetch并将Contracts资料储存

import os, psutil, time
import shioaji as sj
from dotenv import load_dotenv

load_dotenv('D:\\python\\shioaji\\.env')

process = psutil.Process(os.getpid())
print(os.getppid())
print(f'mem usage as start: {process.memory_info()[0]/float(2 ** 20)}MB')
process_start_time = time.time()
my_contract = None #宣告my_contract物件

for i in range(5):
    api = sj.Shioaji()
    print(f'({i})mem usage at api initial: {process.memory_info()[0]/float(2 ** 20)}MB')
    start_time = time.time()
    # 当my_contract为None时，执行contract fetch动作
    if my_contract is None:
        api.login(
            person_id=os.getenv('YOUR_PERSON_ID'), 
            passwd=os.getenv('YOUR_PASSWORD')
        )
        print(api.Contracts) #等待Contract fetch完成
        my_contract = api.Contracts #将my_contract指向api.Contracts
    else:
        print('fetch_contract=False...')
        api.login(
            person_id=os.getenv('YOUR_PERSON_ID'), 
            passwd=os.getenv('YOUR_PASSWORD'),
            fetch_contract=False #设为False，表示login後不执行contract fetch
        )
        print(my_contract)
    print(f'({i})contract fetch time:{time.time()-start_time}')
    print(f'({i})mem usage at api.login: {process.memory_info()[0]/float(2 ** 20)}MB')
    api.logout()

print(f'process total exe time:{time.time()-process_start_time}')

将sj.Shioaji()移至外层，不重覆执行，以及仅第一次执行fetch动作

import os, psutil, time
import shioaji as sj
from dotenv import load_dotenv

load_dotenv('D:\\python\\shioaji\\.env') #读取.env中的环境变数

process = psutil.Process(os.getpid())
print(os.getppid())
print(f'mem usage as start: {process.memory_info()[0]/float(2 ** 20)}MB')
process_start_time = time.time()
api = sj.Shioaji() #api宣告移至最外层，不重覆执行

for i in range(5):
    print(f'({i})mem usage at api initial: {process.memory_info()[0]/float(2 ** 20)}MB')
    start_time = time.time()
    # 当api.Contracts为None时，执行contract fetch动作
    if api.Contracts is None:
        api.login(
            person_id=os.getenv('YOUR_PERSON_ID'), 
            passwd=os.getenv('YOUR_PASSWORD')
        )
    else:
        print('fetch_contract=False...')
        api.login(
            person_id=os.getenv('YOUR_PERSON_ID'), 
            passwd=os.getenv('YOUR_PASSWORD'),
            fetch_contract=False #设为False，表示login後不执行contract fetch
        )
    print(api.Contracts)
    print(f'({i})contract fetch time:{time.time()-start_time}')
    print(f'({i})mem usage at api.login: {process.memory_info()[0]/float(2 ** 20)}MB')
    api.logout()

print(f'process total exe time:{time.time()-process_start_time}')

测试结果

可以看到，这三种优化方式，从第二次登入後的测试结果，记忆体使用量或是contract fetch time，都跟优化前的有很明显示的改善。