close

Memory Error主要發生在資料量大時,

跟電腦本身安裝記憶體大小也有關,

可以透過另外加裝記憶體在電腦內來解決問體,

但並非所有人都有多餘的錢來購置硬體設備,

因此這邊可以透過其他的方式來解決此問題,

 

假設電腦只有安裝16G記憶體,

且執行python的某支程式時,

卻發生Memory Error問題,

其主要原因是因為電腦此時需要大量去讀取並運算資料,

但程式卻無法即時釋放空的記憶體空間,

 

因此,

用下面簡單範例來手動示範多餘的記憶體:

import gc

for i in range(100):

    print(i)

    del i  //刪除變數

gc.collect() //回收機制

 

如果上述做法無法解決此問題,

那麼要如何處理大量資料呢?

最好的方式就是分批次處理,

原先假設有5萬筆data需要讀取,

那我們就改成每次只讀取5千筆,

分10批次,

這樣一來也就解決了此問題

arrow
arrow
    文章標籤
    Memory error python
    全站熱搜

    楓綺 發表在 痞客邦 留言(0) 人氣()

    E-mail轉寄