diff: memory exhausted

헐.. -_-

 

cmp는 단순히 다른부분만 확인하고 넘어가는 놈..

sdiff도 메모리 부족해서 죽는건 동일..

 

(8GB 메모리에 7GB 짜리 파일 두개 비교하려니 죽네)

 

[링크 : https://superuser.com/questions/174283/how-to-diff-large-files-on-linux]

[링크 : https://stackoverflow.com/questions/15264062/memory-exhausted-for-large-files-using-diff]

 

 

+

걍 메모리 넘치는 놈으로 이동.

근데 7기가 두개를 비교하려니 하드도 안 긁어대고 diff가 되는건 맞는지 의심..

단, 두개 돌리는데 사용메모리가 42GB까지 점프...(미친)

 

+

2019.08.28

8기가 메모리에서 8GB 짜리 파일 두개를 비교하는데 성공

$ time diff -urN output-2019-06.csv output-2019-07.csv > 6_7.diff real    0m4.037s user    0m0.642s sys     0m0.966s

근데... 이렇게 빨리 결과가 나오는게 가능한거 맞나?

 

한번도 비교 안한놈 하니 좀 심하게 오래 걸리네?

그리고 메모리 다 잡아 먹으면서, swap 까지 한계치 까지 쭉쭉 올라간다.. ㄷㄷ

아니.. 위에 결과는 머야? 어떻게 위에는 diff가 된거지?

(몇번 시도하는데 처음에 한번 되고 그 이후로는 안된다 -_- 스왑까지 다 차서 그런가..)

$ time diff -urN ClinVarFullRelease_2018-10.xml ClinVarFullRelease_2018-12.xml > 10_12.diff 죽었음 real    2m10.395s user    0m0.006s sys     0m10.949s

 

설정법은 아래와 같이 overcommit을 허용하는 걸로..(근데 문제는 없으려나..)

sudo vim /etc/sysctl.conf vm.overcommit_memory=1 sudo sysctl -p

[링크 : https://stackoverflow.com/questions/15264062/memory-exhausted-for-large-files-using-diff]

[링크 : https://codeday.me/ko/qa/20190404/238051.html]