Linux2019.06.18 18:17

헐.. -_-

 

cmp는 단순히 다른부분만 확인하고 넘어가는 놈..

sdiff도 메모리 부족해서 죽는건 동일..

 

(8GB 메모리에 7GB 짜리 파일 두개 비교하려니 죽네)

 

[링크 : https://superuser.com/questions/174283/how-to-diff-large-files-on-linux]

[링크 : https://stackoverflow.com/questions/15264062/memory-exhausted-for-large-files-using-diff]

 

 

+

걍 메모리 넘치는 놈으로 이동.

근데 7기가 두개를 비교하려니 하드도 안 긁어대고 diff가 되는건 맞는지 의심..

단, 두개 돌리는데 사용메모리가 42GB까지 점프...(미친)

 

+

2019.08.28

8기가 메모리에서 8GB 짜리 파일 두개를 비교하는데 성공

$ time diff -urN output-2019-06.csv output-2019-07.csv > 6_7.diff

real    0m4.037s
user    0m0.642s
sys     0m0.966s

근데... 이렇게 빨리 결과가 나오는게 가능한거 맞나?

 

한번도 비교 안한놈 하니 좀 심하게 오래 걸리네?

그리고 메모리 다 잡아 먹으면서, swap 까지 한계치 까지 쭉쭉 올라간다.. ㄷㄷ

아니.. 위에 결과는 머야? 어떻게 위에는 diff가 된거지?

(몇번 시도하는데 처음에 한번 되고 그 이후로는 안된다 -_- 스왑까지 다 차서 그런가..)

$ time diff -urN ClinVarFullRelease_2018-10.xml ClinVarFullRelease_2018-12.xml > 10_12.diff
죽었음

real    2m10.395s
user    0m0.006s
sys     0m10.949s

 

설정법은 아래와 같이 overcommit을 허용하는 걸로..(근데 문제는 없으려나..)

sudo vim /etc/sysctl.conf
vm.overcommit_memory=1
sudo sysctl -p

[링크 : https://stackoverflow.com/questions/15264062/memory-exhausted-for-large-files-using-diff]

[링크 : https://codeday.me/ko/qa/20190404/238051.html]

'Linux' 카테고리의 다른 글

리눅스 캐시 비우기  (0) 2019.06.19
gzip -k  (0) 2019.06.18
diff: memory exhausted  (0) 2019.06.18
plymouth  (0) 2019.06.14
linux 링크속도 줄이기  (0) 2019.04.25
ip별 대역폭 제한하기  (0) 2019.04.25
Posted by 구차니

댓글을 달아 주세요