'2019/06/18'에 해당되는 글 5건

  1. 2019.06.18 node.js 용량 제한(?)
  2. 2019.06.18 xsd to postgresql DDL
  3. 2019.06.18 python pip 특정 버전 설치하기
  4. 2019.06.18 gzip -k
  5. 2019.06.18 diff: memory exhausted
Programming/node.js2019. 6. 18. 23:54

 

RangeError: File size is greater than possible Buffer: 0x7fffffff bytes
    at FSReqWrap.readFileAfterStat [as oncomplete] (fs.js:453:11)

[링크 : https://medium.com/dev-bits/writing-memory-efficient-software-applications-in-node-js-5575f646b67f]

 

[링크 : https://stackoverflow.com/questions/52314871/parsing-large-xml-files-1g-in-node-js]

[링크 : https://codeforgeek.com/parse-large-xml-files-node/]

'Programming > node.js' 카테고리의 다른 글

node.js xml2js  (0) 2019.06.19
node.js Javascript heap out of memory  (0) 2019.06.19
electron ipc  (0) 2019.06.07
electron.js  (0) 2019.06.03
npm-run-all 병렬 빌드 (실패)  (0) 2019.05.29
Posted by 구차니

별다르게 빌드 안하고 이미 빌드 된 녀석으로 바로 실행해도 잘 된다.

java -classpath ./xsd2pgschema.jar xsd2pgschema --xsd xsd_file > ddl.psql

[링크 : https://sourceforge.net/projects/xsd2pgschema/]

'프로그램 사용 > postgreSQL' 카테고리의 다른 글

postgresql truncate table  (0) 2019.06.25
libpq  (0) 2019.06.24
postgresql dbms 설정  (0) 2019.06.14
pgadmin dashboard 살려내기  (0) 2019.06.13
postresql backup & recovery  (0) 2019.06.12
Posted by 구차니

pip install "package==version"

 

 

pip install 'stevedore>=1.3.0,<1.4.0'
pip install 'stevedore>=1.3.0,<1.4.0' --force-reinstall

[링크 : https://stackoverflow.com/questions/5226311/installing-specific-package-versions-with-pip]

'Programming > python(파이썬)' 카테고리의 다른 글

python expat parseFile()  (0) 2019.06.24
ubuntu에서 python으로 postgres 접속하기  (0) 2019.06.24
python pdb를 이용한 디버깅  (0) 2019.05.15
anaconda(python)  (0) 2019.05.15
파이썬 vscode 디버깅 하기  (0) 2019.05.14
Posted by 구차니
Linux2019. 6. 18. 18:18

아무옵션없이 쓰니

압축풀면 원본이 사라지는데 -k(keep)을 주어야 안사라지는 듯

 

왜 이런 위험한 옵션이 기본값이 아니지?

       -k --keep
              Keep (don't delete) input files during compression or decompression.

'Linux' 카테고리의 다른 글

sgrep  (0) 2019.06.24
리눅스 캐시 비우기  (0) 2019.06.19
diff: memory exhausted  (0) 2019.06.18
plymouth  (0) 2019.06.14
linux 링크속도 줄이기  (0) 2019.04.25
Posted by 구차니
Linux2019. 6. 18. 18:17

헐.. -_-

 

cmp는 단순히 다른부분만 확인하고 넘어가는 놈..

sdiff도 메모리 부족해서 죽는건 동일..

 

(8GB 메모리에 7GB 짜리 파일 두개 비교하려니 죽네)

 

[링크 : https://superuser.com/questions/174283/how-to-diff-large-files-on-linux]

[링크 : https://stackoverflow.com/questions/15264062/memory-exhausted-for-large-files-using-diff]

 

 

+

걍 메모리 넘치는 놈으로 이동.

근데 7기가 두개를 비교하려니 하드도 안 긁어대고 diff가 되는건 맞는지 의심..

단, 두개 돌리는데 사용메모리가 42GB까지 점프...(미친)

 

+

2019.08.28

8기가 메모리에서 8GB 짜리 파일 두개를 비교하는데 성공

$ time diff -urN output-2019-06.csv output-2019-07.csv > 6_7.diff

real    0m4.037s
user    0m0.642s
sys     0m0.966s

근데... 이렇게 빨리 결과가 나오는게 가능한거 맞나?

 

한번도 비교 안한놈 하니 좀 심하게 오래 걸리네?

그리고 메모리 다 잡아 먹으면서, swap 까지 한계치 까지 쭉쭉 올라간다.. ㄷㄷ

아니.. 위에 결과는 머야? 어떻게 위에는 diff가 된거지?

(몇번 시도하는데 처음에 한번 되고 그 이후로는 안된다 -_- 스왑까지 다 차서 그런가..)

$ time diff -urN ClinVarFullRelease_2018-10.xml ClinVarFullRelease_2018-12.xml > 10_12.diff
죽었음

real    2m10.395s
user    0m0.006s
sys     0m10.949s

 

설정법은 아래와 같이 overcommit을 허용하는 걸로..(근데 문제는 없으려나..)

sudo vim /etc/sysctl.conf
vm.overcommit_memory=1
sudo sysctl -p

[링크 : https://stackoverflow.com/questions/15264062/memory-exhausted-for-large-files-using-diff]

[링크 : https://codeday.me/ko/qa/20190404/238051.html]

'Linux' 카테고리의 다른 글

리눅스 캐시 비우기  (0) 2019.06.19
gzip -k  (0) 2019.06.18
plymouth  (0) 2019.06.14
linux 링크속도 줄이기  (0) 2019.04.25
ip별 대역폭 제한하기  (0) 2019.04.25
Posted by 구차니