Programming/node.js2019. 6. 19. 04:16

스트림으로 읽어오는 놈을 찾다 보니 이런게 있는데..

희한하게(?) 너무 뜨문뜨문 읽어서 확인해보니

한번에 읽어오는 용량을 설정할수 있고 기본 값은 64kb 라고.. (kB가 아니라?)

 

Unlike the 16 kb default highWaterMark for a readable stream, the stream returned by this method has a default highWaterMark of 64 kb. 

options can include start and end values to read a range of bytes from the file instead of the entire file. Both start and end are inclusive and start counting at 0, allowed values are in the [0, Number.MAX_SAFE_INTEGER] range. If fd is specified and start is omitted or undefined, fs.createReadStream() reads sequentially from the current file position. The encoding can be any one of those accepted by Buffer.

[링크 : https://nodejs.org/api/fs.html#fs_fs_createreadstream_path_options]

[링크 : https://stackoverflow.com/questions/24005496/nodejs-copying-file-over-a-stream-is-very-slow]

[링크 : https://stackoverflow.com/questions/48065065/createreadstream-not-working-extremely-slow-for-large-files]

'Programming > node.js' 카테고리의 다른 글

node.js readline()  (0) 2019.06.28
node.js 메모리 사용 가능 용량 늘리기  (0) 2019.06.21
node.js xml2js  (0) 2019.06.19
node.js Javascript heap out of memory  (0) 2019.06.19
node.js 용량 제한(?)  (0) 2019.06.18
Posted by 구차니
Programming/node.js2019. 6. 19. 03:45

스트림이 아니라 XML 파일이 1기가 넘어가면 한번에 못 읽음

[링크 : https://www.npmjs.com/package/xml2js]

 

스트림 파서라 용량 제한없이 읽을수 있음

[링크 : https://www.npmjs.com/package/xml-stream]

 

xml2js 보다 엄청 빠르다는데 안써봄

[링크 : https://www.npmjs.com/package/fast-xml-parser]

 

'Programming > node.js' 카테고리의 다른 글

node.js 메모리 사용 가능 용량 늘리기  (0) 2019.06.21
node.js fs.createreadstream highWaterMark  (0) 2019.06.19
node.js Javascript heap out of memory  (0) 2019.06.19
node.js 용량 제한(?)  (0) 2019.06.18
electron ipc  (0) 2019.06.07
Posted by 구차니
Programming/node.js2019. 6. 19. 03:07

참으로 다양하게 죽여보는구만.. -_-a

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory
 1: node::Abort() [node]
 2: 0x5605160f2011 [node]
 3: v8::Utils::ReportOOMFailure(char const*, bool) [node]
 4: v8::internal::V8::FatalProcessOutOfMemory(char const*, bool) [node]
 5: v8::internal::Factory::NewCode(v8::internal::CodeDesc const&, unsigned int, v8::internal::Handle, bool, int) [node]
 6: v8::internal::CodeGenerator::MakeCodeEpilogue(v8::internal::TurboAssembler*, v8::internal::EhFrameWriter*, v8::internal::CompilationInfo*, v8::internal::Handle) [node]
 7: v8::internal::compiler::CodeGenerator::FinalizeCode() [node]
 8: v8::internal::compiler::PipelineImpl::FinalizeCode() [node]
 9: v8::internal::compiler::PipelineCompilationJob::FinalizeJobImpl() [node]
10: v8::internal::CompilationJob::FinalizeJob() [node]
11: v8::internal::Compiler::FinalizeCompilationJob(v8::internal::CompilationJob*) [node]
12: v8::internal::OptimizingCompileDispatcher::InstallOptimizedFunctions() [node]
13: v8::internal::StackGuard::HandleInterrupts() [node]
14: v8::internal::Runtime_StackGuard(int, v8::internal::Object**, v8::internal::Isolate*) [node]
15: 0x2557162840bd

 

[링크 : https://bloodguy.tistory.com/entry/nodejs-FATAL-ERROR-CALLANDRETRYLAST-Allocation-failed-process-out-of-memory-에러-원인-해결방법]

팔자에 없는 GC 공부하는 중.. 끄응..

'Programming > node.js' 카테고리의 다른 글

node.js fs.createreadstream highWaterMark  (0) 2019.06.19
node.js xml2js  (0) 2019.06.19
node.js 용량 제한(?)  (0) 2019.06.18
electron ipc  (0) 2019.06.07
electron.js  (0) 2019.06.03
Posted by 구차니
Programming/node.js2019. 6. 18. 23:54

 

RangeError: File size is greater than possible Buffer: 0x7fffffff bytes
    at FSReqWrap.readFileAfterStat [as oncomplete] (fs.js:453:11)

[링크 : https://medium.com/dev-bits/writing-memory-efficient-software-applications-in-node-js-5575f646b67f]

 

[링크 : https://stackoverflow.com/questions/52314871/parsing-large-xml-files-1g-in-node-js]

[링크 : https://codeforgeek.com/parse-large-xml-files-node/]

'Programming > node.js' 카테고리의 다른 글

node.js xml2js  (0) 2019.06.19
node.js Javascript heap out of memory  (0) 2019.06.19
electron ipc  (0) 2019.06.07
electron.js  (0) 2019.06.03
npm-run-all 병렬 빌드 (실패)  (0) 2019.05.29
Posted by 구차니

pip install "package==version"

 

 

pip install 'stevedore>=1.3.0,<1.4.0'
pip install 'stevedore>=1.3.0,<1.4.0' --force-reinstall

[링크 : https://stackoverflow.com/questions/5226311/installing-specific-package-versions-with-pip]

'Programming > python(파이썬)' 카테고리의 다른 글

python expat parseFile()  (0) 2019.06.24
ubuntu에서 python으로 postgres 접속하기  (0) 2019.06.24
python pdb를 이용한 디버깅  (0) 2019.05.15
anaconda(python)  (0) 2019.05.15
파이썬 vscode 디버깅 하기  (0) 2019.05.14
Posted by 구차니
Programming/web 관련2019. 6. 17. 19:10

셀 자체를 드래그 해서 크기를 바꾸는 기능

bootstrap 등에서 자동으로 지원하지 않으려나?

 

[링크 : https://codepen.io/jasongardner/pen/QNOXym]

'Programming > web 관련' 카테고리의 다른 글

markdown 문법 - 체크박스  (0) 2020.10.15
크롬 확장도구 - json viewer  (0) 2019.08.07
web framework  (0) 2019.06.05
ECDHE?  (0) 2019.04.26
css position  (0) 2019.03.28
Posted by 구차니
Programming/android2019. 6. 11. 13:39

일단은 qemu-kvm이 설치되어 있어야 하고

kvm 그룹에 넣어주어야 하는 듯?

 

sudo apt install qemu-kvm
sudo adduser $USER kvm

원인은 모르겠고.. 어플리케이션 런처에서 실행하면

리부팅 전까지 변경내용이 적용되지 않아, 한번은 껐다 켜야 한다. -_-

 

[링크 : https://stackoverflow.com/questions/37300811/android-studio-dev-kvm-device-permission-denied]

[링크 : https://codechacha.com/ko/android-kvm-permission-denied/]

Posted by 구차니
Programming/android2019. 6. 10. 23:23

 

sudo add-apt-repository ppa:maarten-fonville/android-studio

sudo apt-get update

sudo apt-get install android-studio

[링크 : https://webnautes.tistory.com/1134]

 

 

그나저나 윈도우용은 용량 무지 컸던거 같은데 리눅스라 그런가 용량이 적다?

$ sudo apt-get install android-studio
패키지 목록을 읽는 중입니다... 완료
의존성 트리를 만드는 중입니다       
상태 정보를 읽는 중입니다... 완료
다음 패키지가 자동으로 설치되었지만 더 이상 필요하지 않습니다:
  linux-headers-4.18.0-18 linux-headers-4.18.0-18-generic linux-image-4.18.0-18-generic linux-modules-4.18.0-18-generic
  linux-modules-extra-4.18.0-18-generic
Use 'sudo apt autoremove' to remove them.
다음의 추가 패키지가 설치될 것입니다 :
  lib32gcc1 lib32ncurses5 lib32stdc++6 lib32tinfo5 lib32z1 libc6-i386
제안하는 패키지:
  default-jdk
다음 새 패키지를 설치할 것입니다:
  android-studio lib32gcc1 lib32ncurses5 lib32stdc++6 lib32tinfo5 lib32z1 libc6-i386
0개 업그레이드, 7개 새로 설치, 0개 제거 및 30개 업그레이드 안 함.
3,388 k바이트 아카이브를 받아야 합니다.
이 작업 후 15.6 M바이트의 디스크 공간을 더 사용하게 됩니다.
계속 하시겠습니까? [Y/n] 

는 개뿔. 똑같이 크네 -_-

받기:1 http://kr.archive.ubuntu.com/ubuntu bionic/main amd64 libc6-i386 amd64 2.27-3ubuntu1 [2,651 kB]
받기:2 http://ppa.launchpad.net/maarten-fonville/android-studio/ubuntu bionic/main amd64 android-studio amd64 183.5400832~bionic [36.2 kB]
받기:3 http://kr.archive.ubuntu.com/ubuntu bionic-updates/main amd64 lib32tinfo5 amd64 6.1-1ubuntu1.18.04 [79.1 kB]
받기:4 http://kr.archive.ubuntu.com/ubuntu bionic-updates/main amd64 lib32ncurses5 amd64 6.1-1ubuntu1.18.04 [100 kB]
받기:5 http://kr.archive.ubuntu.com/ubuntu bionic/main amd64 lib32z1 amd64 1:1.2.11.dfsg-0ubuntu2 [58.3 kB]
받기:6 http://kr.archive.ubuntu.com/ubuntu bionic-updates/main amd64 lib32gcc1 amd64 1:8.3.0-6ubuntu1~18.04 [47.9 kB]
받기:7 http://kr.archive.ubuntu.com/ubuntu bionic-updates/main amd64 lib32stdc++6 amd64 8.3.0-6ubuntu1~18.04 [415 kB]
내려받기 3,388 k바이트, 소요시간 1초 (2,693 k바이트/초)
Selecting previously unselected package android-studio.
(데이터베이스 읽는중 ...현재 283062개의 파일과 디렉터리가 설치되어 있습니다.)
Preparing to unpack .../0-android-studio_183.5400832~bionic_amd64.deb ...
--2019-06-10 23:21:23--  https://dl.google.com/dl/android/studio/ide-zips/3.4.0.17/android-studio-ide-183.5400832-linux.zip
Resolving dl.google.com (dl.google.com)... 64.233.189.91, 64.233.189.93, 64.233.189.136, ...
접속 dl.google.com (dl.google.com)|64.233.189.91|:443... 접속됨.
HTTP request sent, awaiting response... 200 OK
Length: 1091186070 (1.0G) [application/zip]
Saving to: ‘/opt/android-studio-ide.zip

/opt/android-studio-ide.zip       100%[===========================================================>]   1.02G  5.64MB/s    in 3m 6s   

2019-06-10 23:24:30 (5.59 MB/s) - ‘/opt/android-studio-ide.zip’ saved [1091186070/1091186070]

 

+

2019.06.11

메모리 사용량 장난아니네.. ㄷㄷ

// 안드로이드 가상 머신 + studio

$ free -h
              total        used        free      shared  buff/cache   available
Mem:           3.8G        2.9G        102M        266M        776M        377M
스왑:        2.0G        388M        1.6G

 

// studio

$ free -h
              total        used        free      shared  buff/cache   available
Mem:           3.8G        2.7G        436M        120M        619M        700M
스왑:        2.0G        388M        1.6G

 

 

// 전부 종료 후

$ free -h
              total        used        free      shared  buff/cache   available
Mem:           3.8G        930M        2.2G        108M        640M        2.5G
스왑:        2.0G        387M        1.6G

'Programming > android' 카테고리의 다른 글

android / 구글 지도 API 발급  (0) 2019.06.21
android studio /dev/kvm permission denied  (0) 2019.06.11
안드로이드 무선 디버깅(adb wifi)  (0) 2019.03.14
AndroidManifest.xml (binary) 디코더  (0) 2019.03.14
android REST client  (0) 2019.02.07
Posted by 구차니
Programming/C++ STL2019. 6. 10. 19:01

파싱, tokenizer

[링크 :https://psychoria.tistory.com/666]

[링크 : https://stackoverflow.com/questions/53849/how-do-i-tokenize-a-string-in-c]

 

string을 숫자로

[링크 : http://yotop93.blogspot.com/2015/04/string.html]

 

문자열 자르기

-1 식으로 끝에서 자르는건 안되는 듯

[링크 : http://www.cplusplus.com/reference/string/string/substr/]

'Programming > C++ STL' 카테고리의 다른 글

vector 값 비우기  (0) 2021.10.02
cpp 부모타입으로 업 캐스팅 된 객체의 원래 클래스 알기  (0) 2021.09.30
cpp stringstream << 연산자  (0) 2019.05.24
c++ 함수 인자 기본값  (0) 2017.11.08
cpp string compare 와 ==  (0) 2017.01.31
Posted by 구차니
Programming/Java(Spring)2019. 6. 8. 20:19

 

6.1.3. Using Build Profiles

To activate one or more build profiles from the command line, use the following option:

-P, --activate-profiles <arg>Comma-delimited list of profiles to activate

For more information about build profiles, see Chapter 5, Build Profiles.

 

[링크 : https://books.sonatype.com/mvnref-book/reference/running-sect-options.html]

[링크 : https://www.lesstif.com/pages/viewpage.action?pageId=14090588]

'Programming > Java(Spring)' 카테고리의 다른 글

java 메모리 관련...2?  (0) 2019.07.06
java.lang.OutOfMemoryError: GC overhead limit exceeded  (1) 2019.07.06
tomcat9 on ubuntu18.04  (0) 2019.06.07
tomcat 자동 war 배포 막기  (0) 2019.06.07
tomcat manager GUI  (0) 2019.06.07
Posted by 구차니