하드웨어/RAID2019. 2. 24. 10:49

회사에다가 RAID5를 구축했는데

SAS 1T 짜리라서 RAID5로 묶어도 1개 복구 보장에 끽해야 3테라인데 좀 아쉽고

시퀀셜 1GB/s 정도는 찍어주는데 랜덤 4k는 11~16MB/s 정도 겨우 나온다.

역시 SAS 1T 1K 하드로 RAID를 해도 SSD가 짱이다 라는 결론.. (망할)


아무튼 그 외에도 스토리지 특성에 따라 통합 스토리지를 쓸 경우

IOPS 한계나 4k 미만 파일의 엑세스가 많을 경우 전체 성능이 저하되는 느낌이고

RAID 컨트롤러 특성인지 대용량 전송시에는 Read/Write가 동시에 되지 않고

캐시에 한번 쭈욱 읽어 놓고 한번에 쭈욱 쓰는 지 의외로 느린 느낌이 든다.

(nfs로 물려서 다른 서버로 보내서 그런걸지도)


아무튼 그 외에는.. RAID5로 8개 디스크 구성해도 1개의 복구 가능성만 제공한다는데

도대체 대용량 데이터센터에서는 어떤식으로 구성하는걸까 궁금해진다.


최소  RAID 50으로 대용량 구성하는 걸려나?


아무튼 RAID5에 대한 환상이 깨진 이유는

stripe with parity라는 특성인데

stripe는 N-1 로 성능이 늘어야 하는데

parity로 인해서 N-2가 되는 정도로 그치는 것으로 보인다(하드웨어 RAID라도 그런듯?)


정리

1. RAID 5의 Write 속도 상승폭은 그리 크지 않다

2. RAID 5를 몇개 묶더라도 1개 디스크만 고장 대처를 보장한다(2개 이상 나가면 망했어요)

3. 다양한 어플리케이션을 하나에 저장해서 쓰기에는 HDD의 한계를 벗어날 수 없다.



결론

1. SOHO 에서는 무리지만 약간 규모있는 소규모 회사에는 삼바는 RAID5나 RAID51으로 구성하는게 나을듯

2. RAID와 백업은 별개다. 결국 백업 스토리지도 용량 한계로 RAID로 구성해야 한다는 딜레마..

3. 성능 문제가 있다면 8bay에서 4bay(raid 5) + 2bay (ssd raid 1) + 2bay(hhd raid 1) 식으로 구성하는게 나을지도?

4. 가상서버 io 영향도 크겠지만 서버별로 나누어져 있다가 RAID5 스토리지로 몰았더니 성능 저하가 크게 느껴진다.

'하드웨어 > RAID' 카테고리의 다른 글

DELL PERC9 T10 PI?  (0) 2019.02.25
dell iDRAC을 이용한 런타임 RAID 설정변경  (0) 2019.02.25
raid 특성인가?  (0) 2019.02.22
RAID 1+0 구성과 span  (0) 2019.02.19
R730 PERC RAID-0 vs RAID-5  (0) 2019.02.15
Posted by 구차니
하드웨어/RAID2019. 2. 22. 14:13

희한하게 죽어라 쓰면서 읽지 않아서

의문을 가지는 중.. RAID-5로

read ahead / write back 정책으로 해놔서 그런걸까..

왜 저렇게 미친듯(?)이 읽고 나서 읽기는 쉬고 미친듯이 쓰는걸까?


Posted by 구차니
하드웨어/RAID2019. 2. 19. 12:52

nested level의 RAID는 당연한 거긴 하지만..

망할(?) span 이라는 용어가 나오는데


RAID 1+0 에서

RAID0는 속도를 위해 묶이므로 안정성이 꽝이라

안정성을 보강해주기 위해 RAID0에 묶일 볼륨을 RAID1으로 미러링 해주는 구성이 된다.

그리고 안정성을 위한 span이 raid 1으로 묶이게 되고(그래서 RAID 1+0에서 1이 먼저)

용량과 속도를 위해 RAID1들을 RAID0으로 묶게 된다.


 Spanned RAID levels Spanning is a term used to describe the way in which RAID levels 10, 50, and 60 are constructed from multiple sets of basic, or simple RAID levels. For example, a RAID 10 has multiple sets of RAID 1 arrays where each RAID 1 set is considered a span. Data is then striped (RAID 0) across the RAID 1 spans to create a RAID 10 virtual disk. Similarly, RAID 50 and RAID 60 combine multiple sets of RAID 5 or RAID 6 respectively with striping.  

[링크 : http://hg.flagshiptech.com/ebay/DellManuals/rc_h310_h710_h710p_h810_ug_en-us.pdf]

[링크 : https://www.dell.com/community/PowerEdge-HDD-SCSI-RAID/RAID10-and-spans/td-p/4666979]

'하드웨어 > RAID' 카테고리의 다른 글

RAID5가 전가의 보도는 아니었구나.. 라는 실망  (2) 2019.02.24
raid 특성인가?  (0) 2019.02.22
R730 PERC RAID-0 vs RAID-5  (0) 2019.02.15
R730 RAID5 성능 테스트(?)  (0) 2019.02.13
PowerEdge RAID Controller - PERC  (0) 2019.02.12
Posted by 구차니
하드웨어/RAID2019. 2. 15. 13:44

에에에에에에엥??!?!?!


동일 시스템 아니고 동일 하드가 아니라 다르게 나올수도 있고

다른 서비스 도는게 있어서 전혀 영향이 없다라고 할 순 없는 좀 불공평한 상황이긴 하지만

SAS 10K HDD RAID-5 * 4

SAS 10K HDD RAID-0 * 4

# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.968236 s, 1.1 GB/s


# dd if=/dev/zero of=/home/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.877165 s, 1.2 GB/s

1073741824 bytes (1.1 GB) copied, 1.67205 s, 642 MB/s

1073741824 bytes (1.1 GB) copied, 1.64823 s, 651 MB/s

1073741824 bytes (1.1 GB) copied, 1.70338 s, 630 MB/s

1073741824 bytes (1.1 GB) copied, 1.67719 s, 640 MB/s


# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.981585 s, 1.1 GB/s

1073741824 bytes (1.1 GB) copied, 1.86161 s, 577 MB/s

1073741824 bytes (1.1 GB) copied, 1.83748 s, 584 MB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.0448593 s, 11.7 MB/s

524288 bytes (524 kB) copied, 0.0444185 s, 11.8 MB/s

524288 bytes (524 kB) copied, 0.0448892 s, 11.7 MB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=102400 oflag=direct

52428800 bytes (52 MB) copied, 2.87847 s, 18.2 MB/s


# dd if=/dev/zero of=/home/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 3.62074 s, 116 MB/s

419430400 bytes (419 MB) copied, 3.60996 s, 116 MB/s


# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 1.33766 s, 803 MB/s


# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 1.33303 s, 805 MB/s

1073741824 bytes (1.1 GB) copied, 2.53404 s, 424 MB/s

1073741824 bytes (1.1 GB) copied, 2.69058 s, 399 MB/s

1073741824 bytes (1.1 GB) copied, 1.35569 s, 792 MB/s

1073741824 bytes (1.1 GB) copied, 2.63433 s, 408 MB/s


# dd if=/dev/zero of=/home/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 2.34943 s, 457 MB/s

1073741824 bytes (1.1 GB) copied, 2.39908 s, 448 MB/s

1073741824 bytes (1.1 GB) copied, 1.12215 s, 957 MB/s // 쉬었다가 실행


# dd if=/dev/zero of=/home/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.0496745 s, 10.6 MB/s

524288 bytes (524 kB) copied, 0.0369942 s, 14.2 MB/s

524288 bytes (524 kB) copied, 0.0600279 s, 8.7 MB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=102400 oflag=direct

52428800 bytes (52 MB) copied, 4.08467 s, 12.8 MB/s


# dd if=/dev/zero of=/home/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 6.50347 s, 64.5 MB/s

419430400 bytes (419 MB) copied, 6.21405 s, 67.5 MB/s



내가 멀 잘못했나 해서 보는데 맞는데.. 머지?

Read/ Write 정책에 block size 모두 동일하고.. 우찌된게 RAID-5가 전반적으로 좋냐?


RAID-0


RAID-5 (크.. redundancy 1 흐믓하다)



+

다른 서버

얘는 

삼성 SATA SSD * 2 RAID-0

시게이트 SAS HDD * 6 RAID-0 로 묶인놈


요게 SSD


요건 HDD


RAID 컨트롤러 성능이 문제인가.. 아니면 stripe 사이즈가 문제인가?

예상외로 너무 성능이 안나오는데?

SATA SSD RAID-0 * 2

 SAS 10K HDD RAID-0 * 6

# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 1.38812 s, 774 MB/s

1073741824 bytes (1.1 GB) copied, 0.837179 s, 1.3 GB/s // 5초 쉬었다


# dd if=/dev/zero of=/home/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.736994 s, 1.5 GB/s

1073741824 bytes (1.1 GB) copied, 1.03865 s, 1.0 GB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.0402945 s, 13.0 MB/s

524288 bytes (524 kB) copied, 0.0447082 s, 11.7 MB/s


# dd if=/dev/zero of=/home/testfile bs=512 count=102400 oflag=direct

52428800 bytes (52 MB) copied, 4.22318 s, 12.4 MB/s

52428800 bytes (52 MB) copied, 3.15094 s, 16.6 MB/s


# dd if=/dev/zero of=/home/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 5.89989 s, 71.1 MB/s

419430400 bytes (419 MB) copied, 6.28572 s, 66.7 MB/s

# dd if=/dev/zero of=/mnt/data/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 1.1833 s, 907 MB/s

1073741824 bytes (1.1 GB) copied, 0.775761 s, 1.4 GB/s


# dd if=/dev/zero of=/mnt/data/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.52785 s, 2.0 GB/s

1073741824 bytes (1.1 GB) copied, 0.879442 s, 1.2 GB/s


# dd if=/dev/zero of=/mnt/data/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.04629 s, 11.3 MB/s

524288 bytes (524 kB) copied, 0.0437859 s, 12.0 MB/s


# dd if=/dev/zero of=/mnt/data/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 3.37354 s, 124 MB/s

419430400 bytes (419 MB) copied, 3.44868 s, 122 MB/s


# dd if=/dev/zero of=/mnt/data/testfile bs=4096 count=102400 oflag=direct

419430400 bytes (419 MB) copied, 4.17253 s, 101 MB/s

419430400 bytes (419 MB) copied, 4.63281 s, 90.5 MB/s



'하드웨어 > RAID' 카테고리의 다른 글

raid 특성인가?  (0) 2019.02.22
RAID 1+0 구성과 span  (0) 2019.02.19
R730 RAID5 성능 테스트(?)  (0) 2019.02.13
PowerEdge RAID Controller - PERC  (0) 2019.02.12
512b vs 4k sector HDD (Advanced Format - AF)  (0) 2019.02.12
Posted by 구차니
하드웨어/RAID2019. 2. 13. 17:00

10K SAS RAID5 구성한 녀석(PERC H730P mini 였나? + 1G cache)

의외로 성능이 잘 나온다고 해야하려나? 아무튼 몇번에 대해서는 순간 1GB/s 나오는거 보고 깜놀


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.968236 s, 1.1 GB/s


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=1M count=1024 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.877165 s, 1.2 GB/s

1073741824 bytes (1.1 GB) copied, 1.67205 s, 642 MB/s

1073741824 bytes (1.1 GB) copied, 1.64823 s, 651 MB/s

1073741824 bytes (1.1 GB) copied, 1.70338 s, 630 MB/s

1073741824 bytes (1.1 GB) copied, 1.67719 s, 640 MB/s


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=1G count=1 oflag=direct

1073741824 bytes (1.1 GB) copied, 0.981585 s, 1.1 GB/s

1073741824 bytes (1.1 GB) copied, 1.86161 s, 577 MB/s

1073741824 bytes (1.1 GB) copied, 1.83748 s, 584 MB/s


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=512 count=1024 oflag=direct

524288 bytes (524 kB) copied, 0.0448593 s, 11.7 MB/s

524288 bytes (524 kB) copied, 0.0444185 s, 11.8 MB/s

524288 bytes (524 kB) copied, 0.0448892 s, 11.7 MB/s


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=512 count=102400 oflag=direct

5242880 bytes (5.2 MB) copied, 0.359296 s, 14.6 MB/s


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=4096 count=102400 oflag=direct

52428800 bytes (52 MB) copied, 2.87847 s, 18.2 MB/s


[root@localhost home]# dd if=/dev/zero of=/home/testfile bs=4096 count=102400 oflag=direct
419430400 bytes (419 MB) copied, 3.62074 s, 116 MB/s
419430400 bytes (419 MB) copied, 3.60996 s, 116 MB/s


[링크 : https://www.thomas-krenn.com/en/wiki/Linux_I/O_Performance_Tests_using_dd]

'하드웨어 > RAID' 카테고리의 다른 글

RAID 1+0 구성과 span  (0) 2019.02.19
R730 PERC RAID-0 vs RAID-5  (0) 2019.02.15
PowerEdge RAID Controller - PERC  (0) 2019.02.12
512b vs 4k sector HDD (Advanced Format - AF)  (0) 2019.02.12
SAS  (0) 2013.11.12
Posted by 구차니
하드웨어/RAID2019. 2. 12. 19:27

DELL의 RAID 컨트롤러 명

그래도 테크니컬 메뉴얼 보니 재미난 구성이 좀 보이네?

그나저나, 8bay를 16베이로 어떻게 올릴 수 있을려나?


[링크 : https://i.dell.com/.../Dell-PowerEdge-RAID-Controller-H730.pdf]

[링크 : https://i.dell.com/.../PowerEdge_R740_R740xd_Technical_Guide.pdf]

'하드웨어 > RAID' 카테고리의 다른 글

R730 PERC RAID-0 vs RAID-5  (0) 2019.02.15
R730 RAID5 성능 테스트(?)  (0) 2019.02.13
512b vs 4k sector HDD (Advanced Format - AF)  (0) 2019.02.12
SAS  (0) 2013.11.12
우분투 내장 3ware 드라이버  (0) 2011.12.11
Posted by 구차니
하드웨어/RAID2019. 2. 12. 19:01

기억으로는 4K로 잡았는데 512B 로 나오는거 같아서 급 헷갈리는 바람에 검색을 했는데

결론만 적자면 아이고 의미없다~ 헛다리 짚었다 쪽.. ㅠㅠ

(그런데.. 반대로(?) 512B 섹터로 된 녀석을 4K로 소프트웨어적으로 쓰는건 없으려나?

물론 SW로 된걸 쪼갈라서 하드웨어에 쓰려면 성능 저하가 더 심할듯 하니 쓸 이유가 없겠지만..)


512e는 물리적으로는 4K 섹터, 소프트웨어적으로는 512B 섹터로 운영하는 녀석

[링크 : https://ko.wikipedia.org/wiki/어드밴스트_포맷]


[링크 : https://www.dell.com/.../performance-comparison-between-4k-and-512e-hard-drives?lang=en]

[링크 : https://i.dell.com/s.../512e_4Kn_Disk_Formats_120413.pdf]

[링크 : https://www.dell.com/.../support-for-advanced-format-4k-sector-hard-disk-drives...]


[링크 : https://www.tomshardware.com/reviews/advanced-format-4k-sector-size-hard-drive,2759.html]


+

2019.02.13

출근해서 스토리지랑 설정을 보니 해결

근데 기억에는... 4K로 섹터 잡은거 같은데 언제 512B로 되었지 -ㅁ-?


일단 모델명은 ST1200MM0088


그런데.. 가상 드라이브(RAID-5는 희한하게도 512 bytes Block sie로 잡혀있다 -_-??!??!


제조사 공식 자료를 보니 512 Byte Native 모드임! 라고 되어있는 모델..

어제 고민은 왜한거냐.. ㅠㅠ

[링크 : https://www.seagate.com/.../enterprise-performance-10k-hdd-ds1785-2-1409us.pdf]

'하드웨어 > RAID' 카테고리의 다른 글

R730 RAID5 성능 테스트(?)  (0) 2019.02.13
PowerEdge RAID Controller - PERC  (0) 2019.02.12
SAS  (0) 2013.11.12
우분투 내장 3ware 드라이버  (0) 2011.12.11
3ware 9500 RAID5 구성중 하드 하나가 사라지면?  (0) 2011.12.03
Posted by 구차니
하드웨어/RAID2013. 11. 12. 09:44

SAS

Serial Attached SCSI

SAS RAID에 SATA 하드를 연결할 수는 있지만
SAS 하드를 SATA에 연결할 수는 없다.

[링크: http://blog.naver.com/skyluvtoya/100120822628]
Posted by 구차니
하드웨어/RAID2011. 12. 11. 17:09
기록용 -ㅁ-

$ lspci | grep 3ware
02:03.0 RAID bus controller: 3ware Inc 9xxx-series SATA-RAID

$ dmesg | grep 3ware
[    1.092263] 3ware 9000 Storage Controller device driver for Linux v2.26.02.012.
[    2.193767] scsi2 : 3ware 9000 Storage Controller
[    2.193932] 3w-9xxx: scsi2: Found a 3ware 9000 Storage Controller at 0xfcdffc00, IRQ: 24.

$ lsmod | grep 3w
3w_9xxx                35257  0

$ modinfo 3w_9xxx
filename:       /lib/modules/2.6.32-33-server/kernel/drivers/scsi/3w-9xxx.ko
version:        2.26.02.012
license:        GPL
description:    3ware 9000 Storage Controller Linux Driver
author:         AMCC
srcversion:     9448455BB935CC3049B6CC3
alias:          pci:v000013C1d00001005sv*sd*bc*sc*i*
alias:          pci:v000013C1d00001004sv*sd*bc*sc*i*
alias:          pci:v000013C1d00001003sv*sd*bc*sc*i*
alias:          pci:v000013C1d00001002sv*sd*bc*sc*i*
depends:
vermagic:       2.6.32-33-server SMP mod_unload modversions
parm:           use_msi:Use Message Signaled Interrupts.  Default: 0 (int) 


리눅스에서 tw_cli를 이용해서 펌웨어 확인
# ./tw_cli
//ubuntu64srv> ?

Copyright(c) 2004, 2005 Applied Micro Circuits Corporation(AMCC). All rights reserved.

AMCC/3ware CLI (version 2.00.03.017)


Commands  Description
-------------------------------------------------------------------
info      Displays information about controller(s), unit(s) and port(s).
maint     Performs maintenance operations on controller(s), unit(s) and ports.
alarms    Displays current AENs.
set       Displays or modifies controller and unit settings.
sched     Schedules bachground tasks on controller(s)             (9000 series)
quit      Exits the CLI.
           ---- New Command Syntax ----
focus     Changes from one object to another.  For Interactive Mode Only!
show      Displays information about controller(s), unit(s) and port(s).
flush     Flush write cache data to units in the system.
rescan    Rescan all empty ports for new unit(s) and disk(s).
commit    Commit dirty DCB to storage on controller(s).        (Windows only)
/cx       Controller specific commands.
/cx/ux    Unit specific commands.
/cx/px    Port specific commands.
/cx/bbu   BBU specific commands.                                  (9000 only)

Type help <command> to get more details about a particular command.
For more detail information see tw_cli's documentation.

//ubuntu64srv> info

Ctl   Model        Ports   Drives   Units   NotOpt   RRate   VRate   BBU
------------------------------------------------------------------------
c2    9500S-4LP    4       4        1       1        5       5       -

//ubuntu64srv> info c2 firmware
/c2 Firmware Version = FE9X 2.08.00.009

//ubuntu64srv> q 
 
Posted by 구차니
하드웨어/RAID2011. 12. 3. 20:11
IDE 케이블 연결한다고 SHOW 하다보니, SATA 하드 한녀석이 파워가 뽑혀버렸다.
부팅이 안되고 못 넘어 가길래 ESC 눌러서 메시지를 보니

DEGRADED 라고 메시지가 뜨며 멈춰있는 상황
아무튼 RAID5 로 HDD4개를 묶어 쓰는 중이라 하드가 안 읽히거나 그런건 아닌거 같지만...
(어짜피 데이터도 안 넣어 놔서 -_- 단지 드라이브가 뜬다는 정도만 확인?)

 
아무튼, 다음번 부팅시에 다시 하드 전원을 연결하니 초기화 하는 메시지가 잠시 나왔다가 사라지는데..
단순히 내용이 없어서 금세 초기화 된걸려나? 아니면 기존에 사용하던 하드였기 때문일려나? 

'하드웨어 > RAID' 카테고리의 다른 글

SAS  (0) 2013.11.12
우분투 내장 3ware 드라이버  (0) 2011.12.11
stripe size에 따른 속도변화  (0) 2011.07.31
3ware 9500s 속도 제한걸리는 이유?  (0) 2011.07.30
Intel(R) Embeded Server SATA RAID  (0) 2011.07.30
Posted by 구차니