기본 콘텐츠로 건너뛰기

[database] RDM and NoSQL

데이터베이스(DataBase)

데이터베이스는 체계화된 데이터의 모임이다. 즉, 작성된 목록으로 여러 응용 시스템들의 통합된 정보들을 저장하여 운영할 수 있는 공용 데이터의 집합체이다.
DB 구조
  • 데이터베이스 특징
    • 실시간 접근성
    • 지속적인 변화
    • 동시 공유
    • 내용에 대한 참조

데이터베이스 분류

데이터베이스는 크게 RDB와 NoSQL의 두종류로 나뉜다.
또한 하드디스크 저장 방식이 아닌 In-memory 방식과, 기존의 서버 - 클라이언트 구조에서의 대규모 서비스가 아닌 모바일과 같은 환경에서 쓰이는 경량 데이터방식(SQLite)이 존재한다.
RDB와 NoSQL에 대해 다뤄보도록 하겠다.

RDB

Relational database의 약자로 관계형 데이터베이스를 의미하며 데이터를 계층 구조가 아닌 단순한 표(관계)로 표현하는 형식이다. RDB는 데이터의 독립성이 높고, 고수준의 데이터 조작언어를 사용하여 결합, 제약, 투영 등의 관계 조작을 통해 표현능력을 높일 수 있다.
RDB는 한마디로 표현을 하면 excel이라고 표현할 수 있다.

이러한 RDB를 관리하는 시스템을 RDBMS(relational database management system)라고 부른다.
RDBMS의 데이터를 관리하기 위해 설계된 특수 목적 프로그래밍 언어인 SQL을 사용한다.
  • 종류
    • MySQL
    • MariaD
    • Oracl
    • PostgreSQl

SQL

관계형 데이터베이스 관리 시스템(RDBMS)의 데이터를 관리하기 위해 설계된 특수 목적의 프로그래밍 언어이다. 데이터베이스의 자료의 검색과 관리, 데이터 베이스 스키마 생성 및 수정, 데이터베이스 객체 접근 조정 관리를 위해 만들어 졌다. SQL은 데이터베이스로부터 정보를 얻거나 갱신하기 위한 표준 대화식 프로그래밍 언어이다.

CREATE TABLE 직원 (



    ID        INTEGER   PRIMARY KEY,



    성        CHAR(75)  not null,



    이름        CHAR(50)  null,



    생년월일  DATE      null



);
ID, 성, 이름, 생년월일이라는 컬럼이 포함된 직원 스키마(테이블)을 생성하였다.

INSERT INTO 직원(ID, 성, 이름, 생년원일) VALUES("1", "park", "matthew", "1993.07")



SELECT *FROM 직원



UPDATE 직원 SET 생년원일="9307"



DROP TABLE 직원
매우 직관적이기 때문에 어느정도 해석이 될 것이다.
  • 명령어 종류
    • DDL(Data Definition Language): 데이터 정의 언어
    • DML(Data Manipulation Language): 데이터 조작 언어
    • DCL(Data Control Language): 데이터 제어 언어

Transaction

데이터베이스 관리 시스템또는 유사한 시스템에서 상호작용의 단위이다. 여기서 유사한 시스템이란 트랜잭션이 성공과 실패가 분명하고 상호 독립적이며, 일관되고 믿을 수 있는 시스템을 의미한다.
간단하게 설명하면 데이터의 처리가 전부 되거나 전부 되지 않는것을 의미한다. RDBMS는 모든 데이터의 처리가 완벽하게 완료했을 경우 commit을 하고, 중간에 에러 혹은 장애로 인해 시스템에 문제가 생겼다면 rollback을 하여 기존의 데이터들이 변경되기 이전의 값으로 돌아간다.
  • Transaction 성질
    • 원자성(Atomicity) : 분리 할수 없는 하나의 단위로 작업은 모두 완료되거나 모두 취소되어야 한다.
    • 일관성(Consistency) : 사용되는 모든 데이터는 일관되어야 한다.
    • 격리성(Isolation) : 접근하고 있는 데이터는 다른 트랜잭션으로 부터 격리 되어야 한다. 트랜잭션은 진행되기 전과 완료후의 상태만 파악 할 수 있기때문이다. 트랜잭션이 진행하고 있는 동안 내부적으로 어떠한 방해를 받더라도 성공적으로 commit이 일어날 수 있다.
    • 순차성(Durability) : 데이터를 다시 로드하고 트랜잭션을 재생하여 원래 트랜잭션이 수행된 후의 상태로 데이터를 되돌리는 것을 말한다.
Atomicity, Consistency, Isolation, Durability 각각의 앞자를 따서 ACID이론이라고 부른다.
  • 예시
    1. 은행 인출기 앞으로 간다.
    2. 어떤 거래를 할지 선택을 한다.
    3. 비밀번호를 눌러 인증을 받는다.
    4. 거래를 완료를 한다.
이 1 ~ 4상황을 묶어서 트랜잭션이라고 부른다.
여기서 거래가 완료가 되었으면 commit을, 중간에 비밀번호가 틀리거나, 인증이 실패를 할 경우 rollback을 하여 거래하기 이전의 상태로 되돌아 간다.

NoSQL

전통적인 관계형 데이터베이스 보다 덜 제한적인 일관성 모델을 이용하는 데이터의 저장 및 검색을 위한 메커니즘을 제공하는 데이터베이스이다. NoSQL 데이터 베이스는 배포 용이성, 확장 가능한 성능, 고가용성 및 복원력으로 널리 인정받고 있다.
NoSQL은 문서, 그래프, 키-값, 컬럼 형식등 다양한 데이터 모델을 사용한다.


nosql struct

{



    "ID" : 1,



    "성" : "park",



    "이름" : "matthew",



    "생년월일" : 9307



}
비관계형, 분산 데이터 자료 공간 저장
  • 종류
    • 컬럼 : HBase, 아큐물로(Accumulo)
    • 도큐먼트 : 몽고DB(MongoDB), 카우치베이스(Couchbase)
    • 키 값 : 다이나모(Dynamo), 리악, Redis, 캐시, 프로젝트 볼드모트
    • 그래프 : Neo4J, 알레그로그래프(AllegroGraph), 버투오소
  • 의미
    • No SQL : SQL이 없다는 의미이다.
    • Not Only SQL : SQL뿐이 아니다. SQL말고도 더 있다.
    • NOn-relational operation database SQl : 비관계형 DB SQL

CAP이론

NoSQL에서는 ACID이론을 거의 언급을 하지않는다. NoSQL에서는 ACID를 중요하게 생각하지 않기 때문이다. 성능과 가용성 등을위해 ACID의 C와 I의 속성을 포기하고 분산 시스템에 더 적합하다고 생각되는 성질을 정리한 것이 BASE이다. BASE 이론에서 좀더 발전한 이론이 CAP이론이다.
  • CAP 성질
    • C(Consistency):
      ACID 에서의 C : 데이터는 항상 일관성 있는 상태를 유지
      CAP 에서의 C : 모든 노드가 같은 시간에 같은 데이터를 보여줘야 한다. 저장된 데이터까지 모두 같을 필요는 없다
      (위에서의 은행예시를 비교하면 어떻게 다른지 알 수 있다.)
    • A(Availability): 가용성. 특정 노드가 장애가 나도 서비스가 가능해야 한다.

태그

라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

[git] pull을 하여 최신코드를 내려받자

보면 먼가 로고가 다르게 뜨는것을 확인을 할 수가있다. C:\Users\mung\Desktop\etc\study\python-gene>git checkout remotes/origin/master Note: checking out 'remotes/origin/master'. You are in 'detached HEAD' state. You can look around, make experimental changes and commit them, and you can discard any commits you make in this state without impacting any branches by performing another checkout. If you want to create a new branch to retain commits you create, you may do so (now or later) by using -b with the checkout command again. Example:   git checkout -b HEAD is now at 29e282a... fetch test C:\Users\mung\Desktop\etc\study\python-gene>git branch * (HEAD detached at origin/master)   master   test1   test2 깃이 잘 쓰면 참 좋은놈인데 어지간히 쓰기가 까다롭다. 처음에 깃을 푸시 성공하는데만 한달정도 걸렸던걸로 기억이 난다.. ㅋㅋㅋ 여담으로  깃 프로필을 가면 아래사진 처럼 보인다. 기여도에 따라서 초록색으로 작은 박스가 채워지는데 저걸 잔디라고 표현을 한다고 합니다 ㅎ 저 사진은 제 깃 기여도 사진입니당 ㅋㅋㅋㅋ 다시 본론으로 돌아와서 ㅋㅋ pull을 하면...
댓글 쓰기
자세한 내용 보기

[kali linux] sqlmap - post요청 injection 시도

아래 내용은 직접 테스트 서버를 구축하여 테스트 함을 알립니다.  실 서버에 사용하여 얻는 불이익에는 책임을 지지 않음을 알립니다. sqlmap을 이용하여 get요청이 아닌 post요청에 대해서 injection공격을 시도하자. 뚀한 다양한 플래그를 이용하여 DB 취약점 테스트를 진행을 해보려고 한다. 서버  OS : windows 7 64bit Web server : X Server engine : node.js Framework : expresss Use modules : mysql Address : 172.30.1.30 Open port : 6000번 공격자 OS : kali linux 64bit use tools : sqlmap Address : 172.30.1.57 우선 서버측 부터  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 var  express  =  require( 'express' ); var  app  =  express(); var  mysql  =  require( 'mysql' ); var  ccc  =  mysql.createConnection({     host: '127.0.0.1' ,     user: 'root' ,     pos...
댓글 쓰기
자세한 내용 보기

[node.js] 파일 리더기 만들기 - 사용 모듈 정리, pdf 구조, hwp 구조

pdf -> html 변환 가장 무난하다. 기본적으로 pdf는 htm와 비슷한 형태의 구조를 가지고 있다. 크게 header , body , xref table , trailer 의 구조로 되어있다. pdf는 환경에 상관없이 표현을 하기 위한 목적을 가지고 있는 파일이다. 이런 이유 때문에 무난히 진행이 된 것 같다. pdf2htmlex와 pdftohtmljs라는 모듈을 이용을 했다. var pdftohtml = require ( 'pdftohtmljs' ) ; var converter = new pdftohtml ( 'test.pdf' , "sample.html" ) ; converter . convert ( 'ipad' ) . then ( function ( ) { console . log ( "Success" ) ; } ) . catch ( function ( err ) { console . error ( "Conversion error: " + err ) ; } ) ; 이미지나, text같은 것들이 거의 100%로 변환이 된다. docx -> html 변환 docx파일을 html파일로 변환을 할 때는 style 적용과 한글이 깨지는 문제가 있다. 텍스트들을 전부 잘 읽기는 하는데 스타일 정보를 제대로 가져오지 못하기 때문에 좀 애매하다 - Headings. - Lists. - Customisable mapping from your own docx styles to HTML. For instance, you could convert WarningHeading to h1.warning by providing an appropriate style ...
댓글 쓰기
자세한 내용 보기