기본 콘텐츠로 건너뛰기

[node.js] closure를 활용하여 비동기 루프의 근본적인 문제 해결

클로저를 사용하여 루프 문제를 해결해보려고 한다. 
아마 노드를 사용하는 개발자라면 루프를 처리하기 위해 수많은 삽질을 했을 것이다. 
이번 글에서 그것을 확실히 해결을 해보려고 한다.

promise와 async둘중 하나를 쓰면 되는데 async를 통해서 구현을 해보겠다.
(요 몇달간 파이썬만 다루다가 노드 다루려니 적응안되 미칠 뻔 했네;;; ㅋㅋㅋㅋ)
우선 테스트용 test.txt파일을 생성을한다.

$ cat test.txt
test

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
var express = require('express');
var router = express.Router();
var async = require('async');
var fs = require('fs');
/* GET home page. */
router.get('/'function(req, res, next) {
    var testList = [1,2];
    fs.readFile('./routes/test.txt'function(err, data){
        console.log(data.toString());
        res.end('success');
    })
});
module.exports = router;
cs

비동기를 쓰는 fs모듈과 async모듈을 호출을 해준다.

위 api를 호출을 하면 정상적으로 test.txt내용이 콘솔에 찎힌다.
이제 testList의 길이만큼 fs.readFile을 호출을 한다면.....

여기서부터 먼가 꼬이기 시작한다.

1
2
3
4
5
6
7
8
9
router.get('/'function(req, res, next) {
    var testList = [1,2,3,4];
    for(var i in testList){
        fs.readFile('./routes/test.txt'function(err, data){
            console.log(data.toString());
        })
    }
    res.end('success');
});
cs

이렇게 작성을 하면 될까??? 당연히 안된다.

실행해보면 정상 응답을 되겠지만 실행이 모두 완료되고 응답이 되는게 아니라 응답이 먼저 되버리고 실행은 그 이후에 완료가 된다. 
이건 안되는 방법이다.

그리고 루프문 자체에도 문제가 있다. 바로 루프가 비동기의 흐름을 따라가지 못한다.
















결과를 보면 우선 응답된 시점과 fs.readFile이 실행되는 시점이 매우 불안정함을 할 수 있다.
또한 i값이 계속 3이 뜸을 볼수 있다.

이것을 해결하기 위해서는 javascript에서 제공되는 array.prototype 메소드를 이용을 하자.

1
2
3
4
5
6
7
8
9
10
11
router.get('/'function(req, res, next) {
    var testList = [1,2,3,4];
    testList.map(function(item, index){
        fs.readFile('./routes/test.txt'function(err, data){
            console.log(item)
            console.log(data.toString());
        })
    })
        
    res.end('success');
});
cs
우선 이렇게 수정을 해보자.
















1234정상출력이 된다. 이것이 가능한 이유는 map메소드또한 콜백으로 처리가 되기 떄문이다. 비동기에 비동기를 처리하는 거다
자바스크립트는 이런식으로 꼬리에 꼬리에 꼬리를 계속 무는 형태의 코드로 짤 수 밖에 없다. 하지만 async, promise를 이용하면 해결할 수있다.

이제 응답이 되는 시점을 루프의 마지막 시점에 줘보자.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
router.get('/'function(req, res, next) {
    var testList = [1,2,3,4];
    var testListCount = testList.length;
    testList.map(function(item, index){
        fs.readFile('./routes/test.txt'function(err, data){
            console.log(item)
            console.log(data.toString());
            if(testListCount-1 == index){
                res.end('success');
            }
        })
    })
});
cs

루프 내부에서 루프의 마지막을 검사를 하여 응답을 하면 된다.
















우선 응답이 되는 시점을 루프의 마지막으로 잡았다.

근데 먼가 코드가 깔끔하진 않다. 유지보수 하기가 매우 힘들것 같다. 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
router.get('/'function(req, res, next) {
var testList = [1,2,3,4];
    async.series([
        // 1st
        function(callback){
            fs.readFile('./routes/test.txt'function(err, data){
                console.log(1)
                console.log(data.toString())
                callback(null1);
            })
        },
        // 2nd
        function(callback){
            fs.readFile('./routes/test.txt'function(err, data){
                console.log(2)
                console.log(data.toString())
                callback(null1);
            })
        }
    ],
    // callback (final)
    function(err, results){
        console.log(results); // [1, 2]
        res.end('test');
    });
});
cs

async모듈을 사용을 하면 위코드처럼 바꿀 수있다.

우선 결과부터 확인을 해보자.
















우선 먼가 출력이 우르르 된다

async모듈은 series메소드가 존재한다. series매소드는 첫번쨰 인자로 function array를 받는다 각 함수는 두번쨰 인자로 전달 되는 콜백 인자를 받게 된다. 이게 먼 거지같은 소리인가 하면 

1
2
3
4
5
6
7
function(callback){
            fs.readFile('./routes/test.txt'function(err, data){
                console.log(1)
                console.log(data.toString())
                callback(null1);
            })
        }
cs

이 부분이 있다 이 함수는 콜백을 받는다. 이 콜백이 바로

1
2
3
4
function(err, results){
        console.log(results); // [1, 2]
        res.end('test');
    }
cs

이친구가 된다 즉 함수로 이루어진 리스트는 요놈을 전부 콜백으로 받아 에러없이 콜백을 호출 할 경우 정상적으로 해당 콜백이 호출이 된다. 여기서 중요한건 모든 함수가 정산적으로 콜백을 호출 할 경우다 그렇지 않으면 해당 콜백을 호출하지 않고 에러를 발생한다 이 경우 따로 에러를 잡아서 처리만 해주면 된다. 

근데 저렇게 하면 코드가 매우 정적이라 좋지 못한것 같다 async.series로 의 첫번쨰 인자인 리스트를 가변적으로 바뀐다면 좋을 것 같다. 음... 그럼 함수를 반환을 해버리는 함수를 만들어 버리자 여기서 클로저를 이용하면 된다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
router.get('/'function(req, res, next) {
    var testList = [1,2,3,4];
    var testListArray = [];
    testList.map(function(item, index){
        testListArray.push(closureTest(item));
    })
    async.series(testListArray, function(err, result){
        console.log(result)
        res.end('test')
    })
    function closureTest(item){
        return function(callback){
            fs.readFile('./routes/test.txt'function(err, data){
                console.log(data.toString(), item);
                callback(null'test')
            })
        }
    }
});
cs

먼가 코드거 더 거지같이 된거같다....... 위코드를 보기 쉽게 바꾸면

1
2
3
4
5
6
7
8
9
10
11
12
13
14
router.get('/'function(req, res, next) {
    var testList = [1,2,3,4];
    var testListArray = [];
    testList.map(function(item, index){
        testListArray.push(closureTest(item));
    })
    async.series(testListArray, function(err, result){
        console.log(result)
        res.end('test')
    })
});
cs
이렇게 바꿀수 있다.

해당 라우터에서 뿐 아니라

1
2
3
4
5
6
7
8
9
function closureTest(item){
        return function(callback){
            fs.readFile('./routes/test.txt'function(err, data){
                console.log(data.toString(), item);
                callback(null'test')
            })
        }
    }
exports.module= closureTest
cs
해당 파일을 읽는 부분을 재사용이 가능하도록 모듈화가 가능해졌다.

우선 첫번째로 map을 돌리는 부분을 봐보자 루프가 돌면서 closureTest라는 함수를 호출을 한다.

해당 함수는 또다른 익명 함수를 반환을 하는 클로저이다. 음 .... 여기서 함수로 이루어진 배열을 생성을 하나. 해당 배열은 호출이 될떄 콜백인자를 받게 되므로 callback을 인자로 받아두자.

map을 다돌리면 이제 async.series에 첫번쨰 인자로 넘겨주자. 그리고 첫 번째 인자의 함수들이 모두 호출이 되면 실행 될 콜백을 지정을 해주자. 

이렇게 짜면 처음에 if(testListCount-1 == index)  처리 한것처럼 루프가 완료 되는 시점에서 응답을 처리 할 수 있다. 

사실 async 모듈을 쓰면 코드가 더 복잡해 질 수 있다. 사실 안써도 되는 클로저를 쓰느거라 하지만 코드의 재사용이 가능해지고 유지보수도 좀더 효율적으로 바뀐다. 아 참고로 series는 배열 말고도 객체로도 전달이 가능하다. 하지만 객체보다는 리스트가 더 빠르기 때문에 리스트를 사용하였다. 

댓글

이 블로그의 인기 게시물

[git] git log 확인하기

git log를 통해서 커밋 이력과 해당 커밋에서 어떤 작업이 있었는지에 대해 조회를 할 수 있다. 우선 git에서의 주요 명령어부터 알아보겠다. $ git push [branch name] $ git pull [branch name] 여기서 branch name은 로컬일 경우 해당 브런치 이름만 적으면 되지만 깃허브 원격 저장소로 연결을 원할 경우는 해당 브런치 이름 앞에 꼭 origin을 붙이도록 한다. $ git brnch [branch name] $ git checkout [branch name] branch일경우 해당 브런치를 생성을 한다. 여기서 현재의 브런치를 기준으로 브런치를 따는것이다. checkout은 브런치를 바꾸는 것이다.(HEAD~[숫자]를 이용하면 해당 커밋으로 움직일수 있다.. 아니면 해당 커밋 번호를 통해 직접 옮기는것도 가능하다.) -> 해당 커밋으로 옮기는 것일뿐 실질적으로 바뀌는 것은 없다. 해당 커밋으로 완전히 되돌리려면 reset이라는 명령어를 써야한다. 처음 checkout을 쓰면 매우 신기하게 느껴진다. 막 폴더가 생겼다가 지워졌다가 ㅋㅋㅋㅋㅋ  master 브런치에서는 ht.html파일이 존재하지만 a브런치에서는 존재하지않는다. checkout 으로 변경을 하면 D 로 명시를 해준다.  $ git log 해당 브런치의 커밋 내역을 보여준다. a 브런치의 커밋 내역들이다. (머지 테스트를 하느라 커밋 내용이 거의 비슷하다 ㅋㅋ) master 브런치의 커밋 내역들이다. 커밋 번호, 사용자, 날짜, 내용순으로 등장을 한다. 이건 단순히 지금까지의 내역을 훑어보기 좋다. 좀더 세밀한 내용을 봐보자. $ git log --stat --stat을 붙이면 기존의 로그에서 간략하게 어떤 파일에서

[git] pull을 하여 최신코드를 내려받자

보면 먼가 로고가 다르게 뜨는것을 확인을 할 수가있다. C:\Users\mung\Desktop\etc\study\python-gene>git checkout remotes/origin/master Note: checking out 'remotes/origin/master'. You are in 'detached HEAD' state. You can look around, make experimental changes and commit them, and you can discard any commits you make in this state without impacting any branches by performing another checkout. If you want to create a new branch to retain commits you create, you may do so (now or later) by using -b with the checkout command again. Example:   git checkout -b HEAD is now at 29e282a... fetch test C:\Users\mung\Desktop\etc\study\python-gene>git branch * (HEAD detached at origin/master)   master   test1   test2 깃이 잘 쓰면 참 좋은놈인데 어지간히 쓰기가 까다롭다. 처음에 깃을 푸시 성공하는데만 한달정도 걸렸던걸로 기억이 난다.. ㅋㅋㅋ 여담으로  깃 프로필을 가면 아래사진 처럼 보인다. 기여도에 따라서 초록색으로 작은 박스가 채워지는데 저걸 잔디라고 표현을 한다고 합니다 ㅎ 저 사진은 제 깃 기여도 사진입니당 ㅋㅋㅋㅋ 다시 본론으로 돌아와서 ㅋㅋ pull을 하면 깃에 최신 소

[kali linux] sqlmap - post요청 injection 시도

아래 내용은 직접 테스트 서버를 구축하여 테스트 함을 알립니다.  실 서버에 사용하여 얻는 불이익에는 책임을 지지 않음을 알립니다. sqlmap을 이용하여 get요청이 아닌 post요청에 대해서 injection공격을 시도하자. 뚀한 다양한 플래그를 이용하여 DB 취약점 테스트를 진행을 해보려고 한다. 서버  OS : windows 7 64bit Web server : X Server engine : node.js Framework : expresss Use modules : mysql Address : 172.30.1.30 Open port : 6000번 공격자 OS : kali linux 64bit use tools : sqlmap Address : 172.30.1.57 우선 서버측 부터  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 var  express  =  require( 'express' ); var  app  =  express(); var  mysql  =  require( 'mysql' ); var  ccc  =  mysql.createConnection({     host: '127.0.0.1' ,     user: 'root' ,     post: '3306' ,     password: '*********' ,     database: 'test' }) app.post(