[inflearn] ELK 스택으로 데이터 분석 - 섹션5. 실데이터 분석

1. 실전 인구분석

logstash

https://catalog.data.gov/dataset 에서 population by country 쳤더니 안나옴

https://data.world/doe/population-bycountry-1980-2010 에서 대신 다운받을 수 있다

또는... 강의자 Github ch06 디렉토리 아래에 csv 파일 있음(NIA, - 와 같은 데이터 삭제)

ElasticSearch, Kibana가 잘 돌아가는지 확인하기

ps -ef | grep kibana

ps -ef | grep elasticsearch

 

cd /usr/share/logstash/bin/

 

logstash.conf

input {
  file {
    path => "csv 파일이 있는 절대경로"
    start_position => "beginning" 
    sincedb_path => "/dev/null"  
  }
}

filter {
  csv {
      separator => ","
      columns => ["Country","1980","1981","1982","1983","1984","1985","1986","1987","1988","1989","1990","1991","1992","1993","1994","1995","1996","1997","1998","1999","2000","2001","2002","2003","2004","2005","2006","2007","2008","2009","2010"]
  }
  mutate {convert => ["1980", "float"]}
  mutate {convert => ["1981", "float"]}
  mutate {convert => ["1982", "float"]}
...
  mutate {convert => ["2009", "float"]}
  mutate {convert => ["2010", "float"]}
}

output {  
    elasticsearch {
        hosts => "localhost"
        index => "population"
    }
    stdout {}
}

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html#plugins-inputs-file-start_position

start_position => 최초에 파일을 읽어들이는 위치

"beginning" 처음부터 읽어들인다는 설정 (파일을 사용할 때 주로 설정)

"end" 마지막으로 읽은 위치부터

(streaming data의 경우 기존의 데이터를 제외, 갱신된 새로운 데이터만을 받아야 하기 때문)

 

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html#plugins-inputs-file-sincedb_path 

sincedb_path => 파일을 사용했을 때, offset을 저장하는 용도

logstash 재시작하면 start_position 상관 없이 해당 offset에서 시작

 

이거 지정 안해주면 첫 번째는 데이터가 잘 들어가는데

두 번째 실습할 떄...한 번 들어간 data는 logstash가 넣지 않음

 

참고) https://koocci-dev.tistory.com/20

 

연산을 하기 위해 text인 자료형을 임의로 float으로 변경하여 입력하도록

로컬 ElasticSearch에 바로 넣는거니까 hosts는 localhost로 충분

index명은 population

 

----------

현재위치: /usr/share/logstash/bin/

sudo  /usr/share/logstash/bin/logstash -f {logstash.conf 절대 경로}

사실 logstash는 ./logstash와 같이 상대 경로도 상관 없다

이게 잘...들어간건가?

[INFO ] 2022-07-23 04:17:02.200 [Agent thread] configpathloader - No config files found in path 
{:path=>"/usr/share/logstash/logstash.conf"}
[ERROR] 2022-07-23 04:17:02.205 [Agent thread] sourceloader - No configuration found in the configured sources.

아무래도 아닌 것 같다

 

sudo ./logstash -f logstash.conf로 했더니 오류

 

내 위치는 /usr/share/logstash/bin 인데 /usr/share/logstash로 뜨는 걸 보면 ./logstash가 저기서 실행되는 것 같다

절대경로로 넣어보자...

 

sudo ./logstash -f /usr/share/logstash/bin/logstash.conf

 

정상적으로 입력되면 이쁘게 뜸

 

kibana

확인해보자. localhost:5601

인덱스 패턴 매칭하기

http://localhost:5601/app/management/kibana/indexPatterns

잘 뜬다!

디스커버 Discover

들어가보자

http://localhost:5601/app/discover 

데이터 하나 눌러서 Country, 1980, 2010만 column에 뜨게하기

search에 korea 쳐서 확인 가능

시각화 visualize

y축을 바꿔가며 관찰해보기

 

한낱 csv에 불과했던 데이터를 시각화하여 분석할 수 있는 것이 Kibana의 힘

 

2. 실전 주식 분석

http://blog.webkid.io/visualize-datasets-with-elk 에서 아이디어를 따왔다고 말씀

finance YAHOO에서 특정 종목의 데이터 다운받을 수 있음

Facebook(=Meta) 5년 다운

ps -ef | grep kibana

ps -ef | grep elasticsearch

사실 wget하는 경로는 딱히 상관 없다

wget https://raw.githubusercontent.com/minsuk-heo/BigData/master/ch06/logstash_stock.conf 

vim을 통해서 path 정도만 바꿔주기

input {
  file {
    path => "csv절대경로"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}
filter {
  csv {
      separator => ","
      columns => ["Date","Open","High","Low","Close","Volume","Adj Close"]
  }
  mutate {convert => ["Open", "float"]}
  mutate {convert => ["High", "float"]}
  mutate {convert => ["Low", "float"]}
  mutate {convert => ["Close", "float"]}
}
output {
    elasticsearch {
        hosts => "localhost"
        index => "stock"
    }
    stdout {}
}

cd /usr/share/logstash/bin/

sudo ./logstash -f /usr/share/logstash/bin/logstash_stock.conf

 

[FATAL] 2022-07-23 05:06:28.811 [LogStash::Runner] runner - Logstash could not be started because there is already another instance using the configured data directory.  If you wish to run multiple instances, you must change the "path.data" setting.

 

서버 환경에서는 함부로 서버를 끄면 안되기 때문에

①

systemctl status logstash
systemctl stop logstash
systemctl restart logstash

로 logstash를 종료하고 재시작하도록 하자

②

ps -ef | grep logstash

kill -9 [PID]

 

=> 이거 잘 안됨 

오류 그대로 검색하거나 "Logstash 여러개 실행"으로 검색하면 여러개 나오는데 이거 따라하면 된다

https://se-you.tistory.com/1 

나는 쉽게쉽게..그냥 재시작 하기로

 

만약 그냥 재시작하고 curl http://127.0.0.1:9200 해서 응답이 없다면...

elasticsearch랑 kibana도 재시작해줘야됨

[INFO ] 2022-07-23 05:18:56.503 [Ruby-0-Thread-9: :1] elasticsearch - Failed to perform request {:message=>"Connect to localhost:9200 [localhost/127.0.0.1, localhost/0:0:0:0:0:0:0:1] failed: Connection refused (Connection refused)", :exception=>Manticore::SocketException, :cause=>org.apache.http.conn.HttpHostConnectException: Connect to localhost:9200 [localhost/127.0.0.1, localhost/0:0:0:0:0:0:0:1] failed: Connection refused (Connection refused)}
[WARN ] 2022-07-23 05:18:56.503 [Ruby-0-Thread-9: :1] elasticsearch - Attempted to resurrect connection to dead ES instance, but got an error {:url=>"http://localhost:9200/", :exception=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :message=>"Elasticsearch Unreachable: [http://localhost:9200/][Manticore::SocketException] Connect to localhost:9200 [localhost/127.0.0.1, localhost/0:0:0:0:0:0:0:1] failed: Connection refused (Connection refused)"}
----------
su

systemctl stop elasticsearch.service
systemctl start elasticsearch.service
systemctl enable elasticsearch.service

systemctl stop kibana
systemctl start kibana
systemctl enable kibana

다시 커맨드 입력하면 이쁘게 들어감

Stack Management - Kibana - Index Patterns에서 stock Index 등록하기

    - 이 때, Timestamp를 Date로 지정해줘야하는데 안됨

Analytics - Dicover 에서 데이터 쌩으로 관찰해보기 (column: Date, Open, Close)

    - Date 순으로 정렬은 못하나..? 데이터 입력 시간인 TimeStamp는 의미가 없는데...

    - stock_toggled로 저장

Analytics - Visualized Library - Create Visualization

y축: Average, Close

x축: Date 하려는데 강의에서는 Date Histogram 아래 Date 필드를 선택할 수 있었지만 실습에서는 안됨

원인을 찾자면 데이터를 넣을 때 filter에서 Date를 따로 지정을 안해줘서 text로 들어간 것 같음

그러나 공식 문서에 따르면 convert에는 int, float, string, boolean과 같은것밖에 없음

https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-convert 

https://www.elastic.co/guide/en/logstash/current/plugins-filters-date.html 

이걸 쓰면 되지 않을까?

filter {
  date {
    match => [ "칼럼명", "데이터의 날짜 양식" ]
    timezone => "Asia/Seoul"
    locale => "ko"
  }
}

filter {
  date {
    match => [ "Date", "yyyy-MM-dd" ]
    timezone => "Asia/Seoul"
    locale => "ko"
  }
}

 

매핑 확인해보기 curl -XGET http://localhost:9200/stock2/?pretty 

(돌겠다)

여전히 Date가 text, 대신 @timestamp가 데이터 입력 시간에서 Date로 바뀐 것을 확인할 수 있음

근데 Kibana에서 확인하면 데이터가 한 개밖에 없음

 

못고치겠다~