1. 통계학의 분류 1) 기술통계학 - 자료의 특성을 쉽게 파악할 수 있도록 자료의 대푯값을 구하고 자료를 간단히 그래프로 표현하여 분석하는 것 2) 추측통계학 - 자료에 있는 불확실한 사실에 대한 추론을 하는 것 - 모집단에서 표본을 선출해서 선출된 표본으로 모집단의 특성 파악하는 것 3) 모수통계학 - 모집단의 분포 특성을 알고 모집단의 특성을 선출된 표본으로부터 추청하는 것 4) 비모수통계학 - 모집단의 특성에 대한 분포의 특성을 가정하지 않은 상태에서 모집단의 특성을 추정하는 것 5) 모집단 - 관심의 대상이 되는 전체 집합 6) 표본집단 - 모집단에서 선출된 일부 7) 모수 - 모집단의 특성을 수치로 나타낸 것 8) 통계량 - 표본집단의 특성을 수치로 나타낸 것 2. 자료의 분류 1) 독립변수와..
1. 결측치(Missing Value) - 측정된 샘플에서 누락된 변숫값 - 결측치 처리 방법은 샘플 제거, 해당 변수 제거, 결측치 무시, 결측치 추정(평균, 중앙값 등의 통계량 또는 회귀분석을 통한 값 추정) 2. 잡음(Noise) - 데이터를 측정하는 데 있어서 여러 가지 이유로 개입되는 임의적인 요소로 변숫값을 본래의 참값에서 벗어나게 하는 오류 - 잡음을 제거하기 위해 구간화, 군집화, 회귀모형 변환 등의 방법 사용 3. 구간화 - 연속 변수를 다수의 작은 구간으로 나누고, 동일한 구간에 속한 변숫값들을 하나의 변수값으로 변환하는 방법 4. 군집화 - 데이터 집합을 수 개의 군집으로 묶은 뒤 동일 군집의 데이터들을 그것의 대푯값으로 치환하는 방법 5. 레거시 데이터(Legacy Data) - 과..
1. 그리드 컴퓨팅 - 다수의 컴퓨터를 서로 연결 - 분산처리 - 각 노드에 1개 이상의 CPU, 1,00 ~ 80,000개의 노드로 구성 - 노드마다 RAM 탑재 또는 공유 - 공유 스토리지(Lustre Filesystem) 시스템 사용 - 그리드 구성 노드는 고속 통신 가능 - 장애 발생 시 자체 회복 기능 수행 - 클러스터를 이용하여 대규모 고속 처리 가능 - AWS, GCP 등 2. GPGPU(General Purpose Computing on Graphics Processing Unit) - 그래픽 가속기의 중심인 화상처리장치의 성능 중요 - 이미지 연산처리에 특화 - 별도의 메모리(VRAM 등)를 사용하기도 함 - CUDA 통합 개발환경 이용 - 머신러닝과 딥러닝을 이용한 이미지 및 음성 인식..
1. 빅데이터의 6단계 분석 프로세스 - 데이터 수집 -> 데이터 저장 -> 데이터 처리 -> 데이터 분석 -> 데이터 시각화 -> 데이터 이용 -> 데이터 폐기 1) 문제인식 2) 관련 연구조사 3) 모형화 - 변수 선정 단계 - 복잡한 현상을 문제의 본질과 관련되는 제어 가능한 변수들로 추려 단순화 - 많은 변수들이 포함된 문제로부터 그 특성을 잘 나타내는 결정적인 변수를 추림 - 제어 가능한 변수들을 선정하는 단계 4) 자료수집 5) 자료분석 6) 분석결과 제시 2. 데이터베이스의 주요특징(ACID) 1) 원자성(Atomicty) - 트랜잭션과 관련된 작업들이 부분적으로 실행되다가 중단되지 않은 것을 보장하는 능력 - 즉, 트랜잭션과 관련된 작업들이 모두 실행되던지 실행되지 않던지 하는 능력 2) ..
1. 빅데이터란? - 대량의 정형 또는 비정형 데이터로부터 가치를 추출하고 결과를 분석하는 기술 - 빅데이터 분석 및 시각화 기술도 포함 2. 빅데이터의 특징 1) Volume(규모) - 기술적 발전과 IT 서비스의 일상화로 디지털 정보량의 증가 - 데이터 규모 증가 - ROI 관점에서 빅데이터의 핵심 특징에서 투자 비용 요소 - 데이터의 대용량성 확보 2) Variety(다양성) - 정형, 반정형, 비정형 데이터처럼 데이터의 다양성이 높아짐 - 오디어, 비디오, 상품평, SNS, 텍스트, 멀티미디어 등 비정형화된 데이터의 증가 - ROI 관점에서 빅데이터의 핵심 특징에서 투자 비용 요소 - 데이터 측면의 적응성 확보 3) Velocity(처리속도) - 사물 및 스트리밍 정보 등 실시간성 정보 증가 - ..
아하토큰(AHT)에서 출석체크 만으로 약 3만 원을 벌 수 있는 방법이 있어 공유드리고자 합니다. 필자가 직접 한 달간 출석체크 후 3만 원을 직접 출금까지 해보았습니다. "소개해드릴 사이트 이름은 아하 " 네이버의 지식인과 비슷한 시스템입니다. 네이버 이용자 간에 궁금한 점을 작성하면 답변을 해주는 서비스인데, 아하 역시 동일한 서비스를 재공 합니다. 아하 사이트 접속은 하단 URL을 통해 접속하시거나, 검색창에 아하 라고 검색하시면 됩니다.(앱은 없습니다.) https://www.a-ha.io/ 아하(Aha) | 전문 지식 검색은 아하! 광고 없는 전문 지식 답변을 원하세요? 세상의 모든 전문 지식이 모여있는 곳. 변호사, 노무사, 세무사, 회계사 등 사전에 검증된 전문직 및 현업 실무자로 부터 받을..
페이팔코인으로 유명한 Initiative Q 코인에 대해 포스팅하려고 합니다. Q코인은 페이팔에서 결제수단으로 만든 가상화폐라고 보면 되는데요, 아직 상장되지는 않았지만, 무료로 코인을 받을 수 있는 기회라 놓치면 아쉬울것 같아요. 페이팔에서는 1Q코인 목표가 1달러라고 합니다. 가입하고 App 설치 후 로그인만 하면 2,412Q코인을 받을 수 있으므로, 페이팔의 목표대로만 된다면 적지 않은 금액이 되겠네요^^ 최근에는 하루에 한번씩 버튼을 클릭해서 채굴하는 앱들이 많은데요, Initiative Q는 채굴 방식이 아니라 회원가입과 앱 설치, 친구 초대로 코인을 쌓는 방식이에요. - 회원가입시 1,206Q / 앱 설치후 최초 로그인시 1,206Q 적립됩니다. (단, 초대인 승인 필요) - 친구를 초대하여 ..
빅데이터, 이제는 모르는 사람이 없을 정도로 널리 알려진 개념이며, 이를 해석하는 것 또한 다양한 시각이 존재합니다. 일반적으로는 ‘기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트)의 정형 데이터, 또는 심지어 데이터베이스의 형태가 아닌 비정형의 데이터 집합조차 포함한 데이터’라고 정의할 수 있습니다. 또한, ‘기존(2010년대 이전)의 아날로그 환경에서 생성되던 데이터에 비해 그 규모가 방대하며, 생성 주기도 짧고, 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터’라고도 덧붙일 수 있습니다. 한편, 다양한 종류의 대규모 데이터에 대한 생성, 수집, 분석, 표현을 그 특징으로 하는 빅데이터 기술의 발전은 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작..
국내 챗봇 성공 사례 6가지 + 챗봇이 필요한 이유 이제는 선택이 아닌 필수. 주목받는 챗봇 서비스 🤖 디지털 전환 패러다임에 맞춰 챗봇이 주목받고 있습니다. 전화보다 채팅을 많이 하는 시대에 맞게 기업들이 변화하고 있는것인데요, 특히 챗봇은 대중적이고 친근한 메신저의 UX를 그대로 사용한다는 점에서 사랑받고 있습니다. 인터파크의 쇼핑 도우미 톡집사, 현대카드의 실시간 상담 챗봇 Buddy 등 대기업에서는 속속들이 챗봇을 서비스하고 있고, 이제 왠만큼 규모있는 소호 쇼핑몰에서도 챗봇을 심심치 않게 만날 수 있죠. 챗봇 도입의 장점👌 이렇게 너나 할 것없이 챗봇을 도입하는 이유는 고객도 기업도 서로 Win-Win 할 수 있는 시스템이기 때문입니다. 📌 기업이 챗봇 솔루션을 선호하는 이유 반복되는 고객문의를..
1. 수많은 챗봇 오픈소스 챗봇 오픈소스는 많다. github에서 chatbot을 찾아보더라도 굉장히 많은 챗봇 프로젝트들이 나온다 4000개가 넘은 프로젝트들이 있다... 그런데 이중에 한글로 된 챗봇은 없다. 그렇다보니 시중에 볼수있는 챗봇의 경우엔 이미 정형화된 문답 형식의 챗봇들이 가득하다. 빌더를 통해 만드는 그런 챗봇들... 커스터마이징이 거의 불가능하고 정형화된 답밖에 들을수 없는 그런 챗봇들이 기본이다. 그런데 최근 kochat이라는 한글로 된 챗봇 오픈소스 프로젝트가 나와서 소개하고자 한다. 2. 본론 1) RASA를 닮은 kochat kochat은 한국어 전용 챗봇 개발 프레임워크 로써 이미 상용화된 챗봇 빌더들은 매우 간편한 웹 기반의 UX/UI를 제공하며 일반인을 타깃으로 하지만 K..
돈쓰는 효과가 가장 잘 나오는 프로젝트 중 하나. 코드 자체는 굉장히 쉽다. 파이썬 코드로서 굉장히 추상화 되어서 간단하게 구현이 가능하다. 1. visualstudio 설치하기 (팁)굉장히 좋은 팁이 있다. 플러그인 소프트웨어 설치 시 항상 긍정적으로 반응 해줘야 설치가된다. ㅋㅋ 크게 두가지 방법이있음 1. 제작도구(드래그 & 드랍 방식) 편하지만 제한된 것이 많다.(모델이 복잡해지거나, 없는 기능 구현 불가능) 주요 챗봇 플랫폼 - ChattyPeople, Meokay, Smooch, Botsify, Beep Boop, Chatfuel - Facebook Messenger Platform, Telegram Bots, BotKit, FlwXO (챗봇 = 내부적으로는 웹 개발이다)웹프로그래밍이 가능한 ..
챗봇이 무엇인가? 왜 의미있는가? 어떤 챗봇들이 있는가? 누가 만들수 있는가? 어디에서 만날수 있는가? 이글은 그런 것들에 대한 간단한 대답이다. 준비, 시작! 챗봇, 왜 관심을 가지게 되었는가? 전세계적으로 사람들이 페이스북, 트위터, 밴드 등 소셜미디어 보다 메신저를 더 많이 쓰기 시작했다. 중국의 대표적인 메신저 앱 위챗(한국으로 치면, 카카오톡)을 보면, 거의 모든 서비스앱(페북, 페이팔, 우버, 금융, 기타 o2o 서비스)를 위챗 하나 안에서 다 서비스한다. 심지어는 오프라인 페이까지 한꺼번에 해주는데, 어떤 사람은 지갑 안들고 다니고 휴대폰의 위챗하나만으로 모든 결제를 하며 살기도 한다고 한다. 꼭 이런 극단적인 선택은 아니더라도, 이미 라이프스타일 플랫폼으로 자리잡아 유저의 절반가량이 휴대폰..