1. 사물인터넷 사물인터넷(Internet of Things, IoT)은 각종 사물에 센서와 통신 기능을 내장하여 인터넷에 연결하는 기술을 의미한다. 인터넷으로 연결된 사물들이 데이터를 주고받아 스스로 분석하고 학습한 정보를 사용자에게 제공하거나 사용자가 이를 원격 조정할 수 있는 기술인 것이다. 여기서 사물이란 아주 작은 소형의 온도센서, 환경센서부터 웨어러블 디바이스, 카메라, 가전제품, 버스, 전철까지 다양한 것들이 될 수 있다. 사물인터넷이 가능하기 위해서는 인터넷뿐만 아니라 센서와 네트워크 기술, 빅데이터, 클라우드 컴퓨팅, 인공지능, 3D프린팅 등의 다양한 기반 기술이 함께 어우러져야 한다. 특히 4차 산업혁명은 사물인터넷으로 빅데이터를 얻고, 그것을 클라우드(cloud)에 저장해, 인공지능으..
가장 일반적인 표현으로 설명하자면 사물인터넷(IoT)은 공장의 설비, 차량, 모바일 기기, 스마트 워치에 이르기까지 인터넷 네트워크에 연결할 수 있는 모든 물체('사물')를 포함합니다. 그러나 현재 IoT는 더 구체적으로 '다른 사물과 데이터를 송수신할 수 있는 센서, 소프트웨어 및 기타 기술이 장착되어 있으며 서로 연결되어 있는 사물'로 정의됩니다. 이전에는 연결이 주로 Wi-Fi에 의존했던 반면, 오늘날의 5G 및 기타 유형의 네트워크 플랫폼은 대량의 데이터세트를 더욱 빠르고 안정적으로 처리할 수 있습니다. 물론 데이터를 수집하는 궁극적인 목적은 단순한 데이터의 보유가 아니라 활용에 있습니다. IoT 기기가 데이터를 수집하고 전송할 때 최종 단계는 데이터를 분석해 정보 기반의 조치를 개발하는 것입니다..
최근 융합기술의 하나인메카트로닉스관련 용어가 많이 등장하고 있는데요.... 기계(Mechanics)를 의미하는 용어와 전자(Electronics)를 의미하는 용어의 합성어인 메카트로닉스(Mechatronics)에 대한 주인장의 생각을 적어봅니다. 우선 기계문명과 전자문명의 발전 성숙도가 증가하면서 새로운 부가가치를 만들려는 생각들을 많이 하게되는데, 그런 시도중 하나가 기계공학과 전자공학을 함께 사용하는 새로운 기술영역 또는 기술상품을 상상하는 것이 됩니다. 당연히 융합기술 영역의 제품은 기계제품이라고 하기도, 전자제품이라고 하기도 애매한 상황이 되겠죠.. 그래서 두 개의기술영역을 함께 표현할 수 있는 하나의 용어를 필요로 하는데 그 용어가 메카트로닉스라고 생각합니다.... 상당히 많은 사람들이 이 분야..
국가공인 ERP정보관리사 자격시험 시험범위, 공부기간, 시험시간 및 준비물을 알아보도록 하겠습니다. ※ 본 포스팅의 시험범위, 배점 등은 2018년 5월 시험부터 적용됩니다. (출처:한국생산성본부홈페이지) 1. 국가공인 ERP정보관리사 자격시험을 왜 준비해야 하죠? ERP의 역할은 기업 경영자원(회계, 인사, 생산, 자재, 영업 등)의 활용을 최적화하는 것에 있습니다. 기업의 모든 업무가 통합적으로 이루어져 업무가 중복되거나 업무 대기시간이 길어지는 등의 문제를 제거하는 것이 ERP시스템의 중요한 역할인 것입니다. 이러한 역할 때문에 현재 대부분의 기업에서 ERP시스템을 운용하고 있습니다. 국가공인ERP정보관리사 주관기관 자격 주관기관인 한국생산성본부는 이 ERP시스템에 대한 이해와 활용을 검증하는 ER..
"이제는 빅데이터 시대"라는 말, 많이 들어보셨을 텐데요! 그만큼 빅데이터란 무엇이고, 빅데이터 전문가는 무슨 일을 하는 직업인지 궁금했던 친구들이 많을 것 같습니다. 한번 자세히 알아볼까요? ▒ 빅데이터 전문가의 전망은 어떤가요? '데이터'라고 하면 보통 숫자로 된 각종 수치 자료들을 떠올리게 될 텐데요. '빅데이터'는 그 이름 'Big'처럼 숫자뿐 아니라 문자와 영상 등 모든 형식의 데이터를 다 포괄하는 대규모 데이터입니다. 지금 이 순간에도 엄청난 데이터가 생성되므로 빅데이터는 규모도 방대하고 생성 주기도 짧죠. 이 거대한 정보의 바다에서 필요한 데이터를 찾아내 분석하는 직업이 바로 '빅데이터 전문가'입니다. 해결해야 할 문제가 발생하면, 그에 활용할 수 있는 적합한 데이터를 찾고, 찾은 데이터를 ..
빅데이터를 활용하지 않는 곳이 별로 없습니다. 하지만 빅데이터를 성공적으로 활용하는 곳은 드뭅니다. 이번 글에서는 빅데이터를 성공적으로 활용한 5가지 최신 사례를 알아보려 합니다. 최신 빅데이터 활용사례 1. 아마존 2. 할리우드 3. 스타벅스 4. 넷플릭스 5. 자라 6. 서울시 7. 미국 보스턴시 8. 미국판 배달의 민족, Doordash 1. 아마존 빅데이터 활용사례에서 아마존을 언급하지 않는 것은 어불성설입니다. 아마존만큼 적극적이고, 성공적으로 빅데이터를 활용하는 기업도 없기 때문이죠. 특히 아마존은 고객들의 쇼핑 경험을 향상시키는데 빅데이터를 적극 활용하고 있습니다. 예를 들어, 아마존은 빅데이터 분석 시스템을 통해 "18세에서 45세의 남성이면서, 외국 영화를 즐겨 보며, 3,000달러 이상..
빅데이터는 위키피디아에 따르면 일반적인 데이터 관리 및 처리 소프트웨어에서 다루기 어려울 정도로 거대하고 복잡한 데이터의 집합을 나타내는 용어입니다. 빅데이터 활용에 의해, 새로운 발견이 되어 안고 있는 과제의 해결과 업무 운영의 효율화가 기대되므로, 기업이나 조직의 일하는 방식을 완전히 바꾸어 여러 가지 업계에 혁명을 일으켰다고 말할 수 있습니다. 이 문장에서는 업계별로 빅데이터 활용 사례를 해설함으로써 그 장점과 활용 방법을 알려드리고자 합니다. 참고: 본문에서 나타내는 빅데이터 활용사례 Demo는 FineReport로 제작한 것입니다. 필요하시면 다운로드하여 빅데이터 데모를 만들어 보세요. FineReport는 빅데이터 통합부터 빅데이터 전시까지 기업의 의사결정을 도와주는 데이터 통합 대시보드 솔루..
1. 데이터 검증 절차 1) 데이터 품질 - 정확성 - 완전성 - 적시성 - 일관성 2) 데이터 무결성 - 개체 무결성 - 참조 무결성 - 속성 무결성 - 키 무결성 - 도메인 무결성 - 사용자 정의 무결성 3) 데이터 비식별화 - 가명 처리 - 총계 처리 - 데이터 값 제거 - 범주화 - 데이터 마스킹 2. 데이터 품질 - 데이터 분석의 목적을 달성하고, 최종 사용자의 기대를 만족시키기 위해 데이터가 확보하고 있어야 할 성질 3. 데이터 품질보증 - 데이터 품질검증 계획을 수립하고, 품질검증 지표를 선정하여 품질검증 활동을 함으로 분석목적에 적합한 품질의 데이터를 이용하여 최상의 분석결과를 얻도록 함 4. 수집된 데이터의 효율적인 검증 절차 - 데이터 품질관리 요소 검증 -> 데이터 무결성 검증 -> ..
1. KNN 분류 - 최근접 이웃 분류 - 임의의 입력 텍스트를 정의도니 카테고리로 분류한 데이터들과 유사도를 측정하고 가장 비슷한 카테고리로 입력 텍스트를 분류 - 유클리디안 거리를 측정하여 분류 1) 장점 - 간단하고 효과적으로 입력 값 분류 - 데이터에 대한 기본적인 분포 가정 없음 - 학습 과정이 빠름 2) 단점 - 모델을 생성하지 않기 때문에 클래스 간의 관계를 이해하는 능력이 제약 - 적절한 K의 선택이 필요 - 분류 시간이 오래 걸림 2. 의사결정나무 - 가장 널리 사용되는 머신러닝에서 대표적인 지도 학습 방법 - 의사결정 트리 모델을 생성하는 입력 데이터에 대한 값을 예측하는 방법 - 분류함수를 의사결정 규칙으로 표현할 때 타원, 직선, 사각형을 이용해 나무형태로 그려서 분석 1) 장점 -..
1. 빅데이터분석 주제 유형 분석대상(WHAT) - Known 분석대상(WHAT) - UnKnown 분석방법(HOW) - Known Optimization Insight 분석방법(HOW) - UnKnown Solution Discovery 2. 요약변수 - 기본 정보를 aggregation한 변수로 세분화나 행동 예측이 가능 3. 파생변수 - 특정의미를 갖는 작위적 의미의 변수 4. reshape - melt()와 cast()을 이용해 데이터를 재구성하거나 재정렬하기 위한 기법으로 밀집화된 데이터를 유연하게 생성해 줌 1) melt() - 선택한 id 변수를 이용해 나머지 변수를 variable이란 이름의 데이터로 만드는 것 - 모델링할 때의 데이터 구조에 적합 2) cast() - 원하는 형태와 함수를..
1. ARIMA 모델 - 데이터에 나타나는 자기상관을 표현하는 것을 목적으로 사용하며 시계열에서 가장 많이 사용 - 비계절성 ARIMA 모델은 자기회귀와 이동평균모델을 결합한 것 2. 비모수검정 - 모집단의 분포가 알려져 있지 않는 경우 적용 - 관찰된 값이 실제 자료가 아닌 순위 등의 형태로 주어져 있을 때 적용 - 모집단 분포에 대한 가정이 필요 없어서 어떤 형태의 모집단이라 해도 비교 가능 - 평균보다는 중앙값이나 자료의 순위값을 이용하므로 이상값에 영향을 받지 않음 - 자료의 관찰된 형태가 순위로 주어져도 검정 가능 - 하지만, 모집단 분포가 어느 정도 가정이 된 경우 비모수검정 사용시 검정력 약해짐 - 실제 관측값이 아닌 순위를 사용하므로 정보량 감소 - 모수검정보다 계산과정이 더 복잡 3. 비..
1. 빅데이터 분석처리과정 - 데이터 소스 -> 수집 -> 저장 -> 처리 -> 분석 -> 표현 2. 데이터 모델링을 위한 단계 - 모델링 마트 설계와 구축단계 -> 탐색적 분석과 유의변수 도출단계 -> 모델링 성능평가단계 3. 빅데이터 전처리 1) 데이터 필터링 - 분석목적에 맞는 데이터만 추출하는 과정 - 비정형 데이터는 데이터마이닝을 통해 오류나 중복을 제거 - 저품질 데이터에 대해 개선하는 과정 2) 데이터 유형 변환 - 분석목적에 맞게 데이터 형태를 변환하는 과정 3) 데이터 정제 - 데이터의 결측치를 처리하거나 불일치를 교정, 노이즈 데이터를 처리하는 과정 4. 빅데이터 후처리 1) 데이터 변환 - 수집된 데이터를 일관성 있는 형식으로 변환하는 것 - 평활화, 집계, 일반화, 정규화, 속성 생..