О МЕТОДАХ СБОРА, ХРАНЕНИЯ И АНАЛИЗА БОЛЬШОГО СЕТЕВОГО ТРАФИКА - Проблемы Информационных Технологий

О МЕТОДАХ СБОРА, ХРАНЕНИЯ И АНАЛИЗА БОЛЬШОГО СЕТЕВОГО ТРАФИКА - Проблемы Информационных Технологий

О МЕТОДАХ СБОРА, ХРАНЕНИЯ И АНАЛИЗА БОЛЬШОГО СЕТЕВОГО ТРАФИКА - Проблемы Информационных Технологий

О МЕТОДАХ СБОРА, ХРАНЕНИЯ И АНАЛИЗА БОЛЬШОГО СЕТЕВОГО ТРАФИКА - Проблемы Информационных Технологий

О МЕТОДАХ СБОРА, ХРАНЕНИЯ И АНАЛИЗА БОЛЬШОГО СЕТЕВОГО ТРАФИКА - Проблемы Информационных Технологий
О МЕТОДАХ СБОРА, ХРАНЕНИЯ И АНАЛИЗА БОЛЬШОГО СЕТЕВОГО ТРАФИКА - Проблемы Информационных Технологий
НАЦИОНАЛЬНАЯ АКАДЕМИЯ НАУК АЗЕРБАЙДЖАНА

№2, 2016

О МЕТОДАХ СБОРА, ХРАНЕНИЯ И АНАЛИЗА БОЛЬШОГО СЕТЕВОГО ТРАФИКА

Шыхалиев Рамиз Г.

Сбор, хранение и анализ сетевого трафика компьютерных сетей (КС) являются основными этапами процесса мониторинга. Однако в современных КС процесс сбора, хранения и анализа полного сетевого трафика представляет собой очень сложную проблему. Так как с ростом скорости и масштаба КС растут и объемы сетевого трафика, который в день может потребовать петабайтов объемов памяти для хранения. Существуют различные методы сбора, хранения и анализа сетевых данных, которые при правильном выборе могут существенно уменьшить объем собранных данных, а следовательно, объем требуемых для анализа и хранения данных. В статье рассматриваются подходы к решению вопросов сбора, хранения и анализа большого сетевого трафика с применения Big Data технологий. (стр. 56-62)

Ключевые слова: компьютерные сети, мониторинг, сетевой трафик, сбор сетевого трафика, хранение сетевого трафика, анализ сетевого трафика, Big Data технологии.
DOI : 10.25045/jpit.v07.i2.06
Литература
  • Şıxəliyev R.H. Kompüer şəbəkələrinin monitorinqi üsulları və vasitələri haqqında // İnformasiya cəmiyyəti problemləri, 2011, №2, s. 61–70.
  • Шыхалиев Р.Г. Об одном методе сокращения размерности анализируемых признаков сетевых трафиков, используемых для мониторинга компьютерных сетей // Телекоммуникации, 2011, № 6, c. 44–48
  • Əliquliyev R.M., Hacırəhimova M.Ş. "Big data fenomeni: problemlər və imkanlar // İnformasiya cəmiyyəti problemləri", 2014, №2, s. 3–16.
  • InfoSphere Platform: Big Data Analytics, 2013, www-01.ibm.com/software/
  • Oracle and Big Data: Big Data for the Enterprise, 2013, www.oracle.com
  • Big Data, 2013, www.microsoft.com
  • Big Data – What Is It? 2013, http://www.sas.com/big-data/
  • SAP HANA integrates predictive analytics, text and big data in a single package, 2013, www54.sap.com/
  • Big Data Solutions, 2013, www8.hp.com/
  • Bejtlich R. Why Collect Full Content Data?, http://taosecurity.blogspot.com, 2012
  • Quittek J., Zseby T., Claise B., Zander S., RFC 3917: Requirements for IP Flow Information Export (IPFIX). Internet Engineering Task Force, 2004. http://tools.ietf.org/html/rfc3917
  • RFC 7011, Specification of the IP Flow Information Export (IPFIX) Protocol, a standardized network flow format, provides a more technical definition of flow. http://tools.ietf.org/search/rfc7011
  • National Information Standards Organization (NISO). Understanding Metadata. NISO, 2004.
  • Aceto G., Botta A., Pescape A., Westphal C. Efficient Storage and Processing of High-Volume Network Monitoring Data // IEEE Transactions on Network and Service Management, 2013, vol.10, no.2, pp.162–175.
  • Aceto G., Botta A., de Donato W., Pescape A. Cloud Monitoring: A Survey // Computer Networks, 2013, vol.57, no.9, pp.2093–2115.
  • Deri L., Cardigliano A., Fusco F. 10 Gbit Line Rate Packet-to-Disk Using n2disk / Proceedings IEEE INFOCOM, 2013, pp.3399–3404.
  • Banks D. Custom Full Packet Capture System, SANS, 2013.
  • Francois J. State R., Engel T. Aggregated Representations and Metrics for Scalable Flow Analysis / IEEE Conference on Communications and Network Security (CNS), 2013, pp.478–482.
  • Sivashakthi T., Prabakaran N. A Survey on Storage Techniques in Cloud Computing // International Journal of Emerging Technology and Advanced Engineering, 2013, vol.3, no.12, pp.125–128.
  • Spoorthy V., Mamatha M., Santhosh Kumar B. A Survey on Data Storage and Security in Cloud Computing / International Journal of Computer Science and Mobile Computing, 2014, vol.3, no.6, pp.306–313.
  • Software Engineering Institute, Carnegie Mellon University. SiLK FAQ https://tools.netsa.cert.org/silk/faq.html (2014).
  • http://nosql-database.org/
  • Шыхалиев Р.Г. Анализ и классификация сетевого трафика компьютерных сетей // İnformasiya texnologiyaları problemləri, 2010, №2, с.15–23.
  • Hohn N. and Veitch D. Inverting sampled traffic / Proceedings of the 3rd ACM SIGCOMM conference on Internet measurement, 2003, pp.222–233.
  • Duffield N., Lund C. and Thorup M. Properties and prediction of flow statistics from sampled packet streams / Proceeding of the 2nd ACM SIGCOMM Workshop on Internet measurment, 2002, pp.159–171.
  • Carlin S, and Curran K. Cloud Computing Technologies // International Journal of Cloud Computing and Services Science (IJ-CLOSER), 2012, vol.1, no.2, pp.59–65.
  • Hadoop, http://hadoop.apache.org/
  • Dean J., and Ghemawat S. MapReduce: Simplified Data Processing on Large Cluster // Magazine Communications of the ACM, 2008, vol.51 no.1, pp.107–113.
  • https://developer.yahoo.com/hadoop/
  • http://wiki.apache.org/hadoop/AmazonEC2
  • http://borthakur.com/ftp/hadoopmicrosoft.pdf
  • Lee Y., Kang W., Son H. An Internet Traffic Analysis Method with MapReduce / Proceedings of the Network Operations and Management Symposium Workshops (NOMS Wksps), 2010 IEEE/IFIP, 2010, pp.357–361.
  • Lee Y., and Lee Y. Toward Scalable Internet Traffic Measurement and Analysis with Hadoop // ACM SIGCOMM Computer Communication Review, 2013, vol.43, no.1, pp.6–13.
  • Shan S., Big data classification: problems and challenges in network intrusion prediction with machine learning / ACM SIGMETRICS Performance Evaluation Review, 2014, vol.41, no.4, pp.70–73.