仕事

on AWS

個人活動

http://tech.tanaka733.net http://tech.en.tanaka733.net

@tanaka_733

http://grani.jp/

ログ収集の目的

異常検知

障害発生時の調査材料

パフォーマンス改善

ビジネス上の目的が達成されたかの判断材料

Windows環境およびGraniにおける現状

普通 ASP.NET MVC 5

1万

1億

100台

using

ウェブサーバー

Windowsサポート

強力なクエリ

http://www.sumologic.com/product/solutions/application-management/

何か解はないのか…

Semantic Logging

ETW

EventSource

クラスSLAB

http://msdn.microsoft.com/ja-jp/magazine/cc163437.aspx

ライブラリの追加なし

Event Sink

アプリケーションEventSourceを継承した自前のイベントソース

ObservableEventListener Event Sink

http://msdn.microsoft.com/en-us/library/dn440729(v=pandp.60).aspx#sec2

http://msdn.microsoft.com/en-us/library/dn440729(v=pandp.60).aspx#sec2

Event Sink

アプリケーションEventSourceを継承した自前のイベントソース

Event Sink

ETW

Trace Event Service

アプリ本体

ロギングアプリ

[EventSource(Name = "Grani")]public class GraniEventSource : EventSource{

private readonly static GraniEventSource log = new GraniEventSource();

private GraniEventSource() { }

public static GraniEventSource Log { get { return log; } }

[Event(1, Message = "Application Failure: {0}",Level = EventLevel.Critical, Keywords = Keywords.Diagnostic)]internal void Failure(string message){

WriteEvent(1, message);}

}

http://blogs.msdn.com/b/agile/archive/2014/03/27/semantic-logging-application-block-now-supports-

activity-tracing-and-elasticsearch.aspx

http://go.microsoft.com/fwlink/p/?LinkID=290903

public class S3Sink : IObserver<EventEntry>, IDisposable{

public void OnNext(EventEntry value){

//ログ1件を処理する}

}

EnterpriseLibrary.SemanticLogging

BufferedEventPublisher<EventEntry>

<?xml version="1.0" encoding="utf-8" ?><configuration >

<traceEventService/><sinks>

<consoleSink name="console" ><sources>

<eventSource name="Grani" level="LogAlways"/></sources>

</consoleSink><customSink name="s3redissink" type ="Grani.EventCollector.S3Sink.S3Sink, Grani.EventCollector.S3Sink">

<sources><eventSource name="Grani" level="LogAlways"/>

</sources><parameters>

<parameter name="bucketName" type="System.String" value="green-eventtrace-logs" /></parameters>

</customSink></sinks>

</configuration>

Fluentd on Linux

SLAB による

分析基盤の構築

HDInsight (Hadoop)Storage BLOB

Amazon EC2Amazon S3 Amazon Redshift

AWS Data Pipeline

分析ツールの使い分け

http://www.tableausoftware.com/ja-jp

await

http://channel9.msdn.com/posts/Introducing-Semantic-Logging

http://channel9.msdn.com/Events/Build/2013/3-336

http://msdn.microsoft.com/en-us/library/dn440729(v=pandp.60).aspx

http://slab.codeplex.com/

http://blogs.msdn.com/b/agile/archive/2014/03/27/semantic-logging-application-block-now-supports-activity-tracing-and-elasticsearch.aspx

http://msdn.microsoft.com/ja-jp/magazine/cc163437.aspx

http://blogs.msdn.com/b/dotnet/archive/2014/01/30/microsoft-diagnostics-tracing-eventsource-rtms.aspx?Redirected=true