02آزمایشگاه داده

آزمایشگاه کُد

مجموعه‌ای از پیاده‌سازی‌های تخصصی و مهندسی نرم‌افزار.

24/24قطعه کد

ES|QL

FROM "index-prod-*"
| WHERE event.action IN ("account_created", "account_deleted")
| EVAL user_id = user.identifier.keyword 
| SORT @timestamp ASC
| STATS

شناسایی ناهنجاری‌های چرخهٔ حیات (ایجاد در برابر حذف)

استفاده از MAX(CASE(...)) برای استخراج و مقایسهٔ زمانی وضعیت‌های یک حساب کاربری.

ELKAnomalieAudit

MQL5

void TrailingStopATR(int ticket, int atrPeriod, double multiplier)
{
   double atrBuffer[];
   int atrHandle = iATR(_Symbol, PERIOD_CURRENT, atrPeriod);
   CopyBuffer(atrHandle, 0, 0, 1, atrBuffer);

Trailing Stop پویا مبتنی بر ATR

پیاده‌سازی یک Trailing Stop خودتطبیق که فاصلهٔ حفاظتی را بر اساس نوسان بازار، اندازه‌گیری‌شده با اندیکاتور ATR، تنظیم می‌کند.

TradingExpert AdvisorATR

Machine Learning

import numpy as np
from skl2onnx import convert_sklearn
from skl2onnx.common.data_types import FloatTensorType
import onnxruntime as rt

استنتاج ONNX از یک مدل Scikit-learn

پایپ‌لاین کامل: آموزش یک RandomForest در Scikit-learn، خروجی گرفتن در قالب ONNX و سپس بارگذاری برای استنتاج.

PythonONNXScikit-learn

Python

import pandas as pd
import numpy as np

def compute_features(df: pd.DataFrame) -> pd.DataFrame:
    df["log_return"] = np.log(df["close"] / df["close"].shift(1))

Feature Engineering: سیگنال‌های تکنیکال برای ML

محاسبهٔ خودکار فیچرهای تکنیکال (RSI، EMA، نوسان) از روی داده‌های OHLCV.

PandasFeature EngineeringRSI

Spark

import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions._

val windowSpec = Window
  .partitionBy("user_id")

حذف رکوردهای تکراری با پنجرهٔ لغزان (Spark SQL)

استفاده از Window Functionها در Spark/Scala برای حذف رکوردهای تکراری.

ScalaBig DataWindow Functions

Vega

{
  "$schema": "https://vega.github.io/schema/vega-lite/v5.json",
  "description": "En production Kibana : remplacer data.values par data.url { index: logs-*, body: { aggs terms log.level } }",
  "data": { "values": [
    { "key": "info", "doc_count": 48210 },

نمودار دونات: توزیع سطوح لاگ

ویژوال Vega-Lite برای Kibana که سهم هر سطح لاگ را با ظاهری نئونی نمایش می‌دهد.

Vega-LiteKibanaMonitoring

SQL

SELECT
    customer_id,
    COUNT(*)             AS orders,
    SUM(amount)          AS total_spent,
    ROUND(AVG(amount),2) AS avg_order

تجمیع فیلترشده: GROUP BY + HAVING

گروه‌بندی، تجمیع (COUNT/SUM/AVG) و سپس فیلتر روی نتیجهٔ تجمیع‌شده با HAVING — کاری که از WHERE برنمی‌آید.

SQLGROUP BYHAVING

ES|QL

FROM "logs-transactions-*"
| WHERE event.action IN ("process_start", "process_end")
| STATS start_time = MAX(@timestamp) WHERE event.action == "process_start",
        end_time = MIN(@timestamp) WHERE event.action == "process_end"
  BY process_id = COALESCE(req.videoId.keyword, resp.videoId.keyword)

همبستگی رویدادها و محاسبهٔ مدت‌زمان (Timeout)

استفاده از COALESCE برای پیوند لاگ‌های ناهمگام و DATE_DIFF برای شناسایی فرایندهایی که از آستانهٔ زمانی (مثلاً 20 دقیقه) فراتر می‌روند.

ELKCorrélationDATE_DIFF

MQL5

bool IsWithinSession(string session)
{
   MqlDateTime dt;
   TimeCurrent(dt);
   int hour = dt.hour;

فیلتر سشن معاملاتی (London / NY)

تابع کمکی برای محدود کردن اجرای یک EA به ساعات کاری یک سشن مشخص بازار.

TradingSessionFiltre

Python

import time
from functools import wraps

def retry(max_attempts=3, delay=1):
    def decorator(func):

دکوراتور Retry مقاوم برای فراخوانی‌های API

مدیریت خطاهای گذرا با backoff نمایی برای درخواست‌های HTTP.

APIRequestsDecorators

Spark

df.repartition(col("year"), col("month"))
  .write
  .partitionBy("year", "month")
  .mode("overwrite")
  .parquet("s3a://bucket/data/")

بهینه‌سازی نوشتن Parquet پارتیشن‌بندی‌شده

بهینه‌سازی ذخیره‌سازی برای تسریع کوئری‌ها از طریق پارتیشن‌بندی هوشمند و repartition.

ScalaParquetPerformance

Vega

{
  "$schema": "https://vega.github.io/schema/vega-lite/v5.json",
  "data": { "values": [
    { "day": "Lun", "hour": 8, "usage": 42 }, { "day": "Lun", "hour": 10, "usage": 78 }, { "day": "Lun", "hour": 14, "usage": 91 }, { "day": "Lun", "hour": 18, "usage": 55 },
    { "day": "Mar", "hour": 8, "usage": 47 }, { "day": "Mar", "hour": 10, "usage": 82 }, { "day": "Mar", "hour": 14, "usage": 96 }, { "day": "Mar", "hour": 18, "usage": 61 },

Heatmap تعاملی ترافیک ساعتی

نقشه‌ای حرارتی تولید می‌کند برای شناسایی اوج‌های استفاده به تفکیک روز و ساعت.

VegaKibanaAnalytics

SQL

SELECT
    sale_date,
    category,
    amount,
    SUM(amount) OVER (PARTITION BY category ORDER BY sale_date

توابع پنجره‌ای: جمع تجمعی و رتبه‌بندی

جمع تجمعی، رتبه و مقدار سطر قبلی بدون ادغام سطرها، با window functionها (OVER ... PARTITION BY ... ORDER BY).

SQLWindow FunctionsCumul

ES|QL

FROM "logs-system-*"
| WHERE event.category == "authentication" AND event.outcome == "failure"
| STATS fail_count = COUNT(*) BY source.ip
| WHERE fail_count > 50
| SORT fail_count DESC

فهرست N آی‌پی مشکوک برتر بر اساس شکست‌های احراز هویت

کوئری بهینه برای تجمیع ورودهای ناموفق به تفکیک IP و فیلتر کردن آن‌هایی که از آستانهٔ ریسک فراتر رفته‌اند.

SécuritéAuthForensics

MQL5

bool HasOpenPosition(int magic)
{
   for(int i = PositionsTotal()-1; i >= 0; i--)
   {
      ulong ticket = PositionGetTicket(i);

بررسی امن پوزیشن‌های باز

با استفاده از Magic Number بررسی می‌کند که آیا یک پوزیشن متعلق به Expert Advisor است یا خیر.

TradingPositionsMagicNumber

Python

import pandas as pd

agg = (
    df.groupby("category")
      .agg(

Pandas: چند تجمیع هم‌زمان به‌ازای هر گروه

تجمیع چند ستون با توابع متفاوت در یک groupby().agg() نام‌گذاری‌شده — معادل pandas برای یک GROUP BY غنی.

PythonPandasgroupby

Vega

{
  "$schema": "https://vega.github.io/schema/vega-lite/v5.json",
  "data": { "values": [
    { "req_per_sec": 120, "latency_ms": 38, "error_rate": 0.1 },
    { "req_per_sec": 240, "latency_ms": 42, "error_rate": 0.1 },

Scatter Plot همبستگی زمان پاسخ و حجم درخواست

ویژوال پیشرفته برای شناسایی افت کارایی سیستم در زیر بار.

VegaPerfCorrelation

SQL

SELECT
    COALESCE(region,  'ALL REGIONS') AS region,
    COALESCE(country, 'Subtotal')    AS country,
    SUM(revenue)                     AS revenue
FROM sales

جمع‌های جزئی خودکار: ROLLUP

تولید جمع‌های جزئی و جمع کل در یک کوئری واحد با GROUP BY ROLLUP — ایده‌آل برای گزارش سلسله‌مراتبی (منطقه ← کشور ← جمع کل).

SQLROLLUPGROUPING SETS

Vega

{
  "$schema": "https://vega.github.io/schema/vega-lite/v5.json",
  "data": { "values": [
    { "t": "10:00", "cpu": 32, "mem": 58 }, { "t": "10:05", "cpu": 41, "mem": 59 },
    { "t": "10:10", "cpu": 55, "mem": 61 }, { "t": "10:15", "cpu": 73, "mem": 66 },

نمودار چندلایهٔ CPU در برابر حافظه

دو متریک ناهمگون را با محور Y دوگانه روی یک نمودار واحد روی هم می‌نشاند.

VegaSystemDashboard

SQL

SELECT
    product,
    SUM(CASE WHEN EXTRACT(MONTH FROM sale_date) = 1 THEN amount ELSE 0 END) AS jan,
    SUM(CASE WHEN EXTRACT(MONTH FROM sale_date) = 2 THEN amount ELSE 0 END) AS feb,
    SUM(CASE WHEN EXTRACT(MONTH FROM sale_date) = 3 THEN amount ELSE 0 END) AS mar,

Pivot (جدول متقاطع) با تجمیع شرطی

تبدیل سطرها به ستون‌ها با SUM(CASE WHEN ...) — یک pivot قابل‌حمل، بدون نیاز به دستور PIVOT اختصاصی.

SQLPivotCASE

SQL

WITH ranked AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY user_id
                              ORDER BY updated_at DESC) AS rn
    FROM user_events

حذف تکراری‌ها: نگه داشتن جدیدترین سطر

نگه داشتن یک سطر به‌ازای هر کلید (جدیدترین) با ROW_NUMBER() درون یک CTE — مطمئن و خوانا.

SQLDéduplicationROW_NUMBER

SQL

WITH RECURSIVE org AS (
    SELECT id, name, manager_id, 1 AS depth          -- ancre : la racine
    FROM employees
    WHERE manager_id IS NULL
    UNION ALL

CTE بازگشتی: پیمایش یک ساختار سلسله‌مراتبی

پیمایش یک ساختار درختی (چارت سازمانی، دسته‌بندی‌ها، فهرست قطعات) با WITH RECURSIVE.

SQLRécursifCTE

SQL

SELECT
    endpoint,
    COUNT(*)                                                 AS calls,
    ROUND(AVG(latency_ms))                                   AS avg_ms,
    PERCENTILE_CONT(0.50) WITHIN GROUP (ORDER BY latency_ms) AS p50_ms,

میانه و صدک‌ها (P50 / P95)

میانه و صدک‌های مقاوم با PERCENTILE_CONT — روی داده‌های نامتقارن بسیار گویاتر از میانگین.

SQLPercentileMédiane

SQL

SELECT
    DATE_TRUNC('hour', created_at) AS bucket,
    COUNT(*)                       AS events,
    COUNT(DISTINCT user_id)        AS unique_users,
    SUM(amount)                    AS revenue

تجمیع بر اساس بازهٔ زمانی (time bucketing)

گروه‌بندی رویدادها در پنجره‌های زمانی (ساعت/روز/هفته) با DATE_TRUNC برای ساختن سری‌های زمانی تمیز.

SQLTime SeriesDATE_TRUNC