Linuxカーネルスケジューラソースコード初期化の分析

void __init sched_init(void)
{
    符号なしロングポインタ = 0;
    整数 i;
 
    /*
     * グローバルデフォルト rt および dl CPU 帯域幅制御データ構造を初期化します*
     * ここでの rt_bandwidth と dl_bandwidth は、リアルタイム プロセスが CPU を過剰に使用して通常の CFS プロセスが飢餓状態になるのを防ぐために、グローバル DL および RT 帯域幅の使用を制御するために使用されます */
    init_rt_bandwidth(&def_rt_bandwidth、global_rt_period()、global_rt_runtime());
    init_dl_bandwidth(&def_dl_bandwidth、global_rt_period()、global_rt_runtime());
 
#ifdef CONFIG_SMP
    /*
     * デフォルトのルートドメインを初期化する *
     * ルートドメインは、dl/rtなどのリアルタイムプロセスのグローバルバランスをとるための重要なデータ構造です。rtを例にとると、* root_domain->cpupriは、ルートドメイン内の各CPUで実行されているRTタスクの最高優先度と、CPU上の異なる優先度のタスクの配分です。cpupriのデータを通じて、rtのエンキュー/デキューでは、
     * rt スケジューラが rt タスクの配分に基づいて優先度の高いタスクが最初に実行されるようにできる場合*/
    init_defrootdomain();
#終了
 
#ifdef CONFIG_RT_GROUP_SCHED
    /*
     * カーネルがRTグループスケジューリング（RT_GROUP_SCHED）をサポートしている場合、RTタスクの帯域幅制御はcgroupを使用して行うことができます。
     * 粒度は、各グループ内の rt タスクの CPU 帯域幅の使用を制御するために使用されます。*
     * RT_GROUP_SCHED により、RT タスクは CPU cgroup の形式で帯域幅全体を制御できます。 * これにより、RT 帯域幅制御の柔軟性が向上します (RT_GROUP_SCHED がない場合、RT のグローバル * 帯域幅の使用のみを制御でき、一部の RT プロセスの帯域幅はグループを指定して制御できません)
     */
    init_rt_bandwidth(&root_task_group.rt_bandwidth,
            global_rt_period()、global_rt_runtime());
#endif /* CONFIG_RT_GROUP_SCHED */
 
    /* 各CPUの実行キューを初期化します */
    可能なCPUごとに(i) {
        構造体rq *rq;
 
        rq = cpu_rq(i);
        raw_spin_lock_init(&rq->lock);
        /*
         * rq 上の cfs/rt/dl の実行キューを初期化します。 * 各スケジューリング タイプには rq 上の独自の実行キューがあり、各スケジューリング クラスは独自のプロセスを管理します。 * pick_next_task() を実行すると、カーネルはスケジューリング クラスの優先度の順序に従ってタスクを高いものから低いものの順に選択します。 * これにより、優先度の高いスケジューリング クラスのタスクが最初に実行されるようになります。 *
         * ストップとアイドルは特別なスケジューリングタイプであり、特別な目的のために設計されており、ユーザーが対応するタイプのプロセスを作成することを許可しないため、カーネルは rq に対応する実行キューを設計しません */
        init_cfs_rq(&rq->cfs);
        init_rt_rq(&rq->rt);
        init_dl_rq(&rq->dl);
#ifdef CONFIG_FAIR_GROUP_SCHED
        /*
         * CFS グループ スケジューリング (group_sched) は、cpu cgroup を介して CFS を制御できます。 * cpu.shares を介してグループ間の CPU 比率制御を提供できます (異なる cgroup が対応する比率に従って CPU を共有できるようにします)。また、cpu.cfs_quota_us を介してクォータを設定することもできます (RT の帯域幅制御に似ています)。 CFS group_sched 帯域幅制御は、コンテナ実装の基本的な基盤技術の 1 つです。*
         * root_task_group はデフォルトのルート task_group であり、他の CPU cgroup はこれを親または祖先として使用します。ここでの初期化は、root_task_groupをrq*のcfs実行キューに関連付けます。ここで行われることは非常に興味深いものです。直接root_task_group->cfs_rq[cpu] = &rq->cfsを設定します。
         * この方法では、cpu cgroupルートまたはcgroup tgのsched_entityの下のプロセスがrq->cfsに直接追加されます。
         * キューでは、検索オーバーヘッドの 1 層を削減できます。
         */
        ルートタスクグループ.shares = ROOT_TASK_GROUP_LOAD;
        INIT_LIST_HEAD(&rq->leaf_cfs_rq_list);
        rq->tmp_alone_branch = &rq->leaf_cfs_rq_list;
        init_cfs_bandwidth(&root_task_group.cfs_bandwidth);
        init_tg_cfs_entry(&root_task_group, &rq->cfs, NULL, i, NULL);
#endif /* CONFIG_FAIR_GROUP_SCHED */
 
        rq->rt.rt_runtime = def_rt_bandwidth.rt_runtime;
#ifdef CONFIG_RT_GROUP_SCHED
        /* 上記の CFS のグループ スケジューリング初期化と同様に、rq 上の rt 実行キューを初期化します */
        init_tg_rt_entry(&root_task_group, &rq->rt, NULL, i, NULL);
#終了
 
#ifdef CONFIG_SMP
        /*
         * ここで、rqはデフォルトのdef_root_domainに関連付けられています。SMPシステムの場合は、後でsched_init_smpでカーネルが新しいroot_domainを作成し、このdef_root_domainを置き換えます。
         */
        rq_attach_root(rq, &def_root_domain);
#endif /* CONFIG_SMP */
    }
 
    /*
     * CFS の SCHED_SOFTIRQ ソフト割り込みサービス関数を登録します。* このソフト割り込みは、定期的な負荷分散と nohz アイドル負荷分散のために用意されています。*/
    クラスを初期化します。
 
    スケジューラ実行 = 1;
}

/*
 * 残りをアクティブ化するためにブート プロセッサによって呼び出されます。
 *
 * SMPアーキテクチャでは、BSPは他のすべての非ブートcpを起動する必要がある。
 */
void __init smp_init(void)
{
    整数num_nodes、num_cpus;
    符号なし整数CPU;
 
    /* 各CPUにアイドルスレッドを作成する */
    アイドルスレッド初期化();
    /* cpuhp スレッドをカーネルに登録する */
    スレッド初期化();
 
    pr_info("セカンダリ CPU を起動しています...\n");
 
    /*
     * FIXME: これはユーザー空間で実行する必要があります --RR
     *
     * CPUがオンラインでない場合は、cpu_upで起動します。
     */
    各CPUが存在する場合(CPU) {
        num_online_cpus() が setup_max_cpus より大きい場合
            壊す;
        (!cpu_online(cpu))の場合
            CPU をアップします。
    }
     
    .............
}

/*
 * トポロジ リスト、ボトムアップ。
 *
 * Linux のデフォルトの物理トポロジ *
 * ここでは物理トポロジーのレベルは 3 つだけであり、NUMA ドメインは sched_init_numa() で自動的に検出されます。 * NUMA ドメインが存在する場合、対応する NUMA スケジューリング ドメインが追加されます。 *
 * 注意: デフォルトの default_topology スケジューリング ドメインには、いくつかの問題がある可能性があります。たとえば、一部のプラットフォームには DIE ドメインがないため (Intel プラットフォーム)、LLC ドメインと DIE ドメインが重複する可能性があります。 * そのため、スケジューリング ドメインが確立された後、カーネルは cpu_attach_domain() ですべてのスケジューリングをスキャンします。 * スケジューリングの重複がある場合は、destroy_sched_domain に対応する重複スケジューリング ドメインが破棄されます。*/
静的構造体sched_domain_topology_level default_topology[] = {
#ifdef CONFIG_SCHED_SMT
    { cpu_smt_mask、cpu_smt_flags、SD_INIT_NAME(SMT) },
#終了
#ifdef CONFIG_SCHED_MC
    { cpu_coregroup_mask、cpu_core_flags、SD_INIT_NAME(MC) }、
#終了
    { cpu_cpu_mask, SD_INIT_NAME(DIE) },
    { NULL, },
};

/*
 * NUMA スケジューリング ドメインの初期化 (ハードウェア情報に基づいて新しい sched_domain_topology 物理トポロジ構造を作成する)
 *
 * カーネルはデフォルトではNUMAトポロジを積極的に追加しないため、設定する必要があります（NUMAが有効になっている場合）
 * NUMA が有効になっている場合は、ハードウェア トポロジ情報に基づいて、* sched_domain_topology_level ドメインを追加するかどうかを決定する必要があります (このドメインを追加した後でのみ、カーネルは後で * sched_domain を初期化するときに NUMA ドメインを作成します)
 */
void sched_init_numa(void)
{
    ................
    /*
     * ここでは、距離に基づいて NUMA ドメイン (複数の NUMA ドメインも含む) が存在するかどうかを確認し、状況に応じて物理トポロジ構造に更新します。後でスケジューリングドメインを作成するときは、この新しい*物理トポロジを使用して新しいスケジューリングドメイン*を作成します。
    (j = 1; j < レベル; i++, j++) {
        tl[i] = (構造体sched_domain_topology_level){
            .mask = sd_numa_mask、
            .sd_flags = cpu_numa_flags、
            .flags = SDTL_OVERLAP、
            .nu​​ma_level = j、
            SD_INIT_NAME(NUMA)
        };
    }
 
    sched_domain_topology を tl に設定します。
 
    sched_domains_numa_levels = レベル;
    sched_max_numa_distance = sched_domains_numa_distance[レベル - 1];
 
    トポロジータイプを初期化します。
}

/*
 * スケジューラドメインとグループを設定します。現時点では、分離されたドメインは除外されます。
 * CPU ですが、将来的には他の特殊なケースを除外するために使用される可能性があります。
 */
int sched_init_domains(const struct cpumask *cpu_map)
{
    整数エラー;
 
    zalloc_cpumask_var(&sched_domains_tmpmask, GFP_KERNEL);
    zalloc_cpumask_var(&sched_domains_tmpmask2, GFP_KERNEL);
    zalloc_cpumask_var(&fallback_doms, GFP_KERNEL);
 
    arch_update_cpu_topology();
    ndoms_cur = 1; いいえ
    doms_cur = alloc_sched_domains(ndoms_cur);
    もし (!doms_cur)
        doms_cur = &fallback_doms;
    /*
     * doms_cur[0]は、スケジューリングドメインが上書きする必要があるcpumaskを示します。
     *
     * isolcpus= を使用してシステム内の一部の CPU を分離する場合、これらの CPU はスケジューリング ドメインに追加されません。つまり、これらの CPU は負荷分散に参加しません (ここでの負荷分散には DL/RT と CFS が含まれます)。
     * ここで、isolate は cpu_map と housekeeping_cpumask(HK_FLAG_DOMAIN) によって使用されます。
     * CPU が削除され、分離 CPU が確立されたスケジューリング ドメインに含まれないようにします。
     */
    cpumask_and(doms_cur[0], cpu_map, housekeeping_cpumask(HK_FLAG_DOMAIN));
    /* スケジューリングドメイン確立の実装関数*/
    エラー = build_sched_domains(doms_cur[0], NULL);
    ドメインを登録します。
 
    エラーを返します。
}

/*
 * 指定されたCPUセットのスケジュールドメインを構築し、スケジュールドメインをアタッチする
 * 個々のCPUに
 */
静的整数
build_sched_domains(const 構造体 cpumask *cpu_map、構造体 sched_domain_attr *attr)
{
    列挙型 s_alloc alloc_state = sa_none;
    構造体 sched_domain *sd;
    構造体 s_data d;
    構造体 rq *rq = NULL;
    int i, ret = -ENOMEM;
    構造体 sched_domain_topology_level *tl_asym;
    ブールhas_asym = false;
 
    (WARN_ON(cpumask_empty(cpu_map))の場合)
        エラーに移動します。
 
    /*
     * LinuxのほとんどのプロセスはCFSでスケジュールされるため、CFSのsched_domainは頻繁にアクセスされ、変更されます（nohz_idleやsched_domainのさまざまな統計など）。そのため、sched_domain
     * 設計では効率を優先する必要があるため、カーネルはpercpu方式を使用してsched_domainを実装します。
     * CPU 間の sd の各レベルは独立して適用される percpu 変数であるため、percpu の特性を使用してそれらの間の同時実行競合問題を解決できます。* (1. ロック保護は不要 2. キャッシュラインの疑似共有なし)
     */
    alloc_state = __visit_domain_allocation_hell(&d, cpu_map);
    (alloc_state != sa_rootdomain) の場合
        エラーに移動します。
 
    tl_asym = asym_cpu_capacity_level(cpu_map);
 
    /*
     * cpu_map で指定された CPU のドメインを設定します。
     *
     * ここでは、cpu_map内のすべてのCPUを走査し、これらのCPUに対応する物理トポロジ構造を作成します（
     * for_each_sd_topology のマルチレベル スケジューリング ドメイン。
     *
     * スケジューリングドメインが確立されると、このレベルのスケジューリングドメイン内のCPUに対応するスパンはtl->mask(cpu)を通じて取得されます（つまり、CPUと他の対応するCPUがこのスケジューリングドメインを形成します）。同じスケジューリングドメイン内のCPUに対応するsdは、最初に同じに初期化されます（sd->panを含む、
     * sd->imbalance_pct および sd->flags)。
     */
    for_each_cpu(i, cpu_map) {
        構造体 sched_domain_topology_level *tl;
 
        sd = NULL;
        for_each_sd_topology(tl) {
            int dflags = 0;
 
            tl == tl_asymの場合{
                dflags |= SD_ASYM_CPUCAPACITY;
                非対称性 = true;
            }
 
            sd = build_sched_domain(tl、cpu_map、attr、sd、dflags、i);
 
            tl == sched_domain_topologyの場合
                *per_cpu_ptr(d.sd, i) = sd;
            if (tl->flags & SDTL_OVERLAP)
                sd->フラグ |= SD_OVERLAP;
            （cpumask_equal（cpu_map、sched_domain_span（sd））の場合）
                壊す;
        }
    }
 
    /*
     * ドメインのグループを構築する
     *
     * ディスパッチグループを作成する *
     * 2つのスケジューリングドメインの実装からsched_groupの役割がわかります* 1. NUMAドメイン 2. LLCドメイン*
     * numa sched_domain->span は、NUMA ドメイン上のすべての CPU を含みます。バランス調整が必要な場合、 * NUMA ドメインは CPU ではなくソケット、つまり socket1 と socket2 のみに基づいている必要があります。
     * 極端な不均衡がある場合にのみ、CPU は 2 つのソケット間で移行されます。この抽象化を実装するために sched_domain を使用すると、柔軟性が不十分になります (以下の MC ドメインでわかるように)。そのため、カーネルは sched_group を使用して CPU セットを表し、各ソケットは sched_group に属します。移行は、2つのsched_groupが不均衡な場合にのみ許可されます*
     * MC ドメインも同様です。CPU はハイパースレッディングされていますが、ハイパースレッディングのパフォーマンスは物理コアのパフォーマンスと同等ではありません。ハイパースレッドのペア* は、物理コアのパフォーマンスの約 1.2 倍に相当します。したがって、スケジューリングを行う際には、ハイパースレッディング* ペア間のバランスを考慮する必要があります。つまり、まず CPU 間のバランスを満たし、次に CPU 内のハイパースレッディングのバランスを満たす必要があります。このとき、sched_group は抽象化に使用されます。1 つの sched_group は 1 つの物理 CPU (2 つのハイパースレッド) を表します。このとき、LLC は CPU 間のバランスを確保し、ハイパースレッド間のバランスは取れているが物理コアの不均衡という極端な状況を回避します。同時に、スケジューリングとコアの選択時に、カーネルが物理スレッドを優先することを保証できます。物理スレッドが使い果たされた場合にのみ、別のハイパースレッドの使用が検討され、システムは CPU の計算能力をより有効に活用できます。
    for_each_cpu(i, cpu_map) {
        sd = *per_cpu_ptr(d.sd, i); sd; sd = sd->parent) {
            sd->span_weight = cpumask_weight(sched_domain_span(sd));
            if (sd->flags & SD_OVERLAP) {
                （build_overlap_sched_groups（sd、i））の場合
                    エラーに移動します。
            } それ以外 {
                （build_sched_groups（sd、i））の場合
                    エラーに移動します。
            }
        }
    }
 
    /*
     * 物理パッケージとノードのCPU容量を計算する
     *
     * sched_group_capacity は sg に利用可能な CPU パワーを示すために使用されます*
     * sched_group_capacityは、各CPUの異なる計算能力（異なる最大周波数設定、
     * ARM のビッグコアとスモールコアなど）、RT プロセスが使用する CPU を削除（sg は CFS 用に用意されているため、CPU 上の DL/RT プロセスが使用する CPU 計算能力を削除する必要があります）など、利用可能な計算能力を CFS sg に残します（負荷分散時には、CPU の負荷だけでなく、この sg 上の CFS も考慮する必要があるため）。
     * 利用可能な計算能力。この SG 上のプロセス数が少ないが、sched_group_capacity も小さい場合は、プロセスをこの SG に移行しないでください。
     */
    (i = nr_cpumask_bits-1; i >= 0; i--) {
        （！cpumask_test_cpu（i、cpu_map））の場合
            続く;
 
        sd = *per_cpu_ptr(d.sd, i); sd; sd = sd->parent) {
            請求割り当て(i, sd);
            sd を初期化します。
        }
    }
 
    /* ドメインを添付する */
    rcu_read_lock();
    /*
     * 各 CPU の rq を rd (root_domain) にバインドし、sd が重複しているかどうかを確認します。 * 重複している場合は、destroy_sched_domain() を使用して削除します (次のことがわかります。 * Intel サーバーには 3 つのスケジューリング ドメインしかなく、DIE ドメインは実際には LLC ドメインと重複しているため、ここで削除されます)
     */
    for_each_cpu(i, cpu_map) {
        rq = cpu_rq(i);
        sd = *per_cpu_ptr(d.sd, i);
 
        /* ロード/ストアのティアリングを回避するには、READ_ONCE()/WRITE_ONCE() を使用します: */
        rq->cpu_capacity_orig > READ_ONCE(d.rd->max_cpu_capacity) の場合
            WRITE_ONCE(d.rd->max_cpu_capacity、rq->cpu_capacity_orig);
 
        cpu_attach_domain(sd、d.rd、i);
    }
    rcu_read_unlock();
 
    (非対称性がある場合)
        static_branch_inc_cpuslocked(&sched_asym_cpucapacity);
 
    rq と sched_debug_enabled の場合 {
        pr_info("ルートドメイン範囲: %*pbl (最大CPU容量 = %lu)\n",
            cpumask_pr_args(cpu_map)、rq->rd->max_cpu_capacity;
    }
 
    戻り値 0;
エラー：
    __free_domain_allocs(&d, alloc_state, cpu_map);
 
    ret を返します。
}