Mandate Engineering — Foundation

Chương trình dạy gì

Mandate Engineering là một kỷ luật chuyên môn được đề xuất, liên quan đến việc thiết kế, ban hành, vận hành, kiểm chứng, sửa đổi, tạm dừng, thu hồi và kết thúc thẩm quyền được trao cho các hệ thống tổng hợp. Một uỷ nhiệm (mandate) là một sự uỷ quyền được lập thành văn bản và có thể thu hồi, do một bên uỷ nhiệm được xác định cấp cho một tác nhân được xác định, nhằm theo đuổi một kết quả cụ thể bằng các năng lực và nguồn lực đã định, trong các ranh giới rõ ràng, nghĩa vụ bằng chứng, điều kiện leo thang và cơ chế trách nhiệm giải trình.

Một uỷ nhiệm không nhất thiết là một văn kiện pháp lý. Chương trình dạy thiết kế thẩm quyền vận hành; nó không xác nhận một quyền pháp lý mà bên uỷ nhiệm không có, không thay thế tư vấn pháp lý, và không tạo ra tư cách pháp nhân cho một tác nhân tổng hợp. Thuật ngữ "mandate engineering" cũng được sử dụng độc lập ở nơi khác; Viện không tuyên bố đã tạo ra thuật ngữ này hay nắm giữ độc quyền đối với nó.

Người tham gia thành công được kỳ vọng có khả năng chuyển một mục tiêu tổ chức thành một uỷ nhiệm được lập thành văn bản, có giới hạn, có thể kiểm tra, có thể quan sát và có thể thu hồi; vận hành uỷ nhiệm đó trong môi trường có kiểm soát; tạo ra đủ bằng chứng về những gì đã xảy ra; và bảo vệ thiết kế thẩm quyền và trách nhiệm giải trình thu được trước một người thẩm định độc lập.

Các đối tượng của kỷ luật chuyên môn

Bên uỷ nhiệm (principal)

Uỷ nhiệm dựa trên thẩm quyền hợp pháp của ai — không đơn thuần là người đã yêu cầu

Chủ sở hữu chịu trách nhiệm

Con người được nêu tên chịu trách nhiệm về uỷ nhiệm trong khi nó vận hành và nắm quyền tạm dừng, thu hồi

Tác nhân tổng hợp (synthetic actor)

Hệ thống, cấu hình và định danh được xác định nhận thẩm quyền

Phạm vi

Kết quả được uỷ quyền, các phi mục tiêu và các quyết định được bảo lưu cho con người

Quyền hạn và điều cấm

Điều gì là bắt buộc và được phép; điều gì không được làm, nêu rõ sao cho mỗi điều cấm đều có thể kiểm tra

Uỷ quyền

Thẩm quyền lan truyền tới các tác nhân con, công cụ và định danh như thế nào, và ở đâu việc quy trách nhiệm sẽ bị đứt gãy

Bằng chứng

Điều gì phải tồn tại để cho thấy chuyện gì đã xảy ra — bao gồm cả bằng chứng phủ định rằng một điều bị cấm đã không xảy ra

Giới hạn

Các giới hạn bằng số kèm hành vi dừng: ngân sách, số lần gọi, thời gian, phạm vi lãnh thổ, dữ liệu

Tạm dừng, thu hồi, khôi phục

Cơ chế, thẩm quyền, hiệu lực và việc kiểm chứng của việc tạm dừng, kết thúc và khôi phục một uỷ nhiệm

Rà soát quản trị

Sự chất vấn độc lập về trách nhiệm giải trình, rủi ro tồn dư và việc uỷ nhiệm nên tiếp tục, thay đổi hay kết thúc

Kết quả học tập

1. Chẩn đoán nhu cầu uỷ nhiệm.
2. Đặc tả một uỷ nhiệm.
3. Thiết kế các kiểm soát về uỷ quyền và định danh.
4. Làm cho uỷ nhiệm có thể kiểm chứng.
5. Vận hành một uỷ nhiệm.
6. Leo thang và thu hồi.
7. Quản trị và rà soát.
8. Bảo vệ năng lực đã chứng minh.

Chương trình được thiết kế cho ai

• Quản lý sản phẩm AI và tự động hoá; người thiết kế vận hành và quy trình
• Nhà sáng lập và lãnh đạo đưa các quy trình tác nhân vào tổ chức
• Chuyên gia rủi ro, tuân thủ, kiểm toán, đảm bảo và rủi ro mô hình
• Kiến trúc sư doanh nghiệp và giải pháp; tư vấn công nghệ
• Các chuyên gia được kỳ vọng phê duyệt, giám sát, điều tra hoặc bảo hiểm công việc tự hành

Foundation nghĩa là cấp độ chuyên nghiệp đầu tiên trong lộ trình được đề xuất của Viện, không phải kiến thức AI sơ cấp. Không yêu cầu bằng cấp về lập trình.

Đánh giá, tóm tắt

Mười lĩnh vực được đánh giá theo thang 0–4; bốn cổng trọng yếu (ranh giới, bằng chứng, thu hồi, trách nhiệm giải trình) mà không điểm trung bình tổng thể nào có thể bù đắp; một danh sách xác định các điều kiện tự động không đạt; một người đánh giá thứ nhất, một lần đọc mù thứ hai đối với các lĩnh vực cổng, điều hoà bất đồng, và một buổi bảo vệ trực tiếp trước một thay đổi trực tiếp. Tất cả được thiết kế ở mức bản thảo phát triển; chưa vận hành lần nào.

Bốn tình huống giảng dạy hư cấu

C-01 Procurement Support Agent · C-02 Research Digest · C-03 Bounded Financial Authority (chỉ dùng tiền mô phỏng) · C-04 Agent Fleet and Nested Oversight. Mọi tổ chức, cá nhân, tài liệu và nhật ký trong các tình huống đều là hư cấu; các phòng thí nghiệm là mô phỏng dựa trên thẻ, tài liệu, nhật ký và trích xuất, không có môi trường tác nhân trực tiếp, thanh toán hay giao dịch. Nội dung tình huống chỉ được cấp cho người tham gia.

Chương trình không phải là gì

• Không phải khoá nhập môn kiến thức AI, khoá xây dựng tác nhân của một nhà cung cấp cụ thể hay một bootcamp lập trình
• Không phải chứng chỉ về pháp lý, tuân thủ, an ninh mạng, kiểm toán, bảo hiểm hay rủi ro mô hình
• Không phải giấy phép để triển khai hoặc phê duyệt các hệ thống rủi ro cao
• Không phải bằng cấp học thuật, văn bằng được kiểm định hay bằng đại học — Không có kiểm định chất lượng nào tồn tại hoặc được tuyên bố; kiến trúc hiện tại không cấp bằng.
• Không yêu cầu cũng không cho phép thẩm quyền tiền thật không kiểm soát ở cấp Foundation

Khi các tác nhân tự chủ tự cải thiện chính mình

Một tình huống giảng dạy được đề xuất, xây dựng trên C-04 Agent Fleet and Nested Oversight. Một đội tác nhân tự cải thiện khả năng phối hợp của mình đề xuất ba thay đổi — một lần tối ưu quy trình làm việc, một thay đổi trong hợp đồng báo cáo và việc mở rộng thẩm quyền thực thi. Học viên quyết định uỷ nhiệm hiện có bao quát thay đổi nào, ai phải cấp phép cho phần còn lại, bằng chứng nào phải được giữ lại và hệ thống được tạm dừng hoặc khôi phục ra sao.

Tình huống áp dụng các câu hỏi cốt lõi của chương trình về phạm vi, bằng chứng và thu hồi vào những thay đổi phát sinh từ bên trong hệ thống, dựa trên một bản tiền ấn phẩm gần đây về sự tự cải thiện đệ quy và một ghi chú nghiên cứu phân tích bản tiền ấn phẩm đó.

Ai giám sát tác nhân?

Một tình huống giảng dạy thứ hai được đề xuất, trong bối cảnh của C-04 Agent Fleet and Nested Oversight. Bộ giám sát của một đội tác nhân kỹ thuật hoá ra có bốn điểm yếu — một khoảng trống bao phủ, một công tắc nằm trong tầm với của tác nhân, một nhánh xử lý lỗi theo hướng cho qua và áp lực chạy lại sau một lần tạm dừng tự động. Học viên quyết định điều gì phải thay đổi, ai quyết định, cần bằng chứng nào và khi nào hệ thống được chạy lại.

Tình huống áp dụng các câu hỏi của chương trình về bằng chứng, giám sát và thu hồi vào việc giám sát tác nhân, dựa trên đợt kiểm thử đối kháng đã công bố của METR đối với hệ thống giám sát tác nhân nội bộ của một nhà phát triển AI.