[Data, VoxelSize, FileList, Header] = y_ReadAll(AAL_file);

% y_ReadAll - 读取 NIfTI、GIfTI 或 DPABINet Matrix 文件
% ------------------------------------------------------------------------
% 输入:
% InputName - 输入文件或目录的路径，可以是以下形式：
%             1. 单个文件（如 .nii、.nii.gz、.gii 或 .mat 文件）。
%             2. 一个目录，目录下可以是：
%                - 对于 NIfTI：一个 4D 文件或一组 3D 文件。
%                - 对于 GIfTI：一个 2D 文件或一组 1D 文件。
%                - 对于 DPABINet Matrix：一组 .mat 文件。
%             3. 一个文件列表（cell 数组），每个元素是一个文件的路径。
% 输出:
% Data - 图像数据矩阵：
%        - 对于 NIfTI：4D 矩阵。
%        - 对于 GIfTI：2D 矩阵。
%        - 对于 DPABINet Matrix：2D 矩阵。
% VoxelSize - 体素大小（仅对 NIfTI 文件有效）。
% FileList - 读取的文件列表。
% Header - 头信息结构体：
%          - 对于 NIfTI：包含 fname、dim、dt、mat、pinfo 等字段。
%          - 对于 GIfTI：包含 GIfTI 的头信息。
%          - 对于 DPABINet Matrix：包含矩阵名称和大小信息。

clc,clear;
% 读取AAL模板
AAL_file = '011.nii';  % AAL模板文件名
[Data, VoxelSize, FileList, Header] = y_ReadAll(AAL_file);

% 获取AAL模板中的唯一脑区编号
unique_regions = unique(Data);
unique_regions = unique_regions(unique_regions > 0);  % 去除背景0

% 创建mask文件夹
mask_folder = 'mask';
if ~exist(mask_folder, 'dir')
    mkdir(mask_folder);
end

% 遍历每个脑区，生成并保存mask
for i = 1:length(unique_regions)
    region_value = unique_regions(i);
    
    % 生成0-1 mask
    mask = double(Data == region_value);
    
    % 生成文件名（三位数命名）
    filename = sprintf('%03d.nii', region_value);
    filepath = fullfile(mask_folder, filename);
    
    % 修改Header以匹配mask
    mask_header = Header;  % 复制原始Header
    mask_header.dim = size(mask);  % 更新维度信息
    mask_header.dt = [16, 0];  % 设置数据类型为double（根据需要调整）
    
    % 保存mask为NIfTI文件
    y_Write(mask, mask_header, filepath);
end

disp('所有脑区的mask已生成并保存到mask文件夹中。');

clc,clear

%doc fullfile

f1 = '111\222\333.m';
f2 = fullfile('111','222','333.m');
f3 = strcat('111\','222\','333.m');
f4 = ['111\','222\','333.m'];
%filesep可以代替\
f5 = ['111',filesep,'222',filesep,'333.m'];

%fileparts用来分割文件路径，文件名，和后缀
[filepath,name,ext] = fileparts(f1);
%只想返回文件名
[~,name1] = fileparts(f1);
%只想返回后缀
[~,~,ext1] = fileparts(f1);

%find 查找某值位于的位置
a = 1:2:10;
%等于为==，大于>，小于
b = find(a==5);

%genpath 某文件夹下的所有文件夹,包括子文件夹
p = genpath("D:\MATLAB\work2");

%addpath 添加环境变量

%zip 压缩文件
%zip(zipfilename,filenames)

%gunzip 解压文件

%strsplit 分割字符串
straa1 = "my name is matlab";
a = strsplit(straa1);

%打开文件夹选择对话框
path1 = uigetdir('C:\');

%打开文件选择对话框
filename1 = uigetfile();

%矩阵运算
a = rand(1000,1);
hist(a);

%randn的随机数有正有负
a = randn(1000,1);
hist(a);

%std 方差
std(a)

%mean 均值
mean(a)

%sum 相加,矩阵的话，按列相加
sum(a)
a = rand(1000,2);
sum(a)

%zeros 生成全是0的矩阵
zeros(5,2)

%ones 生成全是1的矩阵
ones(5,2)

% 生成全是6的矩阵
X = 6*ones(5,2)

%eye 单位矩阵,对角阵
eye(5)


a = rand(4,2);
sum(a)
% a' 转置，行变列，；列变行
a=a'

%length,返回长度，优先返回列
length(a)

%size 矩阵的长宽
a
size(a)
%返回长
size(a,1)
%返回宽
size(a,2)

%矩阵相乘

b1 =[1 2
    3 4]
b2 =[5 6
    7 8]

b1*b2

% 选择文件夹
selectedFolder = uigetdir('请选择包含PDF文件的文件夹');
if selectedFolder == 0
    error('未选择文件夹，操作取消。');
end

% 获取文件夹中的所有PDF文件
pdfFiles = dir(fullfile(selectedFolder, '*.pdf'));

% 检查是否有PDF文件
if isempty(pdfFiles)
    error('所选文件夹中没有PDF文件。');
end

% 在所选文件夹的同级目录下创建pdf文件夹
pdfFolder = fullfile(fileparts(selectedFolder), 'pdf');
if ~exist(pdfFolder, 'dir')
    mkdir(pdfFolder);
end

% 遍历每个PDF文件
for i = 1:length(pdfFiles)
    % 获取当前PDF文件的完整路径
    currentPdfPath = fullfile(pdfFiles(i).folder, pdfFiles(i).name);
    
    % 创建以PDF文件名命名的文件夹
    [~, pdfName, ~] = fileparts(pdfFiles(i).name);
    newFolder = fullfile(pdfFolder, pdfName);
    if ~exist(newFolder, 'dir')
        mkdir(newFolder);
    end
    
    % 复制并重命名PDF文件
    newPdfPath = fullfile(newFolder, 'report.pdf');
    copyfile(currentPdfPath, newPdfPath);
end

% 压缩pdf文件夹
zipFileName = fullfile(fileparts(selectedFolder), 'pdf.zip');
zip(zipFileName, pdfFolder);

% 提示操作完成
disp('PDF文件已提取并压缩完成。');

help mkdir
doc mkdir

%这是一个测试文件
%清空变量和界面
clc,clear
%print work directory 
pwd
%make directory 
mkdir 123
%remove  directory 
rmdir 123
%list 
ls
%尝试声明变量
a=1;
b=2;
%copy file and rename
copyfile("test.m","test2.m")
%find function load
which ls

%产生等差数列,从1开始（默认也为1），每次增加2，最大不超过20
1:2:20

%随机生成0-1之间的数值,5行，3列
a=rand(5,3)

%得到第1行，第2列的数值。
a(1,2)

%第一列的数值
a(:,1)
a(1:end,1)

%第一行的数值
a(1,:)
a(1,1:end)

%MATLAB的运算以列优先，如果想得到一个矩阵的某个值也可只用一个数值得到
%从列开始数，第7个值
a(7)

%只取第1，3列
a(:,[1,3])

%只取，第2,4行，第1，3列的交叉元素
a([2,4],[1,3])

%矩阵的拼接
a = rand(1,10); 
b = rand(1,10); 
c = [a b] 
%整行拼接
c = [a, b]
%按列拼接
c = [a; b]

% 获取当前目录
currentDir = pwd;

% 定义ori文件夹路径
oriDir = fullfile(currentDir, 'ori');

% 定义sub文件夹路径
subDir = fullfile(currentDir, 'sub');

% % 创建sub文件夹
% %if ~exist(subDir, 'dir')
%     mkdir(subDir);
% end

% 获取ori文件夹中的所有PDF文件
pdfFiles = dir(fullfile(oriDir, '*.pdf'))

% 遍历每个PDF文件
for i = 1:length(pdfFiles)
    % 获取PDF文件名
    pdfName = pdfFiles(i).name;
    
    % 提取编号（假设文件名格式为 '编号.pdf'）
    [~, name, ~] = fileparts(pdfName);
    folderName = name; % 假设文件名就是编号
    
    % 创建以编号命名的子文件夹
    newFolder = fullfile(subDir, folderName);
    if ~exist(newFolder, 'dir')
        mkdir(newFolder);
    end
    
    % 移动并重命名PDF文件
    sourceFile = fullfile(oriDir, pdfName);
    destinationFile = fullfile(newFolder, 'report.pdf');
    movefile(sourceFile, destinationFile);
end

% 删除sub文件夹及其内容
rmdir(subDir, 's');

disp('操作完成');

!pip install openai
!pip install gradio


##基本结构
from openai import OpenAI
import openai
import gradio as gr
import json
from typing import List, Dict, Tuple

client = OpenAI(
    # defaults to os.environ.get("OPENAI_API_KEY")
    api_key="自己的API",
    base_url="https://models.inference.ai.azure.com"
    # base_url="https://api.chatanywhere.org/v1"
)
response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{'role': 'user', 'content': '请告诉我关于机器学习的基本概念'}],
        max_tokens=100,
)
message_content = response.choices[0].message.content
print(message_content)

!pip install openai
!pip install gradio

import os
import json
from typing import List, Dict, Tuple

import openai
import gradio as gr

# TODO: 设置你的 OPENAI API 密钥，这里以阿里云 DashScope API 为例进行演示
OPENAI_API_KEY = "自己的API"


client = openai.OpenAI(
    api_key=OPENAI_API_KEY,
    base_url="https://models.inference.ai.azure.com",  # 使用GitHub的CatGPT的API
)

# 检查是否正确设置了 API
# 如果一切正常，你将看到 "API 设置成功！！"
try:
    response = client.chat.completions.create(
            model="gpt-4o",  # 可以使用gpt-4o或者gpt-4o-mini，资源有限
            messages=[{'role': 'user', 'content': "测试"}],  # 设置一个简单的测试消息
            max_tokens=1,
    )
    print("API 设置成功！！")  # 输出成功信息
except Exception as e:
    print(f"API 可能有问题，请检查：{e}")  # 输出详细的错误信息

# TODO: 在此处输入用于摘要的提示词
prompt_for_summarization = "请将以下文章概括成几句话。"

# 重置对话的函数
def reset() -> List:
    return []

# 调用模型生成摘要的函数
def interact_summarization(prompt: str, article: str, temp=1.0) -> List[Tuple[str, str]]:
    '''
    * 参数:
      - prompt: 我们在此部分中使用的提示词
      - article: 需要摘要的文章
      - temp: 模型的温度参数。温度用于控制聊天机器人的输出。温度越高，响应越具创造性。
    '''
    input = f"{prompt}\n{article}"
    response = client.chat.completions.create(
        model="gpt-4o",  # 使用阿里云 DashScope 的模型
        messages=[{'role': 'user', 'content': input}],
        temperature=temp,
        max_tokens=200,  # 你需要注意到这里设置了文本的长度上限。
    )

    return [(input, response.choices[0].message.content)]

##对话导出为本文件夹下为的part1.json文件
def export_summarization(chatbot: List[Tuple[str, str]], article: str) -> None:
    '''
    * 参数:
      - chatbot: 模型的对话记录，存储在元组列表中
      - article: 需要摘要的文章
    '''
    target = {"chatbot": chatbot, "article": article}
    with open("part1.json", "w") as file:
        json.dump(target, file)

# 生成 Gradio 的UI界面
with gr.Blocks() as demo:
    gr.Markdown("# 第1部分：摘要\n填写任何你喜欢的文章，让聊天机器人为你总结！")
    chatbot = gr.Chatbot()
    prompt_textbox = gr.Textbox(label="提示词", value=prompt_for_summarization, visible=False)
    article_textbox = gr.Textbox(label="文章", interactive=True, value="我家的后面有一个很大的园，相传叫作百草园。现在是早已并屋子一起卖给朱 文公的子孙了，连那最末次的相见也已经隔了七八年，其中似乎确凿只有一些野草 ；但那时却是我的乐园。 　　不必说碧绿的菜畦，光滑的石井栏，高大的皂荚树，紫红的桑椹；也不必说鸣 蝉在树叶里长吟，肥胖的黄蜂伏在菜花上，轻捷的叫天子（云雀）忽然从草间直窜 向云霄里去了。单是周围的短短的泥墙根一带，就有无限趣味。油蛉在这里低唱， 蟋蟀们在这里弹琴。翻开断砖来，有时会遇见蜈蚣；还有斑蝥，倘若用手指按住它 的脊梁，便会拍的一声，从后窍喷出一阵烟雾。何首乌藤和木莲藤缠络着，木莲有 莲房一般的果实，何首乌有拥肿的根。有人说，何首乌根是有象人形的，吃了便可 以成仙，我于是常常拔它起来，牵连不断地拔起来，也曾因此弄坏了泥墙，却从来 没有见过有一块根象人样。如果不怕刺，还可以摘到覆盆子，象小珊瑚珠攒成的小 球，又酸又甜，色味都比桑椹要好得远。 　 　　长的草里是不去的，因为相传这园里有一条很大的赤练蛇。 　　长妈妈曾经讲给我一个故事听：先前，有一个读书人住在古庙里用功，晚间， 在院子里纳凉的时候，突然听到有人在叫他。答应着，四面看时，却见一个美女的 脸露在墙头上，向他一笑，隐去了。他很高兴；但竟给那走来夜谈的老和尚识破了 机关。说他脸上有些妖气，一定遇见“美女蛇”了；这是人首蛇身的怪物，能唤人 名，倘一答应，夜间便要来吃这人的肉的。他自然吓得要死，而那老和尚却道无妨 ，给他一个小盒子，说只要放在枕边，便可高枕而卧。他虽然照样办，却总是睡不 着，——当然睡不着的。到半夜，果然来了，沙沙沙！门外象是风雨声。他正抖作 一团时，却听得豁的一声，一道金光从枕边飞出，外面便什么声音也没有了，那金 光也就飞回来，敛在盒子里。后来呢？后来，老和尚说，这是飞蜈蚣，它能吸蛇的 脑髓，美女蛇就被它治死了。 　　结末的教训是：所以倘有陌生的声音叫你的名字，你万不可答应他。　　 　　这故事很使我觉得做人之险，夏夜乘凉，往往有些担心，不敢去看墙上，而且 极想得到一盒老和尚那样的飞蜈蚣。走到百草园的草丛旁边时，也常常这样想。但 直到现在，总还没有得到，但也没有遇见过赤练蛇和美女蛇。叫我名字的陌生声音 自然是常有的，然而都不是美女蛇。 　　冬天的百草园比较的无味；雪一下，可就两样了。拍雪人（将自己的全形印在 雪上）和塑雪罗汉需要人们鉴赏，这是荒园，人迹罕至，所以不相宜，只好来捕鸟 。薄薄的雪，是不行的；总须积雪盖了地面一两天，鸟雀们久已无处觅食的时候才 好。扫开一块雪，露出地面，用一支短棒支起一面大的竹筛来，下面撒些秕谷，棒 上系一条长绳，人远远地牵着，看鸟雀下来啄食，走到竹筛底下的时候，将绳子一 拉，便罩住了。但所得的是麻雀居多，也有白颊的“张飞鸟”，性子很躁，养不过 夜的。 　　这是闰土的父亲所传授的方法，我却不大能用。明明见它们进去了，拉了绳， 跑去一看，却什么都没有，费了半天力，捉住的不过三四只。闰土的父亲是小半天 便能捕获几十只，装在叉袋里叫着撞着的。我曾经问他得失的缘由，他只静静地笑 道：你太性急，来不及等它走到中间去。 　　我不知道为什么家里的人要将我送进书塾里去了，而且还是全城中称为最严厉 的书塾。也许是因为拔何首乌毁了泥墙罢，也许是因为将砖头抛到间壁的梁家去了 罢，也许是因为站在石井栏上跳下来罢，……都无从知道。总而言之：我将不能常 到百草园了。Ａｄｅ，我的蟋蟀们！Ａｄｅ，我的覆盆子们和木莲们！ 　　出门向东，不上半里，走过一道石桥，便是我的先生的家了。从一扇黑油的竹 门进去，第三间是书房。中间挂着一块扁道：三味书屋；扁下面是一幅画，画着一 只很肥大的梅花鹿伏在古树下。没有孔子牌位，我们便对着那扁和鹿行礼。第一次 算是拜孔子，第二次算是拜先生。 　　第二次行礼时，先生便和蔼地在一旁答礼。他是一个高而瘦的老人，须发都花 白了，还戴着大眼镜。我对他很恭敬，因为我早听到，他是本城中极方正，质朴， 博学的人。 　　不知从那里听来的，东方朔也很渊博，他认识一种虫，名曰“怪哉”，冤气所 化，用酒一浇，就消释了。我很想详细地知道这故事，但阿长是不知道的，因为她 毕竟不渊博。现在得到机会了，可以问先生。 　　“先生，‘怪哉’这虫，是怎么一回事？……”我上了生书，将要退下来的时 候，赶忙问。 　　“不知道！”他似乎很不高兴，脸上还有怒色了。 　　我才知道做学生是不应该问这些事的，只要读书，因为他是渊博的宿儒，决不 至于不知道，所谓不知道者，乃是不愿意说。年纪比我大的人，往往如此，我遇见 过好几回了。 　　我就只读书，正午习字，晚上对课。先生最初这几天对我很严厉，后来却好起 来了，不过给我读的书渐渐加多，对课也渐渐地加上字去，从三言到五言，终于到 七言。 　　三味书屋后面也有一个园，虽然小，但在那里也可以爬上花坛去折腊梅花，在 地上或桂花树上寻蝉蜕。最好的工作是捉了苍蝇喂蚂蚁，静悄悄地没有声音。然而 同窗们到园里的太多，太久，可就不行了，先生在书房里便大叫起来：—— 　　“人都到那里去了？” 　　人们便一个一个陆续走回去；一同回去，也不行的。他有一条戒尺，但是不常 用，也有罚跪的规矩，但也不常用，普通总不过瞪几眼，大声道：—— 　　“读书！” 　　于是大家放开喉咙读一阵书，真是人声鼎沸。有念“仁远乎哉我欲仁斯仁至矣 ”的，有念“笑人齿缺曰狗窦大开”的，有念“上九潜龙勿用”的，有念“厥土下 上上错厥贡苞茅橘柚”的……先生自己也念书。后来，我们的声音便低下去，静下 去了，只有他还大声朗读着：—— 　　“铁如意，指挥倜傥，一座皆惊呢～～；金叵罗，颠倒淋漓噫，千杯未醉嗬～ ～……” 　　我疑心这是极好的文章，因为读到这里，他总是微笑起来，而且将头仰起，摇 着，向后面拗过去，拗过去。 　　先生读书入神的时候，于我们是很相宜的。有几个便用纸糊的盔甲套在指甲上 做戏。我是画画儿，用一种叫作“荆川纸”的，蒙在小说的绣像上一个个描下来， 象习字时候的影写一样。读的书多起来，画的画也多起来；书没有读成，画的成绩 却不少了，最成片断的是《荡寇志》和《西游记》的绣像，都有一大本。后来，因 为要钱用，卖给一个有钱的同窗了。他的父亲是开锡箔店的；听说现在自己已经做 了店主，而且快要升到绅士的地位了。这东西早已没有了罢。 　　　　　　　　　　　　　　　　　　 　　九月十八日。")
    
    with gr.Column():
        gr.Markdown("# 温度调节\n温度用于控制聊天机器人的输出。温度越高，响应越具创造性。")
        temperature_slider = gr.Slider(0.0, 2.0, 1.0, step=0.1, label="温度")
    
    with gr.Row():
        sent_button = gr.Button(value="发送")
        reset_button = gr.Button(value="重置")

    with gr.Column():
        gr.Markdown("# 保存结果\n当你对结果满意后，点击导出按钮保存结果。")
        export_button = gr.Button(value="导出")
    
    # 连接按钮与函数
    sent_button.click(interact_summarization, inputs=[prompt_textbox, article_textbox, temperature_slider], outputs=[chatbot])
    reset_button.click(reset, outputs=[chatbot])
    export_button.click(export_summarization, inputs=[chatbot, article_textbox])

# 启动 Gradio 界面
demo.launch(debug=True)

# 加载对话记录的 JSON 文件
with open("part1.json", "r") as f:
    context = json.load(f)

chatbot = context['chatbot']  # 获取对话记录
article = context['article']  # 获取原始文章
summarization = chatbot[0][-1]  # 获取摘要结果

# 生成 Gradio 的UI界面
with gr.Blocks() as demo:
    gr.Markdown("# 第1部分：摘要\n你可以查看文章和摘要！")
    chatbot = gr.Chatbot(value=context['chatbot'])  # 加载对话历史
    article_textbox = gr.Textbox(label="文章", interactive=False, value=context['article'])  # 显示原始文章

    # 构建展示摘要和原文的部分
    with gr.Column():
        gr.Markdown("# 只是一个检查")
        gr.Textbox(label="文章", value=article, show_copy_button=True)  # 显示并允许复制原文
        gr.Textbox(label="摘要", value=summarization, show_copy_button=True)  # 显示并允许复制摘要

# 启动 Gradio 界面
demo.launch(debug=True)

# TODO: 填写以下两行：character_for_chatbot 和 prompt_for_roleplay
# 第一个是你希望聊天机器人扮演的角色（注意，真正起作用的实际是prompt）
# 第二个是使聊天机器人扮演某个角色的提示词
character_for_chatbot = "面试官"
prompt_for_roleplay = "我需要你面试我有关AI的知识，仅提出问题"

# 清除对话的函数
def reset() -> List:
    return []

# 调用模型生成对话的函数
def interact_roleplay(chatbot: List[Tuple[str, str]], user_input: str, temp=1.0) -> List[Tuple[str, str]]:
    '''
    * 参数:

      - user_input: 每轮对话中的用户输入

      - temp: 模型的温度参数。温度用于控制聊天机器人的输出。温度越高，响应越具创造性。

    '''
    try:
        messages = []
        for input_text, response_text in chatbot:
            messages.append({'role': 'user', 'content': input_text})
            messages.append({'role': 'assistant', 'content': response_text})

        messages.append({'role': 'user', 'content': user_input})

        response = client.chat.completions.create(
            model="gpt-4o",  # github模型
            messages=messages,  # 包含用户的输入和对话历史
            temperature=temp,  # 使用温度参数控制创造性
            max_tokens=200,  # 控制输出的最大 token 数量
        )
        chatbot.append((user_input, response.choices[0].message.content))

    except Exception as e:
        print(f"发生错误：{e}")
        chatbot.append((user_input, f"抱歉，发生了错误：{e}"))
    return chatbot

# 导出整个对话记录的函数
def export_roleplay(chatbot: List[Tuple[str, str]], description: str) -> None:
    '''
    * 参数:

      - chatbot: 模型的对话记录，存储在元组列表中

      - description: 此任务的描述

    '''
    target = {"chatbot": chatbot, "description": description}
    with open("part2.json", "w") as file:
        json.dump(target, file)

# 进行第一次对话
first_dialogue = interact_roleplay([], prompt_for_roleplay)

# 生成 Gradio 的UI界面
with gr.Blocks() as demo:
    gr.Markdown(f"# 第2部分：角色扮演\n聊天机器人想和你玩一个角色扮演游戏，试着与它互动吧！")
    chatbot = gr.Chatbot(value=first_dialogue)
    description_textbox = gr.Textbox(label="机器人扮演的角色", interactive=False, value=f"{character_for_chatbot}")
    input_textbox = gr.Textbox(label="输入", value="")
    
    with gr.Column():
        gr.Markdown("# 温度调节\n温度用于控制聊天机器人的输出。温度越高，响应越具创造性。")
        temperature_slider = gr.Slider(0.0, 2.0, 1.0, step=0.1, label="温度")
    
    with gr.Row():
        sent_button = gr.Button(value="发送")
        reset_button = gr.Button(value="重置")
    
    with gr.Column():
        gr.Markdown("# 保存结果\n当你对结果满意后，点击导出按钮保存结果。")
        export_button = gr.Button(value="导出")

    # 连接按钮与函数
    sent_button.click(interact_roleplay, inputs=[chatbot, input_textbox, temperature_slider], outputs=[chatbot])
    reset_button.click(reset, outputs=[chatbot])
    export_button.click(export_roleplay, inputs=[chatbot, description_textbox])

# 启动 Gradio 界面
demo.launch(debug=True)

#!pip install openai
#!pip install gradio

import os
import json
from typing import List, Dict, Tuple

import openai
import gradio as gr

###################################
#这里输入API和对应的网站


OPENAI_API_KEY = "自己的API"
OPENAI_API_WEB = "https://api.chatanywhere.tech"

# 不设置则默认使用环境变量
if not OPENAI_API_KEY:
    OPENAI_API_KEY = os.getenv('OPENAI_API_KEY')

client = openai.OpenAI(
    api_key=OPENAI_API_KEY,
    base_url=OPENAI_API_WEB,
)

# 检查是否正确设置了 API
# 如果一切正常，你将看到 "API 设置成功！！"
try:
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": "测试"}],  # 设置一个简单的测试消息
        max_tokens=1,
    )
    print("API 设置成功！！")  # 输出成功信息
except Exception as e:
    print(f"API 可能有问题，请检查：{e}")  # 输出详细的错误信息

conda activate rna_p3      

conda create -n metagenomic

conda activate metagenomic

conda install -c biobakery kneaddata

nohup prefetch -f no --option-file SRA.txt &

jobs

#或者
ps -f

#将当前
fastq-dump --split-3 --gzip ./SRR12207279

fasterq-dump --split-3 ./SRR12207283

find ./SRR -mindepth 1 -type d -exec sh -c 'mv {}/* ./SRR; rmdir {}' \;

# 设置输入目录
sra_dir="./SRR"

# 设置输出目录
output_dir="./fastq-result"

# 遍历目录中的所有.sra文件
for sra_file in $sra_dir/*.sra
do
    # 获取不带路径的文件名
    filename=$(basename "$sra_file" .sra)
    
    # 使用fasterq-dump处理每个文件
    fasterq-dump --outdir "$output_dir" --split-3 "$sra_file"
done

# note: the fastp version in bioconda may be not the latest
conda install -c bioconda fastp

fastp -i in.R1.fq.gz -I in.R2.fq.gz -o out.R1.fq.gz -O out.R2.fq.gz

# 创建清理后的文件夹
mkdir  clean-fastp

# 设置工作目录为fastq文件所在的目录
cd ./fastq-result/

# 遍历所有以_1.fastq结尾的文件
for file1 in *_1.fastq; do
    # 从文件名中提取没有_1的部分
    base=$(basename "$file1" _1.fastq)
    
    # 构建对应的_2.fastq文件名
    file2="${base}_2.fastq"
fileoo1="${base}_1.fq"
fileoo2="${base}_2.fq"
jsono="${base}.json"
htmlo="${base}.html"

    
    # 在后台执行检查和trim_galore命令
    (
        # 检查对应的_2.fastq文件是否存在
        if [ -e "$file2" ]; then
            # 如果存在，执行trim_galore命令
fastp -i "$file1"  -o ../clean-fastp/"$fileoo1" -I "$file2" -O ../clean-fastp/"$fileoo2"  --json  ../clean-fastp/"$jsono"  --html  ../clean-fastp/"$htmlo"
                    else
            # 如果不存在，打印错误信息
            echo "Error: No matching file found for $file1"
        fi
    ) &
done

# 等待所有后台进程完成
wait

multiqc ./fastq-result/ -o   ./fastq-result/

wget http://hgdownload.cse.ucsc.edu/goldenPath/hg38/bigZips/hg38.chromFa.tar.gz
tar -zxvf chromFa.tar.gz 
cat *.fa > hg38.fa
bowtie2-build hg38.fa hg38

bowtie2 -p 20 -x /public/home/dk_szy/songxudong/metagenomic/db/hg37dec_v0.1 -1 data/fastp/${sample}_1.fq.gz \
    -2 data/fastp/${sample}_2.fq.gz -S data/rm_human/${sample}.sam \
    --un-conc data/rm_human/${sample}.fq --very-sensitive
  rm data/rm_human/${sample}.sam

# 将工作目录设置为fastq文件所在的目录！！！！
mkdir rm_human

cd ./clean-fastp/

# 将传入的参数赋值给变量！！！！！
file1_pattern="_1.fq"
file2_pattern="_2.fq"

# 遍历所有以第一个参数模式结尾的文件
for file1 in *${file1_pattern}; do
    # 从文件名中提取去掉模式后的部分
    base=$(basename "$file1" ${file1_pattern})
    # 构建对应的第二个参数模式的文件名
    file2="${base}${file2_pattern}"

    # 在后台执行检查和trim_galore命令
    (
        # 检查对应的文件是否存在
        if [ -e "$file2" ]; then
echo "找到名为 "$base" 的文件 $file1 对应 $file2 "
            # 如果存在，例如，执行trim_galore命令！！！！！！
            bowtie2 -p 20 -x /public/home/dk_szy/songxudong/metagenomic/db/hg37dec_v0.1 -1 "$file1" \
    -2  "$file2" -S ${base}.sam \
    --un-conc ../rm_human/${base}.fq --very-sensitive
  rm ${base}.sam
            
            
        else
            # 如果不存在，打印错误信息
            echo "错误: 未找到与 $file1 匹配的文件"
        fi
    ) &
done

# 等待所有后台进程完成
wait

mkdir -p ./align/flag
cd ./align/
pwd

##参考基因组的位置
index='/public/home/dk_szy/songxudong/rna-test/reference/human-UCSC-hg38/hg38/genome'

# 假设你的fastq文件在fastq-result文件夹中
fastq_dir="../clean-fastp"

# 遍历fastq-result文件夹中的所有1.fastq文件
for file1 in $fastq_dir/*_1.fq; do
    # 从1.fastq文件名中提取ID，并删除_1_val_1
    id=$(basename "$file1" .fq | sed 's/_1_val_1//')
    
    # 查找对应的2.fastq文件
    file2="$fastq_dir/${id}_2.fq"
    
    # 检查2.fastq文件是否存在
    if [ -f "$file2" ]; then
        echo "333#  ${id}  ！！！！！ is on the hisat2 Working !!!"
        
        # 使用hisat2进行比对，并指定输出目录为当前目录（./align/）
        hisat2 -t -p 20  -x $index \
            -1 "$file1" \
            -2 "$file2"  -S  "${id}.sam" 
        
        # sam2bam and remove sam，指定输出目录为当前目录（./align/）
        echo -e " ${id} sam2bam and remove sam   "
        samtools view -F 12 -@ 12 -b "./${id}.sam" > "./${id}_sorted.bam"
        rm "./${id}.sam"
    else
        echo "No matching 2.fastq file found for $file1"
    fi
done

#查看有哪些数据库
kneaddata_database

mkdir -p db

kneaddata_database --download human_genome bowtie2 db/

kneaddata -i seq/C2_1.fq.gz -i seq/C2_2.fq.gz

 -o qc/ -v -t 8 --remove-intermediate-output

 --trimmomatic ~/.conda/envs/qc2/share/trimmomatic

 --trimmomatic-options 'ILLUMINACLIP:~/.conda/envs/qc2/share/trimmomatic/adapters/TruSeq3-PE.fa:2:40:15 SLIDINGWINDOW:4:20 MINLEN:50'

 --bowtie2-options '--very-sensitive --dovetail'

 --bowtie2-options="--reorder"

 -db db/Homo_sapiens

conda install bioconda::kraken2

#超算中未成功，选择自行下载
#kraken2-build --standard --threads 20 --db ./

#自行下载命令
wget -c https://genome-idx.s3.amazonaws.com/kraken/k2_standard_20240605.tar.gz

kraken2 --db <path_to_database> <input_file> --output <output_file>

kraken2 --threads 20 \
    --db /public/home/dk_szy/songxudong/metagenomic/test \
    --confidence 0.05 \
    --output ./result/test.output \
    --report ./report/test.kreport \
    --paired \
    ../rm_human/ERR1018185.1.fq \
    ../rm_human/ERR1018185.2.fq

mkdir kraken-result
# 将工作目录设置为fastq文件所在的目录！！！！
cd ./rm_human/

# 将传入的参数赋值给变量！！！！！
file1_pattern=".1.fq"
file2_pattern=".2.fq"

# 遍历所有以第一个参数模式结尾的文件
for file1 in *${file1_pattern}; do
    # 从文件名中提取去掉模式后的部分
    base=$(basename "$file1" ${file1_pattern})
    # 构建对应的第二个参数模式的文件名
    file2="${base}${file2_pattern}"

    # 在后台执行检查和trim_galore命令
    (
        # 检查对应的文件是否存在
        if [ -e "$file2" ]; then
echo "找到名为 "$base" 的文件 $file1 对应 $file2 "
            # 如果存在，例如，执行trim_galore命令！！！！！！
            #trim_galore -q 25 --phred33 --length 35 --stringency 3 --paired -o ../clean_data/ "$file1" "$file2"
  kraken2 --threads 20 \
    --db /public/home/dk_szy/songxudong/metagenomic/test \
    --confidence 0.05 \
    --output ../kraken-result/${base}.output \
    --report ../kraken-result/${base}.kreport \
    --paired \
    ./${file1} \
    ./${file2}

echo "文件 "$base" 运行完毕 "
        else
            # 如果不存在，打印错误信息
            echo "错误: 未找到与 $file1 匹配的文件"
        fi
    ) &
done

# 等待所有后台进程完成
wait

conda install bioconda::bracken

mkdir out


# 将工作目录设置为fastq文件所在的目录
cd ./kraken-result/

# 将传入的参数赋值给变量
file1_pattern=".kreport"

# 遍历所有以第一个参数模式结尾的文件
for file1 in *${file1_pattern}; do
    # 从文件名中提取去掉模式后的部分
    base=$(basename "$file1" ${file1_pattern})
    
    # 直接执行trim_galore命令，不需要检查对应的file2是否存在
    (
        echo "找到名为 $base 的文件 $file1"
        #循环执行代码区
        # 运行bracken
bracken \
-d /public/home/dk_szy/songxudong/metagenomic/test \
-i ${base}.kreport \
-o ../out/${base}.bracken.S \
-w ../out/${base}.bracken.S.kreport \
-l S \
-t 20 
    ) &
done

# 等待所有后台进程完成
wait

conda install bioconda::kraken-biom

# report文件合并成biom格式
kraken-biom \
./out/*.kreport \
--max D \
-o ./out/S.biom

# biom转count表格
# 注意：这里假设convert是指向biom转换为tsv的工具，不是ImageMagick的convert
# 如果是ImageMagick的convert，那么下面的命令是错误的
# 正确的命令应该是直接使用biom工具进行转换
biom convert \
-i ./out/S.biom \
-o ./out/S.count.tsv.tmp \
--to-tsv \
--header-key taxonomy

# 输出文件格式调整，补全物种名
sed 's/; g__; s__/; g__; s__ /' ./out/S.count.tsv.tmp \
> ./out/S.taxID.count.tsv

# taxonID 替换回拉丁名
sed '/^#/! s/^[[0-9]]+\t\(.*[A-Za-z]__\([^\t;]\+\)\)$/\2\t\1/' \
./out/S.taxID.count.tsv > ./out/S.taxName.count.tsv

# 保留丰度信息，用于后续绘图
sed '1d; 2s/^#//' ./out/S.taxName.count.tsv | \
awk -F $'\t' -v 'OFS=\t' '{$NF = ""; print $0}' | \
sed 's/\t$//' > ./out/S.count.tsv

getwd()
setwd("D:/rtest/songtest/metagenomic")

# 安装和加载必要的包
if (!requireNamespace("BiocManager", quietly = TRUE))
  install.packages("BiocManager")
BiocManager::install("phyloseq")
rm(list=ls())
library(vegan)
library(reshape2)
library(ggplot2)
library(ggpubr)
library(RColorBrewer)

data <- read.delim("D:/rtest/songtest/metagenomic/S.count.txt",header=TRUE,sep="\t",row.names=1)
group <- read.delim("D:/rtest/songtest/metagenomic/group.txt")
#抽平
otu <- data
#求和查看每个样本的和
colSums(data)
#使用该代码进行抽平
otu_Flattening = as.data.frame(t(rrarefy(t(otu), min(colSums(otu)))))
#查看抽平后的每个样本的和
colSums(otu_Flattening)
data <- otu_Flattening

ttdata <- t(data)
data<-data/apply(data,2,sum)
tdata=t(data)
a<-as.data.frame(tdata)
a=as.data.frame(lapply(a,as.numeric))

shannon<-diversity(a,index="shannon")
simpson<-diversity(a,index="simpson")
Chao1  <- estimateR(ttdata)[2, ]
ACE  <- estimateR(ttdata)[4, ]
invsimpson<-diversity(a,index="invsimpson")

data_shannon=data.frame(shannon)
data_simpson=data.frame(simpson)
data_Chao1=data.frame(Chao1)
data_ACE=data.frame(ACE)
data_invsimpson=data.frame(invsimpson)

spe_alpha<-cbind(
  data_shannon,
  data_simpson,
  data_invsimpson,
  data_Chao1,
  data_ACE,
  group
)

setwd("D:/rtest/songtest/metagenomic/lefse")

#taxon_data <- read.csv("merged_otu_taxonomy.csv", stringsAsFactors = FALSE,row.names = 1)
taxon_data <- read.delim("D:/rtest/songtest/metagenomic/lefse/S.taxName.count.tsv", row.names=1)
taxon_data$kingdom <- sapply(strsplit(taxon_data$taxonomy, ";"), `[`, 1)
taxon_data$phylum <- sapply(strsplit(taxon_data$taxonomy, ";"), `[`, 2)
taxon_data$class <- sapply(strsplit(taxon_data$taxonomy, ";"), `[`, 3)
taxon_data$order <- sapply(strsplit(taxon_data$taxonomy, ";"), `[`, 4)
taxon_data$family <- sapply(strsplit(taxon_data$taxonomy, ";"), `[`, 5)
taxon_data$genus <- sapply(strsplit(taxon_data$taxonomy, ";"), `[`, 6)
taxon_data$species <- sapply(strsplit(taxon_data$taxonomy, ";"), `[`, 7)

write.csv(taxon_data,file = "otu-result.csv") #保存

# 载入必要的库
library(dplyr)

# 读取数据
otu_data <- read.csv("otu-result.csv", header = TRUE, row.names = 1)

# 移除Confidence列
otu_data <- otu_data[!names(otu_data) %in% "Confidence"]

# 删除kingdom等于"Unassigned"的行
otu_data <- otu_data[otu_data$kingdom != "Unassigned", ]

# 分类级别列表
taxonomic_levels <- c("phylum", "class", "order", "family", "genus", "species")

# 上一层级名称
previous_level <- "kingdom"

# 遍历每个分类级别，进行分组和求和，并保存到CSV文件
for (i in seq_along(taxonomic_levels)) {
  current_level <- taxonomic_levels[i]
  
  # 确保当前层级和上一层级列存在并且数据类型正确
  otu_data[[current_level]] <- as.character(otu_data[[current_level]])
  otu_data[[previous_level]] <- as.character(otu_data[[previous_level]])
  
  # 对当前层级列进行分组并求和，同时保留上一层级信息
  summary_data <- otu_data %>%
    group_by(!!sym(previous_level), !!sym(current_level)) %>%
    summarise(across(where(is.numeric), sum, na.rm = TRUE)) %>%
    ungroup()
  
  # 生成文件名
  csv_filename <- paste0(previous_level, "_", current_level, ".csv")
  
  # 保存结果到CSV文件
  write.csv(summary_data, csv_filename, row.names = FALSE)
  
  # 更新上一层级为当前层级
  previous_level <- current_level
}

conda activate metagenomic

conda install bioconda::megahit

megahit \
-1 ./A1_1.fq.gz \ # 输入，fq1
-2 ./A1_2.fq.gz \ # 输入，fq2
--min-contig-len 1000 \ # contig最小长度
--tmp-dir ./ \ # 设置tmp目录
--memory 6 \ # 内存占用
--num-cpu-threads 4 \ # 线程数
--out-dir A1_megahit \ # 输出目录
--out-prefix A1 # 输出前缀
## 多组数据组装, 输入数据逗号分隔

# 将工作目录设置为fastq文件所在的目录！！！！
cd ./fastq-result/

# 将传入的参数赋值给变量！！！！！
file1_pattern=".1.fq"
file2_pattern=".2.fq"

#${file1}
#${file2}
#${base}
# 遍历所有以第一个参数模式结尾的文件
for file1 in *${file1_pattern}; do
    # 从文件名中提取去掉模式后的部分
    base=$(basename "$file1" ${file1_pattern})
    # 构建对应的第二个参数模式的文件名
    file2="${base}${file2_pattern}"

    # 在后台执行检查和trim_galore命令
    (
        # 检查对应的文件是否存在
        if [ -e "$file2" ]; then
echo "找到名为 "$base" 的文件 $file1 对应 $file2 "
            # 如果存在，例如，执行trim_galore命令！！！！！！
            #trim_galore -q 25 --phred33 --length 35 --stringency 3 --paired -o ../clean_data/ "$file1" "$file2"
            megahit \
-1 ./rm_human/${file1} \
-2 ./rm_human/${file2} \
--min-contig-len 1000 \
--tmp-dir ./ \
--memory 6 \
--num-cpu-threads 20 \
--out-dir ./megahit-result/  \
--out-prefix ${base}

        else
            # 如果不存在，打印错误信息
            echo "错误: 未找到与 $file1 匹配的文件"
        fi
    ) &
done

# 等待所有后台进程完成
wait

rm(list=ls())
pacman::p_load(tidyverse,microeco,magrittr)

feature_table <- read.csv('feature_table.csv', row.names = 1)
sample_table <- read.csv('sample_table.csv', row.names = 1)
tax_table <- read.csv('tax_table.csv', row.names = 1)

head(feature_table)[,1:6]; head(sample_table); head(tax_table)[,1:6]

dataset <- microtable$new(sample_table = sample_table,
                          otu_table = feature_table, 
                          tax_table = tax_table)
dataset

lefse <- trans_diff$new(dataset = dataset, 
                        method = "lefse", 
                        group = "Group", 
                        #过少可增大下面选项
                        alpha = 0.1, 
                        lefse_subgroup = NULL)

write.csv(lefse$res_diff,file = "lefse-lda.csv") #保存
write.csv(lefse$abund_table,file = "lefse-input.csv") #保存

##use_number 为显示的个数
##group_order 为自己的分组
lefse$plot_diff_bar(use_number = 1:20, 
                    width = 0.8, 
                    group_order = c("subject-1", "subject-2"))

library(ggtree)
lefse$plot_diff_cladogram(use_taxa_num = 200, 
                       use_feature_num = 50, 
                       clade_label_level = 5, 
                       group_order =  c("subject-1", "subject-2"))

conda activate rna_p3

nohup prefetch -f no --option-file SRA.txt &

#将当前
fastq-dump --split-3 --gzip ./SRR12207279

fasterq-dump --split-3 ./SRR12207283

find ./SRR -mindepth 1 -type d -exec sh -c 'mv {}/* ./SRR; rmdir {}' \;

# 设置输入目录
sra_dir="./SRR"

# 设置输出目录
output_dir="./fastq-result"

# 遍历目录中的所有.sra文件
for sra_file in $sra_dir/*.sra
do
    # 获取不带路径的文件名
    filename=$(basename "$sra_file" .sra)
    
    # 使用fasterq-dump处理每个文件
    fasterq-dump --outdir "$output_dir" --split-3 "$sra_file"
done

mkdir cutadapt-result
# 将工作目录设置为fastq文件所在的目录
cd ./fastq-result/

# 将传入的参数赋值给变量
file1_pattern=".fastq"

# 遍历所有以第一个参数模式结尾的文件
for file1 in *${file1_pattern}; do
    # 从文件名中提取去掉模式后的部分
    base=$(basename "$file1" ${file1_pattern})
    
    # 直接执行trim_galore命令，不需要检查对应的file2是否存在
    (
        echo "找到名为 $base 的文件 $file1"
        #循环执行代码区
        #trim_galore -q 25 --phred33 --length 35 --stringency 3 --paired -o ../clean_data/ "$file1" "$file2"
cutadapt -j 20 \
  -a "TGGAATTCTCGGGTGCCAAGG" \
  -u 4 \
  -m 24 \
  -M 35 \
  -q 20 \
  --match-read-wildcards \
  --max-n 0.25 \
  -o ../cutadapt-result/${base}_clear.fastq \
  ./${file1}
    ) &
done

# 等待所有后台进程完成
wait

bowtie2-build rRNA.fasta rattrna

mkdir bowtie-resule
# 将工作目录设置为fastq文件所在的目录
cd ./cutadapt-result/

# 将传入的参数赋值给变量
file1_pattern="_clear.fastq"

# 遍历所有以第一个参数模式结尾的文件
for file1 in *${file1_pattern}; do
    # 从文件名中提取去掉模式后的部分
    base=$(basename "$file1" ${file1_pattern})
    
    # 直接执行trim_galore命令，不需要检查对应的file2是否存在
    (
        echo "找到名为 $base 的文件 $file1"
        #循环执行代码区
        #trim_galore -q 25 --phred33 --length 35 --stringency 3 --paired -o ../clean_data/ "$file1" "$file2"
bowtie2 -x /public/home/dk_szy/songxudong/riboseq/rRNA/rattrna --un-gz ../bowtie-resule/${base}.fastq.gz -U ./${file1} -p 20 -S ../bowtie-resule/${base}.sam

    ) &
done

# 等待所有后台进程完成
wait

conda install bioconda::star

#后台下载
nohup wget -c https://ftp.ensembl.org/pub/release-112/fasta/rattus_norvegicus/dna/Rattus_norvegicus.mRatBN7.2.dna.toplevel.fa.gz &
nohup wget -c https://ftp.ensembl.org/pub/release-112/gtf/rattus_norvegicus/Rattus_norvegicus.mRatBN7.2.112.gtf.gz &

conda install -c bioconda seqkit

seqkit stat *.fastq

gzip -c -d Rattus_norvegicus.mRatBN7.2.112.gtf.gz
gzip -c -d Rattus_norvegicus.mRatBN7.2.dna.toplevel.fa.gz

cd reference

STAR \
    --runMode genomeGenerate \
    --runThreadN 20 \
    --genomeDir ./ \
    --genomeFastaFiles ./Rattus_norvegicus.mRatBN7.2.dna.toplevel.fa \
    --sjdbGTFfile ./Rattus_norvegicus.mRatBN7.2.112.gtf \
    --sjdbOverhang 30

STAR --outSAMtype BAM SortedByCoordinate \
--runThreadN 20 \
--genomeDir ./reference \
--outFilterMismatchNmax 2 \
--outFilterMultimapNmax 5 \
--outFilterMatchNmin 16 \
--alignEndsType EndToEnd \
--readFilesIn  ./bowtie-resule/SRR12414240.fastq \
--outFileNamePrefix ./star-result/star_output_

# 将工作目录设置为fastq文件所在的目录
cd ./bowtie-resule/

# 将传入的参数赋值给变量
file1_pattern=".fastq"

# 遍历所有以第一个参数模式结尾的文件
for file1 in *${file1_pattern}; do
    # 从文件名中提取去掉模式后的部分
    base=$(basename "$file1" ${file1_pattern})
    
    # 直接执行trim_galore命令，不需要检查对应的file2是否存在
    (
        echo "找到名为 $base 的文件 $file1"
        #循环执行代码区
        #trim_galore -q 25 --phred33 --length 35 --stringency 3 --paired -o ../clean_data/ "$file1" "$file2"
        STAR --outSAMtype BAM SortedByCoordinate \
--runThreadN 20 \
--genomeDir ../reference \
--outFilterMismatchNmax 2 \
--outFilterMultimapNmax 5 \
--outFilterMatchNmin 16 \
--alignEndsType EndToEnd \
--quantMode TranscriptomeSAM \
--readFilesIn  ./${file1} \
--outFileNamePrefix ../star-result/${base}
    ) &
done

# 等待所有后台进程完成
wait

gtf='/public/home/dk_szy/songxudong/rna-test/reference/gft/mm10.refGene.gtf.gz'

mkdir  -p  ./counts

cd ./counts

pwd

featureCounts -T  20  -p  -a  $gtf  -o  counts.txt  ../align/*.bam

multiqc ./

echo -e " \n \n \n ALL WORK DONE !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!  \n "

conda create -n ribocode python=2.7

conda activate ribocode

conda install -c bioconda ribocode

conda update h5py
conda install numpy=1.16.5

pip install --user  RiboCode-*.tar.gz

export PATH=$PATH:$HOME/.local/bin/
export PYTHONPATH=$HOME/.local/lib/python2.7

source ~/.bashrc

conda activate ribocode

prepare_transcripts -g ./reference/Rattus_norvegicus.mRatBN7.2.112.gtf -f ./reference/Rattus_norvegicus.mRatBN7.2.dna.toplevel.fa -o ./ribocode-seference

(ribocode) [dk_szy@login1 riboseq]$ python --version
Python 2.7.18 :: Anaconda, Inc.

metaplots -a ./ribocode-seference/ -r ./star-result/SRR12414240Aligned.toTranscriptome.out.bam \
-o ./test/ \
-m 26 -M 50 -s yes -pv1 1 -pv2 1

cd ./star-result/
metaplots -a ./ribocode-seference/ -i ./test.txt \
-o ./test/ \
-m 26 -M 50 -s yes -pv1 1 -pv2 1

# List the ribosome profiling bam/sam files below and specify the lengths and P-site locations of alignment reads which
# are most likely originated from the translating ribosomes. If multiple files are defined, their P-site densities along
# each nucleotide would be added together.


# Explanation of each column:
# 1. SampleName: specify a name for each sample
# 2. AlignmentFile: ribosome profiling alignment file (bam or sam format) at the transcript-level
# 3. Stranded: Strandedness. Specify 'yes' for stranded interpretation, 'reverse' for reversed strand interpretation, or
#              "no" for non strand-specific libraries.
# 4,5. P-siteReadLength, and P-siteOffsets: the read lengths and P-sites locations.
#      Both of them can be estimated by perform the metagene analysis using our package.
#      List all lengths or P-site locations which separated by ",".

# SampleNameAlignmentFileStranded(yes/reverse)P-siteReadLengthP-siteLocations
SRR12414240Aligned.toTranscriptome.outSRR12414240Aligned.toTranscriptome.out.bamyes28,29,30,31,32,33,34,3512,12,12,12,12,12,12,12
SRR12414241Aligned.toTranscriptome.outSRR12414241Aligned.toTranscriptome.out.bamyes28,29,30,31,32,3512,12,12,12,12,15
SRR12414242Aligned.toTranscriptome.outSRR12414242Aligned.toTranscriptome.out.bamyes28,29,30,3112,12,12,12
SRR12414243Aligned.toTranscriptome.outSRR12414243Aligned.toTranscriptome.out.bamyes28,29,30,31,33,3412,12,12,12,12,12

RiboCode -a ../ribocode-seference/  -c ./config.txt -l no -g -o ../test/

seqkit fx2tab -j 20 -l -n -i -H ./bowtie-resule/*.fastq | cut -f 2 | sort | uniq -c > sum.txt

library(xtail)
ribo <- read.table('Ribo_count.txt',header=T, quote='',check.names=F, sep='\t',row.names=1)
mrna <- read.table('RNA_count.txt',header=T, quote='',check.names=F, sep='\t',row.names=1)

ribo <- ribo[,c("wtnouvb1","wtnouvb2","wtnouvb3","wtuvb1","wtuvb2","wtuvb3")]
mrna <- mrna[c("CD1_1","CD1_2","CD1_3","CD0_1","CD0_2","CD0_3")]

condition <- c("control","control","control","treat","treat","treat")
results <- xtail(mrna,ribo,condition,minMeanCount=1,bins=10000)
results_tab <- resultsTable(results,sort.by="pvalue.adjust",log2FCs=TRUE, log2Rs=TRUE)
write.table(results_tab,"TE.xls",quote=F,sep="\t")

# 使用Cutadapt进行质量控制
cutadapt -j 4 \
  -a "TGGAATTCTCGGGTGCCAAGG" \
  -u 4 \
  -m 24 \
  -M 35 \
  -q 20 \
  --match-read-wildcards \
  --max-n 0.25 \
  -o trimmed_reads.fastq \
  input_reads.fastq

# 使用bowtie去除rRNA序列
bowtie -p 4 \
  -v 2 \
  -m 1 \
  --un non_rRNA_reads.fastq \
  path_to_index/rRNA_index \
  trimmed_reads.fastq

# 使用STAR将剩余的reads映射到大鼠基因组
STAR --runThreadN 4 \
  --genomeDir path_to_STAR_index \
  --readFilesIn non_rRNA_reads.fastq \
  --outFileNamePrefix star_output_ \
  --outFilterMismatchNmax 2 \
  --outFilterMultimapNmax 5 \
  --outFilterMatchNmin 16 \
  --alignEndsType EndToEnd

# 使用RiboCode进行ORF的识别和定量
RiboCode.py -c config_file.txt \
  -l no \
  -m 10 \
  -g \
  -b \
  -A "CTG,GTG,TTG" \
  path_to_STAR_output/Aligned.out.sam

# 使用Ribodiff分析ORFs的TE
Ribodiff.py -i RiboCode_output_ORFs.txt \
  -o Ribodiff_output.txt

# 分析RNAs-seq和Ribo-seq重复样本之间的相关性
# 这一步通常需要自定义脚本或使用统计软件，这里只是一个示例命令
Rscript analyze_correlation.R Ribo-seq_data.txt RNA-seq_data.txt

seqkit fx2tab -j 30 -l  -n -i -H file.fastq.gz  > Length.txt

conda create -n rna_p3 python=3    sra-tools               
conda env list                                         #查看环境
conda activate rna_p3                                  #进入conda 环境，每次开始分析都要进入环境！！
conda deactivate                                    #退出当前conda环境

conda install -y 软件名=版本号

conda install bioconda::sra-tools

SRR12207279
SRR12207280
SRR12207283
SRR12207284

prefetch SRR1482462

prefetch -f no -p --option-file SRA.txt

nohup prefetch SRR12207279 &

nohup prefetch -f no --option-file SRA.txt &

jobs

#或者
ps -f

kill -9 1

#将当前
fastq-dump --split-3 --gzip ./SRR12207279

fasterq-dump --split-3 ./SRR12207283

find ./SRR -mindepth 1 -type d -exec sh -c 'mv {}/* ./SRR; rmdir {}' \;

# 设置输入目录
sra_dir="./SRR"

# 设置输出目录
output_dir="./fastq-result"

# 遍历目录中的所有.sra文件
for sra_file in $sra_dir/*.sra
do
    # 获取不带路径的文件名
    filename=$(basename "$sra_file" .sra)
    
    # 使用fasterq-dump处理每个文件
    fasterq-dump --outdir "$output_dir" --split-3 "$sra_file"
done

md5sum *gz >md5.txt
cat md5.txt

md5sum -c md5.txt

ls ./fastq-result/* | xargs fastqc -t 12 -o   ./fastq-result/

multiqc ./fastq-result/ -o   ./fastq-result/

trim_galore -q 25 --phred33 --length 35 --stringency 3 --paired -o ./clean_data/ ./fastq-result/SRR12207279_1.fastq ./fastq-result/SRR12207279_2.fastq

# 设置工作目录为fastq文件所在的目录
cd ./fastq-result/

# 遍历所有以_1.fastq结尾的文件
for file1 in *_1.fastq
do
    # 从文件名中提取没有_1的部分
    base=$(basename "$file1" _1.fastq)
    
    # 构建对应的_2.fastq文件名
    file2="${base}_2.fastq"
    
    # 检查对应的_2.fastq文件是否存在
    if [ -e "$file2" ]; then
        # 如果存在，执行trim_galore命令
        trim_galore -q 25 --phred33 --length 35 --stringency 3 --paired -o ../clean_data/ "$file1" "$file2"
    else
        # 如果不存在，打印错误信息
        echo "Error: No matching file found for $file1"
    fi
done

# 设置工作目录为fastq文件所在的目录
cd ./fastq-result/

# 遍历所有以_1.fastq结尾的文件
for file1 in *_1.fastq; do
    # 从文件名中提取没有_1的部分
    base=$(basename "$file1" _1.fastq)
    
    # 构建对应的_2.fastq文件名
    file2="${base}_2.fastq"
    
    # 在后台执行检查和trim_galore命令
    (
        # 检查对应的_2.fastq文件是否存在
        if [ -e "$file2" ]; then
            # 如果存在，执行trim_galore命令
            trim_galore -q 25 --phred33 --length 35 --stringency 3 --paired -o ../clean_data/ "$file1" "$file2"
        else
            # 如果不存在，打印错误信息
            echo "Error: No matching file found for $file1"
        fi
    ) &
done

# 等待所有后台进程完成
wait

# note: the fastp version in bioconda may be not the latest
conda install -c bioconda fastp

fastp -i in.R1.fq.gz -I in.R2.fq.gz -o out.R1.fq.gz -O out.R2.fq.gz

# 创建清理后的文件夹
mkdir  clean-fastp

# 设置工作目录为fastq文件所在的目录
cd ./fastq-result/

# 遍历所有以_1.fastq结尾的文件
for file1 in *_1.fastq; do
    # 从文件名中提取没有_1的部分
    base=$(basename "$file1" _1.fastq)
    
    # 构建对应的_2.fastq文件名
    file2="${base}_2.fastq"
fileoo1="${base}_1.fq"
fileoo2="${base}_2.fq"
jsono="${base}.json"
htmlo="${base}.html"

    
    # 在后台执行检查和trim_galore命令
    (
        # 检查对应的_2.fastq文件是否存在
        if [ -e "$file2" ]; then
            # 如果存在，执行trim_galore命令
fastp -i "$file1"  -o ../clean-fastp/"$fileoo1" -I "$file2" -O ../clean-fastp/"$fileoo2"  --json  ../clean-fastp/"$jsono"  --html  ../clean-fastp/"$htmlo"
                    else
            # 如果不存在，打印错误信息
            echo "Error: No matching file found for $file1"
        fi
    ) &
done

# 等待所有后台进程完成
wait

wget https://genome-idx.s3.amazonaws.com/hisat/mm10_genome.tar.gz
tar -zxvf *tar.gz 

wget https://cloud.biohpc.swmed.edu/index.php/s/grcm38/download -O GRCm38.tar.gz

##基因组  UCSC hg38
https://genome-idx.s3.amazonaws.com/hisat/hg38_genome.tar.gz
##参考注释
https://hgdownload.soe.ucsc.edu/goldenPath/hg38/bigZips/genes/hg38.refGene.gtf.gz

##基因组  UCSC mm10
https://genome-idx.s3.amazonaws.com/hisat/mm10_genome.tar.gz
##参考注释
https://hgdownload.soe.ucsc.edu/goldenPath/mm10/bigZips/genes/mm10.refGene.gtf.gz

#基因文件
wget -c https://ftp.ensembl.org/pub/release-112/fasta/mus_musculus/dna/Mus_musculus.GRCm39.dna.primary_assembly.fa.gz
#注释文件
wget  -c https://ftp.ensembl.org/pub/release-112/gtf/mus_musculus/Mus_musculus.GRCm39.112.gtf.gz

#解压文件
gzip -d Mus_musculus.GRCm39.dna.primary_assembly.fa.gz
#hisat2构建索引
hisat2-build -p 20  Mus_musculus.GRCm39.dna.primary_assembly.fa mousegenome

samtools sort -@ 12 -o ./688.bam ./6668888.sam
samtools sort -@ 12 -o ./677.bam ./666777.sam

gtf='/public/home/dk_szy/songxudong/rna-test/reference/mouse-Ensembl-bowtie2/gft/Mus_musculus.GRCm39.112.gtf.gz'
gtf0='/public/home/dk_szy/songxudong/rna-test/reference/mouse-UCSC-mm10/gft/mm10.refGene.gtf.gz'


featureCounts -T  20  -p  -a  $gtf  -o  counts.txt  ./688.bam

featureCounts -T  20  -p  -a  $gtf0  -o  counts0.txt  ./677.bam

index='/public/home/dk_szy/songxudong/rna-test/reference/mm10/genome'

    id=234234214

    file1="./clean_data/SRR12207279_1_val_1.fq"

file2="./clean_data/SRR12207279_2_val_2.fq"

echo $file1
echo $file2
echo "${id}.sam" 
        hisat2 -t -p 12 -x $index \
    -1 "$file1" \
    -2 "$file2" \
    -S "${id}.sam"

mkdir -p ./align/flag
cd ./align/
pwd

##参考基因组的位置
index='/public/home/dk_szy/songxudong/rna-test/reference/mm10/genome'

# 假设你的fastq文件在fastq-result文件夹中
fastq_dir="../clean_data"

# 遍历fastq-result文件夹中的所有1.fastq文件
for file1 in $fastq_dir/*_1_val_1.fq; do
    # 从1.fastq文件名中提取ID
    id=$(basename "$file1" .fq | sed 's/_1_val_1//')
    
    # 查找对应的2.fastq文件
    file2="$fastq_dir/${id}_2_val_2.fq"
    
    # 检查2.fastq文件是否存在
    if [ -f "$file2" ]; then
        echo "333#  ${id}  ！！！！！ is on the hisat2 Working !!!"
        
        # 使用hisat2进行比对，并指定输出目录为当前目录（./align/）
        hisat2 -t -p 20  -x $index \
            -1 "$file1" \
            -2 "$file2"  -S  "${id}.sam" 
        
        # sam2bam and remove sam，指定输出目录为当前目录（./align/）
        echo -e " ${id} sam2bam and remove sam   "
        samtools sort -@ 12 -o "./${id}_sorted.bam" "./${id}.sam"
        rm "./${id}.sam"
    else
        echo "No matching 2.fastq file found for $file1"
    fi
done

grep alignment slurm-555095.out

date

gtf='/public/home/dk_szy/songxudong/rna-test/reference/gft/mm10.refGene.gtf.gz'

mkdir  -p  ./counts

cd ./counts

pwd

featureCounts -T  20  -p  -a  $gtf  -o  counts.txt  ../align/*.bam

multiqc ./

echo -e " \n \n \n ALL WORK DONE !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!  \n "
date

#我们使原始的count数据进行转换
exprSet<-read.csv("count-改名.csv",row.names = 1)

#删除表达量=0的行
exprSet1 <- exprSet[rowSums(exprSet[,2:ncol(exprSet)]) > 0,]
dim(exprSet)
names(exprSet)

##提取Count值
count <- exprSet1[,2:ncol(exprSet)]
write.csv(count,"song_count.csv")
##提取基因长度，基因长度需要转化成kb
gene_length_kb <- exprSet1$Length / 1000
head(gene_length_kb)

#CPM
cpm = log2(edgeR::cpm(count)+1)
write.csv(cpm,"song_CPM.csv")


##TPM
### 每千碱基reads（per million scaling factor)长度标准化
data_rpk <- count /gene_length_kb
##每百万
TPM <- t(t(data_rpk) / colSums(data_rpk) * 1000000)
head(TPM)
## 求均值，看一看
avg_tmp <- data.frame(avg_tmp = rowMeans(TPM))
head(avg_tmp)
##保存数据
write.csv(TPM,"song_TPM.csv")

##FPKM
FPKM <- t(t(data_rpk) / colSums(count ) * 10^6)
write.csv(TPM,"song_FPKM.csv")

###环境设置
rm(list=ls())
options(stringsAsFactors = F) 
library(tidyverse) # ggplot2 stringer dplyr tidyr readr purrr  tibble forcats
library(data.table) #多核读取文件
setwd("C:/Users/Lenovo/Desktop/test")

#### 对counts进行处理筛选得到表达矩阵 ####
a1 <- fread('./counts.txt',
            header = T,data.table = F)#载入counts，第一列设置为列名
colnames(a1)
counts <- a1[,7:ncol(a1)] #截取样本基因表达量的counts部分作为counts 
rownames(counts) <- a1$Geneid #将基因名作为行名
#更改样品名
colnames(counts)
colnames(counts) <- gsub('../align/','', #删除样品名前缀
                         gsub('_sorted.bam','',  colnames(counts))) #删除样品名后缀


#### 导入或构建样本信息,  进行列样品名的重命名和分组####
b <- read.csv('./SraRunTable.txt')
b
name_list <- b$source_name[match(colnames(counts),b$Run)]; name_list  #选择所需要的样品信息列
nlgl <- data.frame(row.names=colnames(counts),
                   name_list=name_list,
                   group_list=name_list)
fix(nlgl)  #手动编辑构建样品名和分组信息
name_list <- nlgl$name_list
colnames(counts) <- name_list #更改样品名
group_list <- nlgl$group_list
gl <- data.frame(row.names=colnames(counts), #构建样品名与分组对应的数据框
                 group_list=group_list)

write.csv(counts,file = "count-改名.csv") #保存
write.csv(nlgl,file = "分组.csv") #保存